资源介绍：

教程通过思路分析、画图演示、代码开发等多维方式，对数仓的构架过程及整体实现进行了详细的讲解。相较于实时数仓项目4.0，升级了项目架构设计和各个软件的版本，并采用GitFlow任务流的形式对整体项目进行版本控制，使用StreamPark对项目进行部署和监控

课程目录

• 视频
• 001_课程介绍
• 002_基础_数仓基本概念
• 003_基础_离线数仓架构
• 004_基础_实时数仓架构
• 005_基础_ER模型和维度建模
• 006_基础_事实表和维度表
• 007_基础_数仓构建流程
• 008_基础_项目架构以及代码版本控制方式介绍
• 009_基础_IDEA开发环境搭建
• 010_环境准备_GitLab的安装
• 011_环境准备_GitLab的其它配置
• 012_环境准备_创建用户以及群组
• 013_环境准备_将初始代码推送到GitLab仓库
• 014_环境准备_设置Kafka分区数
• 015_ODS_日志数据采集
• 016_ODS_配置binlog记录业务数据变化
• 017_ODS_Maxwell的安装与配置
• 018_ODS_Maxwell同步数据测试
• 019_DIM_思路分析_基本流程
• 020_DIM_思路分析_引入配置表
• 021_DIM_思路分析_引入FlinkCDC
• 022_DIM_思路分析_配置表字段完善
• 023_DIM_FlinkCDC的使用
• 024_DIM_配置表的创建以及切换开发分支
• 025_DIM_开发思路分析
• 026_DIM_基本环境准备以及检查点设置
• 027_DIM_从Kafka主题中读取数据
• 028_DIM_转换流中数据类型以及Maxwell问题说明
• 029_DIM_使用FlinkCDC读取配置表数据
• 030_DIM_将配置流数据类型封装为实体类对象
• 031_DIM_封装HBaseUtil工具类
• 032_DIM_在HBase中建表
• 033_DIM_广播配置流并和主流进行关联
• 034_DIM_处理广播流数据
• 035_DIM_处理主流数据
• 036_DIM_过滤掉不需要传递的字段
• 037_DIM_主流数据先到问题分析
• 038_DIM_在open方法中预加载配置信息
• 039_DIM_将维度数据同步到HBase表中
• 040_DIM_封装FlinkSourceUtil工具类
• 041_DIM_抽取单独的处理函数类
• 042_DIM_抽取BaseApp基类
• 043_DIM_抽取方法
• 044_DIM_封装JdbcUtil工具类
• 045_DIM_DIM层总结
• 046_DWD_DWD层介绍
• 047_DWD_日志分流思路分析
• 048_DWD_开发思路分析
• 049_DWD_将脏数据放到侧输出流
• 050_DWD_创建KafkaSink对象以及Kafka一致性保证
• 051_DWD_抽取FlinkSinkUtil以及脏数据写到Kafka
• 052_DWD_新老访客标记修复思路
• 053_DWD_新老访客标记修复代码实现
• 054_DWD_埋点日志结构分析
• 055_DWD_分流代码实现
• 056_DWD_将不同流的数据写到Kafka主题
• 057_DWD_抽取方法以及提交代码到GitLab
• 058_DWD_评论事实表思路分析
• 059_DWD_FlinkAPI双流join介绍
• 060_DWD_内连接
• 061_DWD_左外连接
• 062_DWD_右外连接以及全外连接
• 063_DWD_左外连接结果写到kafka主题
• 064_DWD_从Kafka主题中读取数据
• 065_DWD_从HBase表中读取数据
• 066_DWD_lookupJoin关联
• 067_DWD_将关联结果写到Kafka主题
• 068_DWD_评论事实表开发思路以及环境准备
• 069_DWD_从topic_db主题中读取数据
• 070_DWD_过滤出评论数据
• 071_DWD_从Hbase中读取字典表数据
• 072_DWD_关联评论表和字典表
• 073_DWD_将关联的结果写到Kafka主题
• 074_DWD_抽取工具类封装获取连接器属性的方法
• 075_DWD_抽取BaseSQLApp基类以及通用的建表方法
• 076_DWD_加购事实表开发思路分析
• 077_DWD_过滤出insert类型的加购数据
• 078_DWD_过滤出update类型的加购数据以及写到Kafka
• 079_DWD_下单事实表思路分析
• 080_DWD_下单事实表代码实现
• 081_DWD_取消订单事实表整体实现
• 082_DWD_支付成功事实表思路分析
• 083_DWD_支付成功事实表代码实现
• 084_DWD_退单事实表整体实现(了解业务)
• 085_DWD_退款成功事实表整体实现(了解业务)
• 086_DWD_其它事实表实现思路分析
• 087_DWD_事实表动态分流思路
• 088_DWD_开发思路分析
• 089_DWD_业务数据以及配置表数据读取
• 090_DWD_在open方法中预加载配置信息
• 091_DWD_处理广播流中的配置信息
• 092_DWD_处理主流中的业务数据
• 093_DWD_将动态分流的事实表写到Kafka主题
• 094_DWS层介绍
• 095_Doris_Doris介绍
• 096_Doris_安装前准备工作
• 097_Doris_Doris安装以及FE的配置
• 098_Doris_BE的配置
• 099_Doris_FE与BE的扩容和缩容
• 100_Doris_基本概念
• 101_Doris_Aggregate 模型
• 102_Doris_Unique模型和Duplicate模型
• 103_Doris_建表其它操作
• 104_Doris_Range分区
• 105_Doris_List分区以及分区相关概念
• 106_Doris_动态分区
• 107_Doris_Rollup表
• 108_Doris_物化视图
• 109_Doris_Flink读写Doris_SQL
• 110_Doris_Flink读写Doris_API
• 111_DWS_搜索关键词思路分析
• 112_DWS_分词工具类
• 113_DWS_自定义UDTF函数
• 114_DWS_开发思路分析
• 115_DWS_读取页面日志数据创建动态表
• 116_DWS_过滤出搜索行为
• 117_DWS_分词并和原表字段进行关联
• 118_DWS_分组、开窗、聚合计算
• 119_DWS_将聚合结果写到Doris
• 120_DWS_版本、渠道、地区、新老访客聚合统计思路分析
• 121_DWS_读取数据并封装为统计的实体类对象
• 122_DWS_指定Watermark的生成策略
• 123_DWS_分组、开窗
• 124_DWS_聚合
• 125_DWS_将聚合结果写到Doris中
• 126_DWS_首页、详情页聚合统计思路分析
• 127_DWS_首页、详情页聚合统计代码实现
• 128_DWS_独立用户以及回流用户聚合统计思路分析
• 129_DWS_独立用户以及回流用户聚合统计代码实现
• 130_DWS_加购独立用户思路分析
• 131_DWS_加购独立用户代码实现
• 132_DWS_sku粒度下单聚合统计需求分析
• 133_DWS_sku粒度下单聚合统计开发思路
• 134_DWS_从kafka中读取数据并转换为JSON对象
• 135_DWS_状态+定时器实现去重
• 136_DWS_状态+抵消实现去重
• 137_DWS_封装为统计的实体类对象
• 138_DWS_分组、开窗、聚合计算以及测试可能遇到的问题
• 139_DWS_在HBaseUtil中封装查询维度的方法
• 140_DWS_维度关联最基本的实现方式
• 141_DWS_旁路缓存思路分析
• 142_DWS_封装RedisUtil工具类
• 143_DWS_在Redis工具类提供读写数据的方法
• 144_DWS_旁路缓存代码实现
• 145_DWS_维度数据发生变化清除缓存数据
• 146_DWS_关联SPU维度
• 147_DWS_抽取旁路缓存模板
• 148_DWS_通过旁路缓存模板关联SKU维度
• 149_DWS_异步IO介绍
• 150_DWS_封装异步操作Redis的方法
• 151_DWS_封装异步操作HBase的方法
• 152_DWS_发送异步请求关联sku维度的基本实现
• 153_DWS_发送异步请求关联spu维度以及抽取模板
• 154_DWS_发送异步关联维度模板代码实现
• 155_DWS_发送异步请求关联SKU维度
• 156_DWS_关联其它维度并将结果写到Doris
• 157_DWS_sku粒度下单聚合统计总结
• 158_DWS_省份粒度下单聚合统计
• 159_DWS_去重
• 160_DWS_封装统计的实体类对象
• 161_DWS_分组、开窗、聚合计算
• 162_DWS_关联维度并将结果写到Doris
• 163_ADS_ADS层介绍
• 164_ADS_环境准备
• 165_ADS_总交易额统计思路分析
• 166_ADS_总交易额统计代码实现
• 167_ADS_总交易额大屏展示
• 168_ADS_省份交易额统计思路分析
• 169_ADS_省份交易额统计代码实现
• 170_ADS_渠道独立访客数统计思路分析
• 171_ADS_渠道独立访客数统计代码实现
• 172_ADS_渠道独立访客大屏展示以及常见错误避坑
• 173_ADS_总交易额实时展示
• 174_部署_打包
• 175_部署_部署前准备工作
• 176_部署_手动部署到服务器
• 177_部署_StreamPark介绍
• 178_部署_StreamPark安装
• 179_部署_StreamPark其它配置
• 180_部署_StreamPark中新建项目
• 181_部署_构建项目
• 182_部署_发布启动作业
• 183_部署_合并分支
• 184_总结
• 1.笔记
• 2.资料
• 3.代码