资源介绍：

全新的版本！全新的内容！Flink实时数仓项目4.0带来全新升级，完全对标企业实际开发场景，为你带来不一样的学习体验！

本套项目教程以电商采集项目为前置基础，整体内容分为三大部分：实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。教程通过精炼的业务体系逻辑，带你快速掌握实时数仓所使用的技术手段。使用到的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Redis、Doris、Suger、StreamPark等

相较于Flink实时数仓项目3.0版本，本项目采用企业级分模块开发部署方式，使用了新版的Flink 1.17，自主部署了GitLab，同时采用GitFlow任务流的形式，来对整体项目进行版本控制，最终采用StreamPark框架，将整个项目在线部署至YARN集群，提供在线监控、自动告警等功能

课程目录

• 软件
• 1.jdk.exe
• 10.redis.exe
• 12.flink.exe
• 14.streampark.exe
• 3.flume.exe
• 4.kafka.exe
• 5.zookeeper.exe
• 7.maxwell.exe
• 8.mock.exe
• 9.hbase.exe
• 01_Flink最新电商数据课程介绍
• 02_实时数仓和离线数仓的概述区别
• 03_实时数仓的完整架构
• 04_实时数仓选型-doris简介
• 05_实时数仓框架选型-ods dwd和dim
• 06_实时数仓框架选型-dws和ads及最终步骤
• 07_实时数仓和实时计算及离线计算的比较
• 08_数仓建模回顾
• 09_数仓设计回顾
• 100_DWS_流量域各粒度用户访问数据写出到doris
• 101_DWS_流量域各粒度用户访问数据添加状态存活时间
• 102_DWS_首页详情页独立访客统计需求分析
• 103_DWS_首页详情页独立访客判断代码实现
• 104_DWS_首页详情页独立访客数据写出到doris
• 105_DWS_用户登录统计需求分析
• 106_DWS_用户登录统计需求过滤数据
• 107_DWS_用户登录统计判断独立用户和回流用户
• 108_DWS_用户登录统计数据聚合写出到doris
• 109_DWS_用户注册统计需求分析
• 10_实时数仓最新代码结构介绍
• 110_DWS_用户注册需求实现
• 111_DWS_用户加购需求分析和结构搭建
• 112_DWS_用户加购需求实现数据写出
• 113_common模块回顾
• 114_dim和dwd模块代码回顾
• 115_dws模块回顾
• 116_DWS_sku商品下单需求分析
• 117_DWS_sku商品粒度过滤添加水位线
• 118_DWS_sku商品粒度度量值修复
• 119_DWS_商品粒度聚合统计
• 11_git分支流程介绍
• 120_DWS_维度关联补全sku_info信息
• 121_DWS_完整维度信息关联编写
• 122_DWS_补全维度信息写出到doris
• 123_DWS_旁路缓存原理介绍
• 124_DWS_添加redis作为旁路缓存
• 125_DWS_修改变更维度数据的一致性
• 126_DWS_度量值去重回顾
• 127_DWS_旁路缓存回顾
• 128_DWS_异步IO介绍
• 129_DWS_异步连接的获取
• 12_idea中的代码结构部署
• 130_DWS_flink异步算子使用编写
• 131_DWS_flink异步算子实现维度关联
• 132_DWS_模板方法初步封装
• 133_DWS_完整封装模板方法实现维度关联
• 134_DWS_各省份下单需求数据获取清洗
• 135_DWS_各省份下单需求聚合统计
• 136_DWS_各省份窗口下单聚合统计
• 137_项目部署上线介绍
• 138_streamPark概述介绍
• 139_streamPark的解压部署
• 13_gitlab的安装部署
• 140_streamPark的安装部署
• 141_streamPark使用设置
• 142_streamPark编译部署项目
• 143_streamPark上线任务演示
• 144_streamPark使用检查点重启任务
• 145_合并gitlab代码请求
• 146_可视化展示总体介绍
• 147_可视化展示sugar使用方法介绍
• 148_spring-boot数据接口上手
• 149_内网穿透访问本机
• 14_gitlab用户创建和管理
• 150_可视化实现省份订单数展示
• 151_Flink实时数仓整体回顾
• 152_Flink实时数仓代码结构设计回顾
• 153_GitFlow工作流回顾
• 154_ODS层回顾
• 155_DIM和DWD回顾
• 156_DWS回顾
• 157_部署及可视化回顾
• 15_gitlab兼容IDEA实现提交推送项目
• 16_实时数仓架构搭建-flink和hbase的安装部署
• 17_实时数仓架构搭建-redis的安装部署
• 18_ODS_确保数据源时间有序的方法介绍
• 19_ODS_数据生成同步方法介绍
• 20_DIM_flink处理数据的固定流程
• 21_DIM_baseAPP使用演示
• 22_DIM_基类添加webUI页面介绍
• 23_DIM_common模块封装常量类和source方法
• 24_DIM_动态拆分维度表功能实现的选择介绍
• 25_DIM_flinkCDC使用介绍及数据展示
• 26_DIM_核心业务逻辑介绍
• 27_DIM_对主流数据进行清洗过滤
• 28_DIM_读取配置表数据
• 29_DIM_HBase创建关闭连接
• 30_DIM_HBase创建表格
• 31_DIM_HBase删除表格API编写
• 32_DIM_使用配置流信息创建HBase表格
• 33_DIM_动态拆分维度表基础功能实现
• 34_DIM_使用JDBC工具预加载配置表信息避免主流数据丢失
• 35_DIM_预加载配置表信息避免数据丢失功能实现
• 36_DIM_HBase写入数据和删除数据的方法编写
• 37_DIM_写出数据到HBase的代码编写
• 38_DIM_写出数据到HBase的演示
• 39_DIM_代码与功能回顾
• 40_DWD_数据源分析
• 41_DWD_日志拆分需求代码结构介绍
• 42_DWD_日志拆分需求分析
• 43_DWD_日志拆分需求数据清洗ETL处理
• 44_DWD_日志拆分需求新旧访客修改代码实现
• 45_DWD_日志拆分需求新旧访客修复代码测试
• 46_DWD_日志拆分需求完成拆分
• 47_DWD_日志拆分业务实现
• 48_DWD_flinkSQL的使用架构
• 49_DWD_flinkSQL读取不同的数据源数据
• 50_DWD_flinkSQL完成两种表格的join操作
• 51_DWD_flinkSQL的基础原理介绍
• 52_DWD_LookUp join使用场景介绍
• 53_DWD_LookUp join具体使用演示
• 54_DWD_baseSQLApp封装读取topicdb方法
• 55_DWD_baseSQLAPP封装实现及使用方法
• 56_DWD_评论事实表完成HBase的lookup_join
• 57_DWD_评论事实表完成数据写出
• 58_DWD_筛选加购事务表明细数据
• 59_DWD_加购事务事实表编写完成
• 60_DWD_下单事务事实表需求分析
• 61_DWD_下单事务事实表内连接关联订单表和订单详情表
• 62_DWD_下单明细表完成四个表格的join操作
• 63_DWD_下单明细表写出到kafka实现
• 64_DWD_取消订单事实表需求分析
• 65_DWD_支付成功事实表需求分析
• 66_DWD_支付成功需求筛选支付成功数据
• 67_DWD_支付成功需求三张表格数据准备
• 68_DWD_支付成功需求使用interval join完成表格关联
• 69_DWD_支付成功需求使用lookupJoin完成维度退化
• 70_DWD_支付成功需求写出数据
• 71_DWD_base_db表格处理需求分析
• 72_DWD_base_db需求读取主流和配置表数据
• 73_DWD_base_db合并处理事实表数据
• 74_DWD_base_db数据写出
• 75_DWS_doris简介
• 76_DWS_doris部署上传解压操作
• 77_DWS_doris部署前端
• 78_DWS_doris单台后端的安装部署
• 79_DWS_doris的be扩容
• 80_DWS_doris的be缩容
• 81_DWS_doris的fe扩容
• 82_DWS_doris的fe缩容及群起脚本
• 83_DWS_doris的数据模型agg模型介绍
• 84_DWS_doris的分区分桶
• 84_DWS_doris的数据模型唯一与可重复模型介绍
• 86_DWS_doris的复合分区和多列分区介绍
• 87_DWS_doris的动态分区原理介绍
• 88_DWS_doris的动态分区使用介绍
• 89_DWS_doris的rollup介绍
• 90_DWS_doris的物化视图
• 91_DWS_热词开窗统计需求分析及IK分词器介绍
• 92_DWS_热词开窗统计筛选关键字
• 93_DWS_自定义UDTF函数方法介绍
• 94_DWS_完成关键词的拆分工作
• 95_DWS_关键字分组开窗聚合统计
• 96_DWS_关键词开窗统计数据写出到doris
• 97_DWS_流量域各粒度用户页面访问窗口聚合需求分析
• 98_DWS_流量域各粒度用户页面访问窗口聚合得到独立访客和会话数
• 99_DWS_流量域各粒度用户访问分组开窗聚合代码实现
• 笔记
• 代码