资源介绍：

尚硅谷线上问诊实时数仓项目延续了离线数仓的业务逻辑，以线上问诊开处方为基础业务逻辑，真实表现了线上问诊数据的实时分析统计

线上问诊实时数仓项目共分三大部分：实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。项目以线上问诊采集项目为前置基础，使用采集项目中搭建的虚拟机环境，读取采集项目实时监控的业务数据，对数据进行实时的分析计算，最终得到指标需求结果

项目中使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、Phoenix、HBase、Redis、Doris、Suger等。教程通过精炼的业务体系逻辑，带你快速掌握实时数仓所使用的技术手段！

课程目录

• 尚硅谷大数据项目之线上问诊离线数仓
• 视频
• 01-数据采集课程内容介绍
• 02-数据仓库的概念
• 03-数据仓库的架构
• 04-项目需求分析
• 05-技术选型
• 06-系统数据流程设计
• 07-框架版本的选择
• 08-服务器的选型
• 09-集群规模
• 10-集群规模设计
• 100-医生维度表建表
• 101-医生维度表数据加载
• 102-医院维度表建表和数据加载
• 103-药品维度表建表和数据加载
• 104-患者维度表建表和数据加载
• 105-用户维度表建表和数据加载
• 106-dim层数据加载脚本
• 107-事实表建模理论回顾
• 108-DWD层设计要点
• 109-问诊事务型事实表建表
• 11-业务数据说明
• 110-问诊事实表首日数据加载
• 111-问诊事实表每日数据加载
• 112-问诊支付成功事实表建表和首日加载
• 113-问诊支付成功事实表每日数据加载
• 114-处方开单事实表建表和首日数据加载
• 115-处方开单事实表每日数据加载
• 116-处方支付成功事实表建表和首日数据加载
• 117-处方支付成功事实表每日数据加载
• 118-医生注册事实表建表和首日数据加载
• 119-医生注册事实表每日数据加载
• 12-虚拟机安装配置
• 120-用户注册事实表建表和数据加载
• 121-患者登记事实表建表和数据加载
• 122-用户评价事实表建表和数据加载
• 123-dwd首日数据加载脚本
• 124-dwd每日数据加载脚本
• 125-dws设计要点
• 126-医院患者性别年龄段问诊最近1日汇总表mp4
• 127-医院患者性别年龄段问诊支付成功最近1日汇总表
• 128-医院患者性别年龄段处方开单最近1日汇总表
• 129-医院患者性别年龄段处方开单支付成功最近1日汇总表
• 13-集群分发脚本
• 130-医生粒度问诊最近1日汇总表
• 131-dws 1d首日数据加载脚本
• 132-dws 1d每日数据加载脚本
• 133-交易域医院患者性别年龄段粒度问诊最近n日汇总表
• 134-交易域医院患者性别年龄段粒度问诊支付成功最近n日汇总表
• 135-交易域医院患者性别年龄段粒度处方开单最近n日汇总表
• 136-交易域医院患者性别年龄段粒度处方开单支付成功最近n日汇总表
• 137-交易域医生粒度问诊最近n日汇总表
• 138-dws nd数据加载脚本
• 139-交易域医生粒度问诊历史至今汇总表
• 14-安装jdk
• 140-互动域医院用户粒度用户评价历史至今汇总表
• 141-互动域医院粒度用户评价历史至今汇总表
• 142-dws td首日数据加载脚本
• 143-dws td每日数据加载脚本
• 144-ads层设计要点
• 145-交易综合统计
• 146-各医院交易统计
• 147-各性别患者交易统计
• 148-各年龄段患者交易统计
• 149-医生变动统计
• 15-环境变量配置说明
• 150-用户变动统计
• 151-评价综合统计
• 152-各医院评价统计
• 153-ads数据加载脚本
• 154-mysql建库建表
• 155-将数据从hdfs导入到mysql演示
• 156-生成datax配置文件
• 157-ads导数据到Mysql脚本
• 158-dolphinscheduler简介
• 159-dolphinscheduler部署说明
• 16-查看进程脚本
• 160-安装dolphinscheduler
• 161-安全中心配置
• 162-定义工作流与执行工作流
• 163-定时调度
• 164-局部参数
• 165-全局参数
• 166-参数传递
• 167-参数的优先级
• 168-内置参数
• 169-引用依赖资源
• 17-安装hadoop-配置集群
• 170-告警通知
• 171-失败重试
• 172-生成新数据
• 173-数仓工作流调度
• 174-superset简介
• 175-安装superset
• 176-superset启动脚本
• 177-superset可视化
• 178-总结
• 18-安装hadoop-配置历史服务器
• 19-hadoop群起脚本
• 20-hdfs存储多目录
• 21-集群数据均衡
• 22-hadoop参数调优
• 23-安装zookeeper
• 24-zookeeper启动脚本
• 25-zookeeper常用指令
• 26-安装kafka
• 27-kafka群起脚本
• 28-kafka常用指令-topic相关
• 29-kafka常用指令-生产者和消费者相关
• 30-flume安装与项目经验
• 31-安装mysql
• 32-模拟生成数据
• 33-客户端连接异常问题
• 34-maxwell简介
• 35-mysql原理
• 36-安装maxwell
• 37-maxwell启动脚本
• 38-maxwell数据同步
• 39-同步策略
• 40-数据同步工具
• 41-datax简介和框架设计
• 42-datax运行流程
• 43-datax调度思路
• 44-datax与sqoop的对比
• 45-datax安装
• 46-将数据从mysql导入到hdfs-tableMode模式
• 47-将数据从mysql导入到hdfs-querysql模式
• 48-datax传参
• 49-将数据从hdfs导入到mysql
• 50-datax优化
• 51-datax配置文件生成
• 52-全量表数据同步脚本
• 53-flume配置01
• 54-flume配置02
• 55-增量表首日同步
• 56-flume启动停止脚本
• 57-安装hive
• 58-在线就诊数仓项目简介
• 59-数仓的概念
• 60-数仓架构
• 61-建模的意义
• 62-ER模型
• 63-维度模型
• 64-事实表介绍
• 65-事务型事实表概述
• 66-事务型事实表的设计流程
• 67-事务型事实表的不足
• 68-事务型事实表的不足
• 69-周期型快照事实表的概念
• 70-周期型快照事实表设计与事实类型
• 71-累积型快照事实表
• 72-维度表设计
• 73-规范化与反规范化
• 74-全量快照维度表
• 75-拉链表
• 76-多值维度
• 77-多值属性
• 78-数据仓库的分层
• 79-数仓的构建流程
• 80-数据调研
• 81-明确数据域
• 82-业务总线矩阵
• 83-明确统计指标
• 84-维度模型与汇总模型设计
• 85-hive引擎简介
• 86-hive on spark兼容性说明
• 87-搭建hive on spark
• 88-ApplicationMaster资源比例调整
• 89-datagrip使用
• 90-模拟产生数据
• 91-hive常见问题和解决方案
• 92-ods层设计要点
• 93-全量表建表
• 94-复杂数据类型回顾
• 95-json数据建表
• 96-增量表建表
• 97-ods数据加载脚本
• 98-维度表建模理论回顾
• 99-dim层设计要点
• 笔记
• 代码
• 资料
• 尚硅谷大数据项目之线上问诊实时数仓
• 视频
• 01_线上问诊实时数仓课程介绍
• 02_采集项目数据采集回顾
• 03_线上问诊实时数仓概念介绍
• 04_线上问诊实时数仓核心架构介绍
• 05_实时数仓架构的具体操作流程
• 06_数仓建模ER模型介绍
• 07_数仓建模ER模型三范式介绍
• 08_数仓建模维度模型介绍
• 09_维度建模事实表简单概述
• 10_维度建模事务型事实表介绍
• 11_维度建模周期快照事实表
• 12_维度建模累积快照事实表
• 13_维度建模维度表设计流程
• 14_维度表设计规范化和反规范化
• 15_维度表设计维度变化的选择
• 16_维度表设计多值维度和多值属性
• 17_数仓分层规划
• 18_数仓构建流程简单介绍
• 19_数仓数据调研介绍
• 20_数仓分配数据域
• 21_数仓构建业务总线矩阵及维度模型设计
• 22_数仓指标体系分析
• 23_idea开发环境准备
• 24_flink的环境准备
• 25_hbase的环境部署
• 26_redis的环境部署
• 27_doris的fe部署
• 28_doris的be集群安装部署
• 29_doris的be集群bug解决
• 30_ods_使用kafka存储原始数据
• 31_dim_实时监控实现动态配置维度表元数据信息原理介绍
• 32_flinkCDC测试代码编写
• 33_dim_整体代码结构介绍
• 34_dim_流式环境创建的方法封装
• 35_dim_读取kafka主流ods层数据
• 36_dim_读取配置表数据
• 37_dim_封装hbase获取同步连接
• 38_dim_创建hbase中的维度表
• 39_dim_处理合并流完成主流过滤维度表的操作
• 40_dim_写出维度表数据到hbase
• 41_dim_维度表代码测试及整体逻辑回顾
• 42_dwd_flinkSQL的使用方法
• 43_dwd_使用flinkSQL读取ods层数据
• 44_dwd_问诊事实表筛选数据
• 45_dwd_问诊事务事实表数据写出
• 46_dwd_问诊支付成功事实表代码编写及演示
• 47_dwd_处方事实表代码编写
• 48_dwd_处方事实表数据测试
• 49_dwd_interval_join的原理介绍
• 50_dwd_处方开单支付事务事实表编写及测试
• 51_dwd_用户注册事务事实表
• 52_dwd_新增患者事务事实表
• 53_dwd_医生注册事务事实表
• 54_dws_医院性别年龄粒度问诊聚合需求介绍
• 55_dws_读取dwd层数据并转换结构
• 56_dws_使用异步连接优化维度关联
• 57_dws_旁路缓存优化介绍
• 58_dws_实现维度关联的抽象类设计
• 59_dws_实现医院id和患者信息的维度关联
• 60_dws_开窗聚合问诊次数及问诊金额代码及演示
• 61_dws_修复补全维度信息
• 62_dws_将javaBean保留需要的字段转换为jsonString
• 63_dws_doris写出工具类编写
• 64_dws_写出数据到doris演示
• 65_dws_问诊支付成功窗口聚合
• 66_dws_处方开单窗口聚合
• 67_dws_处方开单支付窗口聚合
• 68_dws_用户注册的窗口聚合
• 69_dws_患者添加窗口聚合
• 70_dws_医生注册窗口汇总
• 71_dws_医院粒度评价表使用状态找出新增评价
• 72_dws_医院粒度评价导出数据
• 73_大屏可视化流程介绍
• 74_大屏可视化内网穿透展示
• 75_sugerBI实现可视化展示
• 笔记
• 代码
• 资料