课程目录

• 视频
• 001_离线数仓_课程简介
• 002_数仓概念-数仓简介
• 003_数仓概念-数据分类
• 004_数仓概念-数仓总体介绍
• 005_数仓概念-项目需求分析
• 006_数仓概念-技术选型
• 007_数仓概念-系统数据流程
• 008_数仓概念-框架版本的选择
• 009_数仓概念-具体版本号选择
• 010_数仓概念-服务器选型
• 011_数仓概念-集群规模
• 012_数仓概念-集群资源规划
• 013_同步行为数据模拟-埋点简介
• 014_用户行为数据模拟-用户行为日志内容
• 015_用户行为数据模拟-埋点日志格式
• 016_用户行为数据模拟-克隆三台服务器
• 017_用户行为数据模拟-阿里云准备（备选）
• 018_用户行为数据模拟-集群同步脚本
• 019_用户行为数据模拟-免密登录配置
• 020_用户行为数据模拟-安装JDK
• 021_用户行为数据模拟-Linux环境变量说明
• 022_用户行为数据模拟-模拟数据
• 023_用户行为数据采集-hadoop安装
• 024_用户行为数据采集-Hadoop项目经验
• 025_用户行为数据采集-Zookeeper安装
• 026_用户行为数据采集-Kafka安装
• 027_用户行为数据采集-Flume安装
• 028_用户行为数据采集-Flume的KafkaChannel
• 029_用户行为数据采集-采集Flume配置
• 030_业务数据采集-电商业务简介
• 031_业务数据采集-电商业务表结构
• 032_业务数据采集-业务数据模拟
• 033_业务数据采集-业务数据通道
• 034_业务数据采集-Maxwell简介
• 035_业务数据采集-Maxwell配置
• 036_业务数据采集-Maxwell使用
• 037_业务数据采集-采集通道maxwell配置
• 038_实时数仓数据同步-实时数仓同步数据
• 039_离线数仓数据同步-用户行为数据同步通道
• 040_离线数仓数据同步-用户行为数据同步flume配置
• 041_离线数仓数据同步-业务数据同步策略
• 042_业务数据采集-DataX简介
• 043_业务数据采集-DataX部署
• 044_业务数据采集-DataX案例
• 045_业务数据采集-DataX的HdfsWriter的Null值存储问题
• 046_业务数据采集-DataX参数调优
• 047_业务数据采集-全量同步流程
• 048_业务数同步-增量同步流程
• 049_业务数据同步-集群总启停脚本
• 050_业务数据同步-Hive安装部署
• 051-数据仓库-概述
• 052-数据仓库-核心架构
• 053-建模方法论
• 054-建模方法论-ER模型-数据库规范化
• 055-建模方法论-ER模型-函数依赖
• 056-建模方法论-ER模型-三范式
• 057-建模方法论-维度模型-概述
• 058-采集集群-要求
• 059-维度模型-事实表-事务事实表-概述
• 060-维度模型-事实表-事务事实表-设计流程
• 061-维度模型-事实表-事务事实表-不足
• 062-维度模型-事实表-周期快照事实表
• 063-维度模型-事实表-累积快照表
• 064-维度模型-维度表-设计步骤
• 065-维度模型-维度表-确定维度属性-要点
• 066-维度模型-维度表-维度设计要点-规范化&反规范化
• 067-维度模型-维度表-维度设计要点-维度变化-全量表
• 068-维度模型-维度表-维度设计要点-维度变化-拉链表-制作和使用
• 069-维度模型-维度表-维度设计要点-多值维度
• 070-维度模型-维度表-维度设计要点-多值属性
• 071-维度模型-对同步策略的影响
• 072-设计-分层规划
• 073-设计-构建流程
• 074-构建流程-数据调研-业务调研
• 075-构建流程-数据调研-需求分析
• 076-构建流程-划分数据域
• 077-构建流程-构建总线矩阵&维度模型设计
• 078-构建流程-明确统计需求-指标体系
• 079-构建流程-明确统计需求-汇总模型设计思路
• 080-运行环境-说明
• 081-运行环境-Hive-on-spark-编译源码
• 082-运行环境-Hive-on-spark-部署
• 083-开发环境-使用说明
• 084-数据准备-日志
• 085-数据准备-业务-全量&增量
• 086-Hive-on-spark环境问题排查思路
• 087-ODS层-设计要点
• 088-ODS层-日志表-设计思路
• 089-ODS层-日志表-json表
• 090-ODS层-日志表-复杂数据类型
• 091-ODS层-日志表-建表语句
• 092-ODS层-日志表-数据装载
• 093-ODS层-日志表-数据装载脚本
• 094-ODS层-业务表-建表语句-全量&增量
• 095-ODS层-数据装载
• 096-DataGrip元数据显示异常问题说明
• 097-DIM层-维度模型规划
• 098-DIM层-设计要点
• 099-DIM层-商品维度表-确定主维表和相关维表
• 100-DIM层-商品维度表
• 101-DIM层-优惠券维度表
• 102-Hive元数据中文乱码问题说明
• 103-DIM层-活动维度
• 104-DIM层-地区维度
• 105-DIM层-日期维度
• 106-DIM层-用户维度-拉链表-建表语句
• 107-DIM层-用户维度-拉链表-数据装载-首日
• 108-DIM层-用户维度-拉链表-数据装载-每日-思路一
• 109-DIM层-用户维度-拉链表-数据装载-每日-思路二
• 110-DIM层-数据装载
• 111-DWD层-设计要求
• 112-DWD层-交易域加购事务事实表-建表语句
• 113-DWD层-交易域加购事务事实表-数据流向
• 114-DWD层-交易域加购事务事实表-数据装载-首日
• 115-DWD层-交易域加购事务事实表-数据装载-每日
• 116-DWD层-Hiveserver2-文件描述符问题说明
• 117-DWD层-交易域下单事实表
• 118-DWD层-交易域下单事实表-数据装载-首日和每日
• 119-DWD层-交易域取消订单事实表-建表语句
• 120-DWD层-交易域取消订单事实表-数据装载-首日和每日
• 121-DWD层-交易域支付成功事实表-建表语句
• 122-DWD层-交易域支付成功事实表-数据装载-首日和每日
• 123-DWD层-交易域退单事实表
• 124-DWD层-交易域退款成功事实表
• 125-DWD层-交易域购物车周期快照表
• 126-DWD层-工具域优惠券业务分析
• 127-DWD层-互动域收藏商品事务事实表
• 128-DWD层-互动域评价事务事实表
• 129-DWD层-流量域页面浏览事务事实表-建表语句
• 130-DWD层-流量域页面浏览事务事实表-数据装载
• 131-DWD层-流量域启动事务事实表
• 132-DWD层-流量域动作事务事实表
• 133-DWD层-流量域曝光事务事实表
• 134-DWD层-流量域错误事务事实表
• 135-DWD层-用户域用户注册事实表
• 136-DWD层-用户域用户登录事实表
• 137-DWD层-维度模型-小总结
• 138-DWD层-数据装载
• 139-DWS层-设计要点
• 140-DWS层-设计-构建指标体系
• 141-DWS层-设计-抽取派生指标
• 142-DWS层-设计-最近1日n日汇总表
• 143-DWS层-设计-人数重复计算问题-最近1日n日汇总表
• 144-DWS层-设计方案-设计V2.0
• 145-DWS层-设计方案-设计V3.0
• 146-DWS层-设计-历史至今-汇总表分析
• 147-DWS层-设计-历史至今-数据装载
• 148-DWS层-设计-总结
• 149-DWS层-交易域用户商品粒度订单最近1日汇总表
• 150-DWS层-交易域用户商品粒度订单最近n日汇总表
• 151-DWS层-交易域用户商品粒度退单最近1日和n日汇总表
• 152-DWS层-交易域用户粒度订单汇总表
• 153-DWS层-交易域用户粒度加购汇总表
• 154-DWS层-交易域用户粒度支付汇总表
• 155-DWS层-交易域省份粒度订单汇总表
• 156-DWS层-交易域用户粒度退单汇总表
• 157-DWS层-流量域会话粒度页面浏览最近1日汇总表
• 158-DWS层-流量域访客页面粒度页面浏览汇总表
• 159-DWS层-交易域优惠券粒度订单最近n日汇总表
• 160-DWS层-交易域活动粒度订单最近n日汇总表
• 161-DWS层-交易域用户粒度订单历史至今汇总表
• 162-DWS层-交易域用户粒度支付历史至今汇总表
• 163-DWS层-用户域用户粒度登录历史至今汇总表
• 164-DWS层-数据装载-最近1日n日历史至今
• 165-ADS层-各渠道流量统计
• 166-ADS层-用户路径
• 167-ADS层-用户路径-需求实现
• 168-ADS层-用户变动统计-需求说明
• 169-ADS层-用户留存率-需求说明
• 170-ADS层-用户变动统计-需求实现
• 171-ADS层-用户留存率-需求实现-2种思路
• 172-ADS层-用户新增活跃统计-需求说明
• 173-ADS层-新增活跃用户统计-需求实现
• 174-ADS层-漏斗分析-需求说明
• 175-ADS层-新增交易用户统计-需求说明
• 176-ADS层-品牌复购率-需求说明
• 177-ADS层-漏斗分析-需求实现
• 178-ADS层-新增交易用户统计-需求实现
• 179-ADS层-品牌复购率-需求分析
• 180-ADS层-各品牌交易统计-需求说明
• 181-ADS层-购物车存量topN-需求说明
• 182-ADS层-交易综合统计-需求说明
• 183-ADS层-各品牌交易统计-需求实现
• 184-ADS层-购物车存量topN-需求实现
• 185-ADS层-交易综合统计-需求实现
• 186-ADS层-各省份交易综合统计
• 187-ADS层-补贴率统计
• 188-ADS层-数据装载
• 189-报表数据导出-DataX
• 190-全流程调度-DS-核心架构
• 191-全流程调度-DS-部署模式及要求
• 192-全流程调度-DS-部署-数据库初始化
• 193-全流程调度-DS-部署-一键部署
• 194-全流程调度-DS-使用-安全中心
• 195-全流程调度-DS-使用-入门
• 196-全流程调度-DS-使用-进阶
• 197-全流程调度-集群模式&单机模式
• 198-可视化-Suserset-安装部署
• 199-可视化-Suserset-完整流程
• 200-可视化-Suserset-完结
• 新建Word.docx
• 笔记
• 代码
• 资料