课程目录

• 1-第一章
• 00-课程目标
• 01-1-1-企业的数据困扰
• 01-1-2-补充-结构化-半结构化-非结构化数据
• 01-2-数据湖的概念
• 01-3-数据湖-数仓-数据集市的区别
• 10-第十章
• 10-1-1云平台的基础概念
• 10-1-2-两类云平台和主流公有云平台介绍
• 10-1-3-IaaS-PaaS-SaaS的概念
• 10-1-4-云平台对企业的意义
• 10-2-1-AWS-S3简介
• 10-2-2-AWS-Athena分析框架简介
• 10-2-3-AWS-EMR-集群模式介绍
• 10-2-4-AWS-EMR-步骤运行模式介绍
• 10-2-5-AWS-Glue-ETl-简单介绍
• 10-2-6-AWS-其它辅助工具介绍和课程总结
• 2-第二章
• 02-1-写时模式和读时模式
• 02-2-3种常见的数据湖实现方案
• 02-3-数据湖对企业的价值
• 02-4-数据湖概念的总结
• 02-5-数据湖的4个设计原则
• 3-第三章
• 03-Lambda架构的简单介绍
• 4-第四章
• 04-数据湖的核心以及和普通大数据分析平台的不同
• 5-第五章
• 05-1-DeltaLake的简介和重点特性解读
• 05-2-DeltaLake的使用形式
• 6-第六章
• 06-1-DeltaLake创建表-读取表-覆盖表操作
• 06-2-DeltaLake有条件更新和合并操作
• 06-3-DeltaLake的数据版本控制
• 06-4-DeltaLake的事务日志
• 7-第七章
• 07-1-DeltaLake表分区和追加
• 07-2-DeltaLake-Schema验证
• 07-3-DeltaLake-更新和删除对Parquet数据文件的影响
• 07-4-DeltaLake-vacuum方法
• 07-5-DeltaLake-表常用工具和阶段总结
• 8-第八章
• 08-1-DeltaLake-事务日志概念回顾
• 08-2-DeltaLake-Schema演化相关概念回顾
• 08-3-DeltaLake-最佳实践和总结
• 9-第九章
• 09-1-案例需求分析
• 09-2-1-基础数据（中间数据）的准备
• 09-2-2-基础数据增加新列
• 09-2-3-统计每小时TOP10热门查询关键词
• 09-2-4-统计全天热门TOP100查询关键词
• 09-2-5-导出数据为普通parquet文件
• 09-3-第九章总结