本套课程来自某马-Python+大数据年度钻石会员-14阶段完结无密

本套课程文件总计106G

学完收获：

熟练使用DS、Oozie、AirFlow等任务调度工具，完成大数据任务调度

熟悉Linux基本操作，完成分布式虚拟机搭建任务

了解数据仓库开发从需求沟通、标签定义、编码开发、整个流程

能够掌握Python语言基础，利用Python语言完成常见编程任务

能够掌握Pandas数据处理和数据分析的工作

能够掌握Java语言基础，利用Java完成MapReduce编程，Flink任务编程

熟练掌握Hadoop生态体系，掌握MapReduce原理及优化技巧

熟悉掌握Spark生态技术栈，利用SparkCore基础数据处理

能够使用SparkSQL完成大数据数据处理及统计分析

能够掌握Hive基础内容，利用HiveSQL完成基础数据仓库构建

能够利用SparkOnHive完成企业级离线数据处理及统计工作

熟练Mysq|数据库，有使用一种ETL方式经验优先

完成Spark/Hadoop/HBase/Kafka/Flink等组件的搭建

能够基于Flink进行实时分析和离线分析

掌握Flink核心4大特性

能够基于FlinkSQL完成常见大数据统计分析任务

能够使用Hbase完成大数据异构数据存储

能够掌握Kafka消息队列基础使用

能够掌握Kafka和Flume对接完成实时数据采集工作

熟练使用FineBi等BI工具完成数据展示任务

课程目录

• 01、阶段一 Python大数据开发基础
• 01、第一章 大数据介绍及开发环境
• 1-1 大数据介绍
• 1. 上课流程
• 2. 大数据介绍1
• 3.大数据应用场景
• 4.大数据介绍
• 1-2 linux介绍及虚拟机网络配置
• 10.解决网络问题
• 11.网络配置和连接工具
• 5.入门知识介绍
• 6.Linux介绍
• 7.虚拟机的介绍
• 8.网络配置
• 9.网络配置2
• 1-3 linux目录介绍
• 12.Linux目录结构介绍
• 02、第二章 linux命令
• 2-1 linux命令（一）
• 1. 反馈
• 10.Linux命令之ps
• 11.linux命令之kill
• 12.Linux命令之ifconfig
• 13. Linux命令之ls
• 13.Linux命令之清屏
• 14.linux命令之pwd
• 14.Linux系统关机命令
• 15.Linux命令之cd
• 15.Linux命令之hostname
• 16.Linux命令之mkdir
• 16.Linux命令之tar
• 17.linux 命令之grep
• 18.linux命令之管道
• 19.linux命令之which
• 2.回顾
• 21.总结
• 3.Linux命令之rm
• 4.linux命令之touch
• 5.Linux命令之mv
• 6.linux 命令之cat
• 7.linux命令之more
• 8.Linux命令之cp
• 9.回顾
• 2-2 vim编辑器的使用
• 20.vi编辑器
• 2-3 linux命令（二）
• 2.回顾
• 21.总结
• 3.Linux命令之useradd
• 4.linux命令之权限
• 03、第三章 MySQL数据库
• 3-1 mysql和datagrip的介绍
• 5.数据库介绍
• 6.mysql安装和datagrip安装
• 7.datagrip连接mysql
• 8.回顾
• 9. mysql的介绍
• 3-2 数据定义语言的使用
• 10.DDL之数据库
• 11.DDL之表操作
• 12.DDL之表结构操作
• 3-3 数据操作语言的使用
• 13.DML操作之插入数据insert
• 14.总结
• 2.回顾
• 3.DML操作之update
• 4.DML操作之delete
• 3-4 数据库约束
• 5.约束之主键约束
• 6.约束之自增
• 7. 约束之not null
• 8.约束之unique
• 9.回顾
• 3-5 数据库查询
• 10.简单查询
• 11. 条件查询1
• 3-6 运算与排序
• 12. null的判断
• 13.逻辑运算符
• 14. order by 排序
• 15.总结
• 补录like视频
• 3-7 函数，分组和二次过滤
• 1. 反馈
• 2.回顾
• 3.聚合函数
• 4.group by分组查询
• 5.having二次过滤
• 6.回顾
• 7.limit查看有限条数据
• 8.insert into 插入结果数据到结果表
• 9.主外键关系
• 3-8 数据库的多种连接查询
• 10.内连接查询
• 11.左连接与右连接
• 12.子查询
• 13.索引介绍
• 14.查看函数
• 15.总结
• 16.第四天的练习
• 3-9 数据库练习回顾
• 1.反馈和回顾
• 2.练习
• 3.练习2
• 4.case when
• 5.sql的重要性
• 补充讲解练习
• 04、第四章 excel的使用
• 4-1 excel的相关操作
• 10.excel创建图表
• 11.生成透视表和透视图
• 6.数据分析介绍
• 7.excel基本操作
• 8.excel的数据处理
• 9.excel常用的函数
• 05、第五章 kettle的使用
• 5-1 kettle的使用
• 1.反馈
• 10.删除组件
• 11.Linux环境下执行转换任务
• 2.kettle的介绍
• 3.kettle入门-TXT文本抽取到excel
• 4.将excel数据抽取到表里面
• 5.将表数据抽取到另外一张表
• 6.插入更新操作
• 7.switch_case条件判断
• 8.设置转换参数
• 9.window下执行job任务
• 06、第六章 数据分析及可视化
• 6-1 finebi的初步使用
• 1.finebi介绍
• 2.数据准备
• 3.选择数据库里面的表
• 4.根据学科制表
• 5.不同城市的学生数量
• 6.不同地区的访问人数
• 6-2 集团分析项目
• 10.集团分析-按省市分析毛利率
• 11.集团分析-按门店分析毛利率
• 12.集团分析-按毛利率分析产品类别销售情况
• 13.集团分析-按毛利率分析产品销售情况
• 14.电商案例介绍
• 15.创建工程用datagrip连接mysql
• 7.集团分析-数据准备
• 8.集团分析-按月分析销售额
• 9.集团分析-按月分析毛利率
• 6-3 数据抽取和统计分析
• 1.了解表数据
• 10.添加索引提高查询速度
• 11.fineBI数据可视化
• 2.加载数据到mysql
• 3.使用kettle抽取数据到数据仓库
• 4.表的介绍
• 5.统计总金额和总订单个数
• 6.统计不同用户数
• 7.按支付方式统计总金额和总笔数
• 8.统计不同用户的订单个数TOP5
• 9.按照一级分类统计总金额和总笔数
• 07、第七章 大数据框架与数仓基础
• 7-1 Hadoop的介绍，配置和集群的使用
• 1.反馈和Hadoop基础介绍
• 2.分布式和集群的区别
• 3.Hadoop的介绍
• 4.Hadoop国内外的应用
• 5.Hadoop1.x与Hadoop2.x的区别
• 6.hdfs和yarn角色介绍
• 7.单机和集群的介绍
• 8.内存设置
• 9.回顾
• 7-2 hdfs的介绍，使用和特特点
• 10. hdfs的介绍
• 11.MapReduce测试集群案例
• 12.hdfs的特点
• 13.hdfs的四个角色
• 14.hdfs的shell命令
• 15.基准测试
• 16.总结
• 7-3 数据仓库的介绍
• 1.反馈
• 2. 回顾
• 3.数据库与数据仓库的区别
• 4.数据仓库的分层
• 5.hive介绍
• 6.启动hiev和进入hive终端
• 7-4 数据仓库的基本使用
• 10.hdfs加载数据到表
• 11.回顾
• 12.外部表操作
• 13.一级分区表
• 14. 多级分区表
• 15.分区操作
• 16.zeppeline使用
• 17.SQL查询
• 18.Hive的内置函数
• 19.hive总结
• 7.数据库操作
• 8.表的基本操作
• 9.本地加载数据到hive表
• 7-5 作业讲解
• 1.反馈
• 2.作业1
• 3.作业2
• 08、第八章 数仓实战项目
• 8-1 数仓实战之滴滴出行
• 10.统计预约和非预约的占比
• 11.按时间段统计订单个数
• 12.按职业统计订单个数求TOP5
• 13.求取消订单的占比
• 14.将订单总笔数的数据导出到mysql表
• 15.将hive结果表数据导出到mysql
• 16.数据可视化
• 4.项目业务背景介绍
• 5.滴滴4张表的介绍
• 6.分层和表的创建
• 7. 生成宽表数据
• 8.回顾
• 9.统计总订单个数
• 8-2 数仓实战之智能电商分析平台（一）
• 1.反馈
• 10.dw层拉链表实现
• 11.拉链表实现补充
• 12.了解表结构
• 13.mysql数据准备
• 14.从mysql导入数据到hive的ods层
• 15.导入数据到dw拉链表
• 16.dw数据加载
• 17.指标1的分析
• 18.总结
• 2.回顾
• 3.了解项目架构
• 4.维度表和实时表的介绍
• 5.三种模型的介绍
• 6.从事实表引出拉链表
• 7.缓慢变化维介绍
• 8.拉链表实现1
• 9.回顾
• 8-3 数仓实战之智能电商分析平台（二）
• 1.反馈和回顾
• 2. 按时间类型统计订单个数和总金额
• 3.根据一级分类、二级分类，支付类型计算订单个数和金额
• 4. sqoop导出数据到MySQL
• 5.fineBI可视化
• 6. 日志数据处理流程
• 7.进入Nginx的web界面
• 8.日志数据介绍
• 8-4 flume的介绍和使用
• 10.实时采集web端日志数据
• 11.采集大文件到hdfs指定目录
• 12. hdfs日志数据预处理
• 9.flume介绍
• 8-5 数仓实战之智能电商分析平台（三）
• 1.反馈
• 10.热门页面TOP10
• 11. 漏斗模型数据准备
• 12.相对占比
• 13漏斗模型计算
• 14.数据导出到MySQL
• 15.fineBI数据可视化
• 16.superset可视化-补充
• 2.回顾
• 3.生成宽表
• 4.骨灰级指标的计算
• 5.骨灰级指标入库
• 6.按小时统计访问次数
• 7，按天统计访问次数
• 8.人均访问页面次数
• 9.页面跳出率
• 02、阶段二 Python基础编程
• 01、第一章 Python基础语法
• 1-1 Python概述
• 00-课程阶段及注意事项
• 01-Python概述
• 1-10 while循环
• 01-循环介绍
• 02-while循环体验
• 03-while循环案例
• 04-break和continue
• 05-死循环
• 1-11 while循环嵌套
• 06-循环嵌套
• 07-break和continue只能控制当前循环
• 08-上午练习讲解
• 09-while嵌套案例
• 1-12 for循环
• 10-for循环入门
• 11-range
• 12-for循环小案例
• 13-for循环中的break和continue
• 14-for循环嵌套案例
• 15-今日总结
• 1-13 循环else
• 00-复习及反馈
• 01-while…else
• 02-for…else
• 03-报数游戏案例
• 1-14 字符串定义、切片
• 04-字符串定义
• 05-输入和输出
• 06-字符串索引
• 07-字符串切片
• 08-上午知识点复习
• 1-15 字符串查找、替换、合并
• 09-字符串查找方法
• 10-字符串替换
• 11-字符串拆分和合并
• 12-字符串转换
• 1-16 字符串删除、判断
• 13-字符串两侧内容删除
• 14-字符串对其
• 15-习题讲解
• 16-字符串判断
• 1-17 列表定义
• 01-列表的定义
• 17-列表定义
• 18-今日总结
• 1-18 列表的操作使用
• 02-列表的查询
• 03-列表的增加
• 04-列表的删除
• 05-列表的修改
• 06-列表的遍历
• 07-练习讲解及上午知识总结
• 08-列表嵌套
• 1-19 元组定义使用
• 09-元组的定义
• 10-元组的相关操作
• 1-2 Pyhton解释器与Pycharm安装配置
• 02-Python解释器及pycharm安装
• 03-pycharm配置
• 1-20 字典定义使用
• 11-字典的定义
• 12-字典的增加
• 13-update补充
• 14-字典的删除
• 15-字典的修改
• 16-字典的查询
• 17-字典循环遍历
• 1-21 集合定义使用
• 00-复习及反馈
• 18-集合的定义
• 19-集合的相关操作
• 1-22 公共方法与推导式
• 01-公共方法之加法
• 02-公共方法之乘法
• 03-公共方法之in和not in
• 04-公共方法之切片
• 05-公共函数
• 06-推导式
• 07-上午知识总结
• 1-23 函数基本使用
• 08-函数定义及调用
• 09-函数的调用顺序
• 10-函数参数
• 11-函数的返回值
• 12-函数说明文档
• 13-函数的其嵌套
• 14-函数案例
• 1-24 函数作用域
• 15-局部变量和全局变量
• 16-global
• 17-函数参数进阶
• 1-25 总结复习
• 00-复习和反馈
• 18-今日总结
• 1-26 不定长参数与组包拆包
• 01-位置不定长参数
• 02-关键字不定长参数
• 03-参数的排布顺序
• 04-组包和拆包
• 1-27 引用类型
• 05-引用
• 06-可变和不可变类型
• 07-上午知识总结
• 08-引用当做参数传递
• 1-28 案例-学员管理系统
• 09-学生管理系统框架
• 10-添加学员
• 11-删除学员
• 12-修改学员
• 13-查询学员
• 14-展示所有学员
• 15-结束程序
• 1-29 递归与复习
• 00-复习和反馈
• 16-递归
• 18-lambda函数
• 1-3 Python变量与注释
• 04-注释
• 05-变量
• 06-上午知识回顾
• 1-30 文件基本操作
• 01-文件读写操作体验
• 02-文件的读取操作
• 03-文件的其他读取方式
• 04-文件的写入操作
• 05-文件的追加操作
• 06-文件的读写模式扩展
• 1-31 文件操作案例
• 07-文件备份案例
• 08-上午知识总结
• 09-文件操作
• 10-文件夹操作
• 11-批量修改文件名案例
• 1-4 变量使用与debug工具
• 07-标识符命名规范
• 08-变量的使用
• 09-变量类型
• 10-常见bug及调试工具使用
• 1-5 Python格式化输出
• 00-反馈及复习
• 11-输出
• 12-格式化输出
• 13-今日总结
• 1-6 输入与类型转化
• 01-转译字符
• 02-f-string
• 03-习题讲解1
• 04-input输入
• 05-数据类型转换
• 1-7 Python运算符
• 06-算数运算符
• 07-算数运算符优先级
• 08-赋值运算符
• 09-上午知识点复习
• 10-复合赋值运算符
• 11-比较运算符
• 12-逻辑运算符
• 13-短路运算
• 14-世界杯案例
• 1-8 Python分支语句
• 15-分支语句语法
• 16-分支语句注意事项
• 17-练习讲解2
• 18-if嵌套
• 19-猜拳游戏
• 20-三目运算符
• 1-9 分支总结与复习
• 00-反馈和复习
• 21-今日总结
• 02、第二章 Python面向对象编程
• 2-1 类定义与初始化
• 12-面向对象编程思想
• 13-类和对象
• 14-类的定义和实例化
• 15-self
• 2-10 Python模块与包
• 13-Python中的模块
• 14-自定义模块
• 15-模块的定位顺序
• 16-__all__的作用
• 17-包的导入
• 2-11 学员管理系统-面向对象版本
• 18-学员管理系统框架搭建
• 19-学员信息的增删改
• 20-学员管理系统的存储和提取
• 2-2 总结与复习
• 00-复习和反馈
• 16-今日总结
• 2-3 示例属性操作
• 01-在类的外部添加和获取实例属性
• 02-在类的内部添加和获取实例属性
• 2-4 魔法方法
• 03-魔术方法介绍
• 04-__init__方法
• 05-带参数的__init__方法
• 06-__str__方法
• 07-__del__方法
• 2-5 面向对象案例
• 08-上午知识回顾
• 09-面向对象案例
• 2-6 面向对象封装与继承
• 10-封装
• 11-私有属性和私有方法
• 12-继承介绍
• 13-单继承
• 14-多继承
• 2-7 面向对象多态
• 00-复习与反馈
• 01-子类对象调用父类方法
• 02-多态
• 15-子类中重写父类方法
• 16-今日总结
• 2-8 类属性方法
• 03-类属性
• 04-类方法
• 05-静态方法
• 06-面向对象案例
• 2-9 Python异常处理
• 07-异常捕获
• 08-捕获指定类型的异常
• 09-上午知识点复习
• 10-else和finally
• 11-异常捕获案例
• 12-抛出自定义异常
• 03、阶段三 Python进阶编程
• 01、第一章 多任务编程-进程
• 1-1 多任务的介绍
• 1-课程介绍
• 2-多任务介绍
• 3-多任务动画演示
• 1-2 多进程的使用
• 4-进程介绍
• 5-进程基本使用（掌握）
• 6-进程错误说明
• 1-3 进程执行带有参数的任务
• 7-进程传参
• 8-进程名称指定
• 9-获取进程编号
• 1-4 进程的注意点
• 10-进程的注意点
• 02、第二章 多任务编程-线程
• 2-1 多线程的使用
• 12-线程的介绍
• 13-线程的基本使用（掌握）
• 14-线程参数传递
• 14-线程和进程运行流程说名
• 2-2 多进程的使用
• 15-线程名字命名
• 2-3 线程的注意点
• 16-主线程和子线程关系说明
• 17-线程间数据共享
• 18-线程间数据共享问题
• 19-进程间通讯
• 2-4 进程和线程对比
• 1-线程字段抢占回顾
• 2-作业说明
• 20-进程和线程区别
• 21-ip地址和端口
• 22-tcp协议和socket
• 3-作业编程1的流程说明
• 03、第三章 网络编程
• 3-1 socket的介绍
• 4-客户端和服务端开发流程（理解）
• 5-服务端开发工具说明
• 6-网络调试助手使用
• 7-客户端开发演示
• 3-2 TCP客户端程序开发
• 10-服务端代码优化–循环处理客户端请求
• 11-客户端和服务端交互流程说明
• 8-服务端开发演示（掌握）
• 9-上午回顾
• 3-3 多任务版TCP服务端程序开发
• 12-服务端代码优化–多任务实现客户端数据处理
• 13-客户端和服务端的注意点
• 04、第四章 HTTP协议和静态Web服务器
• 4-1 HTTP协议
• 14-HTTP协议介绍
• 15-url网址介绍
• 4-2 查看HTTP协议的通信过程
• 1-回顾
• 16-浏览器调试工具介绍
• 17-请求报文介绍
• 2-响应报文结构说明
• 4-3 搭建Python自带静态Web服务器
• 3-python自带静态服务器演示
• 4-使用浏览器复制前端页面代码
• 5-http服务器搭建
• 6-python环境变量
• 7-返回前端文件数据
• 8-返回指定页面数据的逻辑分析
• 9-返回指定页面数据的代码实现
• 4-4 静态Web服务器-面向对象开发
• 10-多任务版静态服务实现
• 11-代码运行错误处理
• 12-面向对象版静态服务
• 05、第五章 html+css基础
• 5-1 html的介绍
• 13-前端介绍
• 14-html介绍
• 15-vscode安装
• 5-2 初识常用的html标签
• 16-html的基本使用
• 17-html标签的基本使用
• 18-回顾
• 5-3 资源路径
• 1-面向对象回顾
• 2-昨天回顾
• 3-标签路径指定
• 4-排序展示数据
• 5-4 css的介绍
• 5-css介绍
• 6-css行内和内嵌使用
• 7-css外链使用
• 5-5 css选择器
• 10-css层级选择器
• 11-布局样式控制
• 12-字体样式控制
• 13-回顾
• 8-css类选择器使用
• 9-cssid选择器使用
• 06、第六章 JavaScript
• 6-1 JavaScript的介绍
• 14-js介绍
• 15-行内使用js
• 16-内嵌和外链式使用js
• 6-2 变量和数据类型
• 17-js的变量
• 6-3 函数定义和调用
• 18-函数的基本使用
• 19-全局和局部变量
• 6-4 条件语句
• 20-条件判断的基本使用
• 21-条件判断的与或非
• 6-5 数组及操作方法
• 22-数组的基本使用
• 23-数组删除
• 6-6 循环语句
• 24-for循环使用
• 25-while循环使用
• 6-7 字符串拼接
• 1-回顾
• 26-字符串拼接
• 27-jquery介绍
• 28-jquery基本使用
• 07、第七章 jQuery
• 7-1 jQuery的介绍
• 2-jquery的引入
• 3-jquery引入的简写形式
• 7-2 jQuery选择器
• 4-jquery类选择的使用
• 5-jquery的id和层级选择
• 7-3 选择集过滤
• 6-jquery过滤选择
• 7-4 获取和设置元素内容
• 7-jquery的标签数据写入
• 8-juqery的标签属性值操作
• 7-5 jQuery事件
• 10-输入框数据获取
• 9-jquery的事件处理
• 7-6 JavaScript对象
• 11-javascript的数据对象
• 7-7 json
• 12-json数据形式
• 13-聚合数据网站的注册
• 7-8 ajax
• 14-ajax的作用
• 15-ajax的使用
• 16-数据的解析
• 7-9 综合案例
• 17-对比python的数据解析
• 18-数据的写入
• 20-小结
• 08、第八章 闭包和装饰器
• 8-1 闭包
• 21-闭包的介绍
• 22-闭包的定义
• 23-闭包传参
• 24-闭包的参数使用
• 8-2 装饰器
• 1-闭包回顾
• 25-装饰器的使用
• 26-回顾
• 27-产品说明
• 8-3 装饰器的使用
• 2-函数穿参回顾
• 3-装饰器回顾
• 4-装饰器传参
• 5-装饰器不定长参数
• 6-不定长参数的拆包解压
• 8-4 通用装饰器的使用
• 7-通用装饰器的使用
• 8-通用装饰器日志操作
• 9-装饰器的数据返回
• 09、第九章 正则表达式
• 9-1 with语句
• 10-内容介绍
• 11-with文件操作
• 9-2 深拷贝和浅拷贝
• 12-不可变类型深浅拷贝
• 13-可变类型深浅拷贝
• 14-深浅拷贝的流程图
• 15-深拷贝的使用场景
• 16-深浅拷贝使用场景
• 9-3 re的模块介绍
• 17-re模块介绍
• 18-正则的基本使用
• 9-4 匹配单个字符
• 19-匹配任意字符
• 20-匹配字符范围指定
• 21-匹配数字和非数字
• 22-匹配空格和非空格
• 23-匹配数字字母和非数字字母
• 9-5 匹配多个字符
• 24-匹配多个字符
• 25-匹配指定字符个数
• 26-小结回顾
• 10、第十章 mini-Web
• 10-1 Web应用概述
• 1-服务端开发回顾
• 2-面向对象版服务器开发回顾
• 27-miniweb介绍
• 28-miniweb改造
• 3-业务代码拆分封装回顾
• 4-json数据使用回顾
• 5-服务器代码梳理
• 10-2 应用程序开发
• 10-pymysql数据更新
• 11-上午回顾
• 6-数据库创建
• 7-数据库连接导入数据
• 8-pymysql安装
• 9-pymysql基本使用
• 10-3 路由列表功能开发
• 12-返回所有图书数据
• 13-获取一个图书数据的路径匹配
• 14-切割路径数据
• 15-获取一个图书数据的业务实现
• 16-封装路径匹配方法
• 17-封装查询数据库方法
• 18-路由列表的使用
• 19-拓展–框架使用
• 20-前端和后端服务交互
• 10-4 logging日志
• 21-日志的使用
• 22-代码拆分封装回顾
• 11、第十一章 数据埋点
• 11-1 埋点形式
• 23-数据埋点介绍
• 24-埋点形式介绍
• 11-2 埋点方案
• 25-埋点位置说明
• 26-埋点流程介绍
• 27-埋点方案制定两个大问题说明
• 28-埋点字段选取分析
• 11-3 埋点实践
• 29-埋点位置说明
• 30-代码开发
• 31-流程总结
• 04、阶段四 SQL
• 01、第一章 窗口函数
• 1-1 窗口函数简介与基本用法
• 01-（重点）MySQL8.0软件安装与部署
• 02-（重点）使用Navicat连接MySQL数据库
• 03-（了解）数据前期准备
• 04-（了解）SQL中注释
• 05-（重点）SQL查询五子句
• 06-（重点）回顾where子句应用（上）
• 07-（重点）回顾like模糊查询语句
• 08-（重点）回顾范围查询
• 09-（易错点）回顾NULL空值判断
• 10-（重点）回顾order by排序规则（重点理解NULL值排序）
• 11-（重点）回顾limit子句（限制查询数量）
• 12-（重点）回顾常见的5个聚合函数
• 13-（扩展）ifnull函数（空值判断与处理）
• 14-（重点）回顾group by分组子句
• 15-（重点）回顾having子句（重点掌握where-groupby-having执行顺序）
• 16-（了解）学习目标
• 17-（准备）窗口函数数据准备
• 1-2 OVER(PARTITION BY)
• 18-（入门）窗口函数语法与快速入门
• 19-（小结）窗口函数的优点
• 20-（案例）求员工表中所有员工的平均工资
• 21-（案例）SUM与AVG与窗口函数的结合应用
• 22-（案例）使用窗口函数求某列占总金额的百分比（百分比要乘100）
• 23-（扩展）concat函数与round函数
• 24-（案例）把窗口函数与count结合使用
• 25-（案例）在一条SQL语句中出现多个窗口函数（注意别名出现关键字的解决方案）
• 1-3 排序函数
• 01-（踩坑）WHERE子句与窗口函数的执行顺序
• 02-（说明）火车时刻表数据集解析
• 03-（重点）窗口函数分组案例
• 04-（重点）partition by传入多列
• 05-（案例）partition by练习题
• 06-（重点）rank排序函数
• 07-（对比）rank函数dense_rank函数与row_number函数的区别
• 08-（踩坑）order by子句是在rank窗口函数后执行
• 09-（案例）窗口函数与order by应用案例（如果两者结合，窗口函数排序后，在使用order by，顺序会被打乱）
• 10-（重点）ntile函数-rank函数与with语句相结合
• 11-（注意）编写SQL语句常见的三种错误
• 12-（案例）求安装包最小的游戏信息
• 13-（小结）排序函数
• 1-4 window frames 自定义窗口
• 01-（重点）rows与range的区别（根据行号定窗口与根据字段值定窗口）
• 02-（简化）rows和range的区别
• 03-（重点）over窗口函数与order by的关系
• 04-（重点）分析函数中的lead与lag（超前与落后）
• 05-（扩展）lead函数的参数（1个参数-2个参数-3个参数）
• 14-（难点）window frames窗口大小定义
• 15-（重点）从当前行到下方所有行的窗体
• 16-（易错点）windows frames窗体简写形式（只针对preceding）
• 课程回顾
• 1-5 分析函数
• 06-（重点）分析函数中lead与lag（超前与落后）
• 07-（重点）first_value取窗体中的第一个值
• 08-（易错点）last_value与order by之间的关系
• 09-（重点）nth_value（获取某个字段第N个值，注意窗口范围）
• 10-（小结）分析函数小结
• 1-6 PARTITION BY 与 ORDER BY
• 11-（回顾）partition by分组应用
• 12-（重点）partition by与order by结合rank与ntile函数应用
• 13-（重点延伸）使用partition by order by求topN问题
• 14-（作业）使用partition by order by与window frame和lead-lag想结合
• 1-7 窗口函数避坑指南
• 15-（踩坑）不能在where子句中使用窗口（一定要使用，则必须使用子查询）
• 16-（踩坑）不能在having子句中使用窗口函数
• 17-（踩坑）不能在group by子句中使用窗口函数
• 18-（踩坑）可以在order by子句中使用窗口函数（ntile分组时不能使用别名）
• 19-（踩坑）窗口函数与group by一起使用（唯一场景聚合函数嵌套）
• 20-（踩坑）rank时使用聚合函数（一般要结合group by一起使用）
• 21-（工作）使用group by结合窗口函数计算环比（两个相邻数据的差值）
• 22-（工作）在group by的基础上使用partition by进行二次分组
• 23-窗口总结
• 课程回顾
• 02、第二章 数据报表
• 2-1 数据介绍
• 01-（回顾）交叉查询与内连接查询
• 02-（回顾）回顾外连接查询（重点掌握左外连接）
• 03-（前言）SQL报表的学习目标
• 04-（重要）SQL报表数据集介绍
• 05-（重点）多表查询练习题5则（重点掌握后面2个）
• 06-（入门）报表的入门三步走（关联-条件-字段）
• 2-2 使用SQL进行数据汇总
• 07-（重点）使用报表三步走实现案例二则
• 08-（重点）关于报表的计算（求订单的总金额）
• 09-（重点）计算多个订单的总金额（与group by相结合）
• 10-（易错点）多表连接分组时一定要考虑是否有重名情况
• 11-（回顾）显示部分数据与count函数回顾（重点对比count与count(列名)区别）
• 12-（易错）计数统计与left join应用（上）
• 13-（易错）计数统计与left join应用（下）
• 14-（小结）使用SQL进行数据汇总
• 2-3 使用CASE WHEN和GROUP BY将数据分组
• 01-（重点）在group by中使用case when与case when结合sum进行简单计数与复杂运算
• 15-（重点）自定义分组的基本语法
• 16-（重点）引入case when以及else语句
• 17-（重点）在group by中使用case when自定义分组
• 18-（重点）在case…when语句中使用count聚合函数
• 课程回顾
• 2-4 使用WITH (Common Table Expressions)公用表表达式
• 02-（小结）case…when语句与group by结合应用
• 03-（重点）with查询语句（重点掌握with编写二步走）
• 04-（了解）with查询语句的另外一种写法
• 05-（复杂）多层聚合
• 06-（案例）多层聚合案例演示
• 07-（重点）with语句+group by+case when实现自定义分组聚合
• 08-（难点）三层聚合（重点一定要分析出先求哪一个在求哪一个）
• 09-（小结）with多级聚合总结
• 10-（注意）with语句使用过程中的注意事项
• 2-5 计算多个指标
• 11-（重点）在一条SQL中计算多个指标
• 12-（重点）自定义指标（case when语句）
• 13-（重点）求某个指标的百分比
• 14-（案例）分组+业务指标的百分比
• 15-（小结）计算多个指标
• 2-6 分组对比
• 16-（重点）按行比较与按列比较核心思想
• 17-（重点）按多列进行比较（多余的列要出现在group by语句中）
• 18-（重点）按占比比较与分组对比小结
• 课程回顾
• 05、阶段五 Python数据处理与分析实战
• 01、第一章 Python 数据分析简介
• 1-1 Python 数据分析环境搭建
• 03-Anaconda简介和软件安装
• 04-什么是虚拟环境
• 05-Anaconda管理虚拟环境
• 06-Anaconda安装python扩展包
• 07-jupyter notebook启动的两种方式
• 08-jupyter notebook功能扩展配置
• 09-jupyter notebook文件创建和菜单介绍
• 10-jupyter notebook常用快捷键
• 11-jupyter notebook使用markdown
• 1-2 Python 数据分析简介
• 00-今日课程内容简介
• 01-为什么使用Python进行数据分析
• 02-Python数据分析常用开源库
• 02、第二章 Pandas快速入门
• 2-1 Pandas快速入门
• 12-pandas快速入门-DataFrame和Series简介
• 13-pandas快速入门-加载csv和tsv数据集
• 14-pandas快速入门-DataFrame的行列标签和行列位置编号
• 15-pandas快速入门-loc函数获取指定行列数据
• 16-pandas快速入门-iloc函数获取指定行列数据
• 17-pandas快速入门-loc和iloc函数的切片操作
• 18-pandas快速入门-[]语法获取指定行列数据
• 19-总结回顾-上午课程内容小结
• 2-2 Series 和 Dataframe
• 20-Series详解-创建Series数据
• 21-Series详解-常用属性和方法
• 22-Series详解-常用统计方法
• 23-Series详解-bool索引
• 24-Series详解-Series运算
• 25-DataFrame详解-创建DataFrame数据
• 26-DataFrame详解-常用属性和方法
• 27-DataFrame详解-常用统计方法
• 28-DataFrame详解-bool索引
• 29-DataFrame详解-DataFrame运算
• 30-DataFrame详解-行标签和列表签操作
• 2-3 Dataframe 增删改
• 31-DataFrame增删改-行操作
• 32-DataFrame增删改-列操作
• 33-DataFrame 数据导出和导入
• 2-4 Dataframe 查询
• 00-昨日课程内容回顾
• 01-nlargest和msmallest函数使用
• 02-pandas基本绘图操作
• 34-DataFrame 条件查询操作
• 35-DataFrame 分组聚合操作
• 36-DataFrame 排序操作
• 37-总结回顾-今日课程内容总结
• 2-5 租房数据分析示例
• 03-租房数据分析示例-数据加载和查看
• 03、第三章 pandas数据清洗
• 3-1 数据组合-concat
• 04-租房数据分析示例-简单分析-01
• 04-租房数据分析示例-简单分析-02
• 05-concat数据拼接-行拼接
• 06-concat数据拼接-列拼接
• 07-concat数据拼接-join参数
• 3-2 数据组合-merge
• 08-merge关联数据-方法简介
• 09-merge关联数据-数据集加载和查看
• 10-merge关联数据-关联示例
• 11-join关联数据-方法简介
• 12-join关联数据-关联示例
• 13-总结回顾-上午课程内容小结
• 3-3 缺失值处理
• 14-缺失值处理-pandas缺失值简介
• 15-缺失值处理-加载包含缺失值的数据
• 16-缺失值处理-缺失值处理简介
• 17-缺失值处理-加载数据并查看缺失情况
• 18-缺失值处理-Missingno库数据缺失可视化
• 19-缺失值处理-删除缺失值
• 20-缺失值处理-填充缺失值
• 21-缺失值处理-时序数据缺失值处理
• 3-4 数据整理
• 00-昨日课程内容回顾
• 01-wide_to_long 整理数据-加载数据
• 02-wide_to_long 整理数据-具体使用
• 22-melt整理数据-简单使用
• 23-melt整理数据示例-需求和过程简介
• 24-melt整理数据示例-详细过程实现
• 25-melt整理数据示例-不同数据存储形式内存查看
• 26-stack整理数据-stack和unstack方法简介
• 27-stack整理数据-stack和unstack功能演示
• 28-总结回顾-今日课程内容总结
• 3-5 Pandas 数据类型
• 03-数据类型-Numpy简介
• 04-数据类型-Numpy的ndarray
• 05-数据类型-pandas数据类型
• 06-类型转换-astype函数基本使用
• 07-类型转换-to_numeric函数使用
• 08-数据类型-category数据类型
• 04、第四章 pandas数据处理
• 4-1 Apply自定义函数
• 09-apply函数-Series的apply方法
• 10-apply函数-DataFrame的apply方法
• 11-apply函数-使用案例
• 12-总结回顾-上午课程内容小结
• 13-函数向量化
• 14-lambda 函数
• 4-2 数据分组操作
• 15-分组聚合-方法使用和内置聚合函数
• 16-分组聚合-示例操作
• 17-分组transform-基本使用
• 18-分组transform-填充缺失值
• 19-分组transform-减肥比赛案例
• 4-3 数据分组操作-透视
• 20-分组过滤-示例操作
• 21-分组对象-基本操作
• 22-分组对象-遍历分组
• 23-分组对象-多列分组
• 24-数据透视表-pivot_table基本使用
• 25-总结回顾-今日课程内容总结
• 4-4 数据分组操作-会员数据分析 1
• 00-昨日课程内容回顾
• 01-会员数据分析-业务背景和需求简介
• 02-会员数据分析-会员增量存量分析
• 03-会员数据分析-会员增量等级分布
• 04-会员数据分析-会员增量等级占比
• 05-会员数据分析-整体会员等级占比
• 06-会员数据分析-线上线下会员增量分析
• 07-会员数据分析-地区店均会员数量
• 4-5 数据分组操作-会员数据分析 2
• 08-会员数据分析-会销比(会员消费比例)
• 09-会员数据分析-连带率(会员订单平均消费数量)
• 10-会员数据分析-复购率(复购人数占消费总人数比例)-简介
• 11-会员数据分析-复购率(复购人数占消费总人数比例)-实现
• 12-会员数据分析-复购率(复购人数占消费总人数比例)-封装
• 4-6 Dataframe 数据类型
• 13-日期数据类型-python中的datetime对象
• 14-日期数据类型-pandas数据转换为datetime类型
• 15-日期数据类型-提取 datetime 的各个部分
• 16-日期数据类型-日期运算和Timedelta
• 17-日期数据类型-银行数据分析
• 4-7 Dataframe 数据类型案例
• 00-昨日课程内容回顾
• 01-日期数据类型-丹佛报警记录分析
• 18-日期数据类型-DatetimeIndex和TimedeltaIndex
• 19-日期数据类型-data_range方法的使用
• 20-日期数据类型-丹佛报警记录分析-日期数据筛选
• 21-总结回顾-今日课程内容总结
• 05、第五章 Python数据可视化
• 5-1 Matplotlib 绘图
• 02-数据可视化-python常见可视化库简介
• 03-Matplotlib-绘图的基本套路
• 04-Matplotlib-绘图的两种方式
• 05-Matplotlib-数据可视化的重要性
• 06-Matplotlib-单变量绘图(直方图)
• 07-Matplotlib-双变量绘图(散点图)
• 08-Matplotlib-多变量绘图(颜色和点大小)
• 5-2 Pandas 绘图
• 09-Pandas绘图-单变量绘图(柱状图)
• 10-Pandas绘图-单变量绘图(折线图-直方图-饼图等)
• 11-Pandas绘图-双变量绘图(散点图-蜂巢图等)
• 12-Seaborn绘图-seaborn模块简介
• 13-总结回顾-上午课程内容小结
• 5-3 Seaborn 绘图
• 14-Seaborn绘图-单变量绘图
• 15-Seaborn绘图-双变量绘图-01
• 16-Seaborn绘图-双变量绘图-02
• 17-Seaborn绘图-多变量绘图-颜色和形状
• 18-Seaborn绘图-多变量绘图-分面
• 19-Seaborn绘图-设置样式
• 5-4 Pyecharts 绘图
• 00-昨日课程内容回顾
• 20-Pyecharts绘图-柱状图绘制
• 21-Pyecharts绘图-词云图绘制
• 22-Pyecharts绘图-气泡图绘制
• 23-Pyecharts绘图-柱状图绘制
• 24-总结回顾-今日课程内容总结
• 06、第六章 pandas综合案例
• 6-1 案例1 Appstore 数据分析
• 01-Appstore数据分析-背景和分析需求说明
• 02-Appstore数据分析-数据加载和概况分析
• 03-Appstore数据分析-app价格不同维度分析
• 04-Appstore数据分析-数据可视化分析
• 05-Appstore数据分析-业务需求分析
• 6-2 案例2 优衣库销售数据分析
• 06-优衣库销售数据分析-需求和数据加载
• 07-优衣库销售数据分析-不同种类产品的销售情况
• 08-优衣库销售数据分析-用户的消费方式(线上线下)
• 09-优衣库销售数据分析-用户的消费习惯(周间周末)-01
• 09-优衣库销售数据分析-用户的消费习惯(周间周末)-02
• 10-优衣库销售数据分析-销售额和成本的关系
• 6-3 案例3 RFM 用户分群1
• 11-RFM用户模型分析-RFM用户价值模型简介
• 12-RFM用户模型分析-EXCEL RFM用户分析
• 13-RFM用户模型分析-业务背景和分析需求说明
• 14-RFM用户模型分析-数据加载和基本信息查看
• 15-RFM用户模型分析-数据预处理和RFM初始值计算
• 16-RFM用户模型分析-RFM区间划分和分值计算
• 17-RFM用户模型分析-RFM计算结果保存
• 18-RFM用户模型分析-RFM计算结果可视化
• 19-RFM用户模型分析-RFM计算结果的分析
• 20-RFM用户模型分析-RFM模型分析的注意点
• 21-总结回顾-今日课程内容总结
• 06、阶段六 Hadoop生态体系
• 01、第一章 linux
• 1-1 linux环境搭建
• 00–今日课程目标与大纲
• 01–操作系统的概述
• 02–Linux操作系统介绍与发展
• 03–VMware虚拟机–了解计算机硬件
• 04–VMware虚拟机–了解3种网络模式
• 05–VMware虚拟机–使用nat模式安装centsos(详解)
• 06–ssh协议-CRT远程加密访问Linux
• 07–linux文件上传下载–sftp、lrzsz
• 08–了解虚拟机快照的使用
• 1-2 linux文件系统
• 09–Linux文件系统–目录树结构与基本概念
• 10–Linux文件系统–常见操作命令–ls、pwd、cd
• 11–Linux文件系统–常见操作命令–cd、mkdir、touch、cp、mv
• 12–Linux文件系统–常见操作命令–文件查看命令（cat head tail）
• 13–Linux文件系统–常见操作命令–echo、管道、重定向、软链接
• 14–Linux文件系统–常见搜索命令–find、grep、which
• 15–Linux文件系统–解压缩操作
• 1-3 vi编辑器
• 16–vi编辑器–功能介绍与新建打开文件、异常处理
• 17–vi编辑器–常用的基础命令（复制粘贴、删除、撤销、搜索替换）
• 18–vi编辑器–常用的基础命令–如何进入插入编辑模式
• 19–使用nodepad++插件远程操作linux文件
• 1-4 linux用户与权限
• 00–课程内容回顾总结
• 01–今日课程内容大纲与学习目标
• 02–Linux用户与权限–用户、用户组、权限管理概述
• 03–Linux用户与权限–用户、用户组管理命令
• 04–Linux用户与权限–su、sudo权限管理
• 05–Linux用户与权限–权限的修改操作（chmod）
• 06–Linux系统信息查看
• 1-5 大数据集群环境搭建
• 07–大数据集群环境搭建–分布式、集群概念初识
• 08–大数据集群环境搭建–集群常见的架构（主从、主备）
• 09–大数据集群环境搭建–虚拟机克隆、Linux修改主机名和IP
• 10–大数据集群环境搭建–主机名IP的hosts映射
• 11–大数据集群环境搭建–防火墙服务关闭
• 12–大数据集群环境搭建–配置ssh免密登录
• 13–大数据集群环境搭建–了解什么是跳板机
• 14–大数据集群环境搭建–scp远程复制
• 15–大数据集群环境搭建–集群时间同步（ntpdate）
• 1-6 linux软件安装方式
• 16–Linux软件安装方式–rpm、yum机制
• 17–Linux软件安装方式–使用rpm安装mysql5.7版本
• 18–Linux软件安装方式–JDK的安装
• 1-7 shell
• 19–了解shell
• 02、第二章 Zookeeper
• 2-1 大数据导论
• 00–课程内容回顾总结
• 01–Linux文件系统中–读写执行的真正含义
• 02–今日课程学习目标与内容大纲
• 03–大数据导论–数据与数据分析
• 04–大数据导论–数据分析的作用–离线、实时ML
• 05–大数据导论–数据分析基本步骤–明确分析目的和思路
• 06–大数据导论–数据分析基本步骤–收集、预处理、分析、应用
• 07–大数据导论–数据分析基本步骤梳理
• 08–大数据导论–大数据时代（5V特征、应用场景）
• 09–大数据导论–分布式技术
• 2-2 Zookeeper
• 10–Apache Zookeeper–概述与本质
• 11–Apache Zookeeper–全局数据一致性
• 12–Apache Zookeeper–集群角色职责
• 13–Apache Zookeeper–集群安装、配置讲解
• 14–Apache Zookeeper–集群启动与关闭
• 15–Apache Zookeeper–数据模型–znode是什么
• 16–Apache Zookeeper–数据模型–znode类型
• 17–Apache Zookeeper–shell客户端、创建节点操作
• 18–Apache Zookeeper–shell客户端、查看、更新、删除节点
• 19–Apache Zookeeper–监听机制watch
• 20–Apache Zookeeper–典型应用
• 03、第三章 Hadoop
• 3-1 hadoop简介
• 00–课程内容回顾总结
• 01–今日课程内容大纲
• 02–Apache Hadoop–软件介绍（广义、狭义）
• 03–Apache Hadoop–起源发展（谷歌3篇论文）
• 04–Apache Hadoop–特性优点–重点理解通用性
• 05–Apache Hadoop–发行版本介绍
• 3-2 hadoop环境搭建
• 06–Apache Hadoop–hadoop集群角色介绍
• 07–Apache Hadoop–Hadoop部署模式、集群规划
• 08–Apache Hadoop–Hadoop安装包与源码编译
• 09–Apache Hadoop–集群安装–服务器基础环境准备、安装包目录
• 10–Apache Hadoop–集群安装–配置文件详解
• 11–Apache Hadoop–集群安装–namenode format初始化操作
• 12–Apache Hadoop–集群启动与关闭
• 13–Apache Hadoop–启动错误如何排错
• 14–Apache Hadoop–初体验、WebUI页面
• 15–Apache Hadoop–jobhistory历史记录服务配置使用
• 16–Apache Hadoop–垃圾桶机制
• 3-3 Hadoop_HDFS
• 00–课程内容回顾总结
• 01–课程学习目标与内容大纲
• 02–Hadoop HDFS–概述、如何模拟实现分布式文件系统
• 03–Hadoop HDFS–核心特性的作用（分布式、分块、备份、元数据记录）
• 04–Hadoop HDFS–设计目标
• 05–Hadoop HDFS–重要特性梳理与解释
• 06–Hadoop HDFS–shell command操作
• 07–Hadoop HDFS–工作机制–上传文件流程（写流程）
• 08–Hadoop HDFS–工作机制–下载文件流程（读流程）
• 09–Hadoop HDFS–工作机制–nn、dn职责概述总结
• 10–Hadoop HDFS–安全模式
• 11–Hadoop HDFS–namenode元数据管理机制、snn是什么
• 12–Hadoop HDFS–namenode元数据相关的目录和文件
• 13–Hadoop HDFS–secondarynamenode checkpoint机制
• 14–Hadoop HDFS–辅助工具–distcp远程拷贝
• 15–Hadoop HDFS–辅助工具–archive归档工具
• 3-4 Hadoop_MapReduce
• 00–课程内容回顾总结
• 01–课程内容大纲和学习目标
• 02–Hadoop MapReduce–理解分而治之的思想（先分再合）
• 03–Hadoop MapReduce–设计构思
• 04–Hadoop MapReduce–官方示例（圆周率pi评估–如何提交mr程序
• 05–Hadoop MapReduce–官方示例–Wordcount需求与实现思路剖析
• 06–Hadoop MapReduce–官方示例–Wordcount–java代码梳理与程序提交
• 07–Hadoop MapReduce–Python实现Wordcount、Hadoop Streaing提交脚本
• 08–Hadoop MapReduce–Centsos7如何安装Python3
• 09–Hadoop MapReduce–输入输出路径注意事项
• 10–Hadoop MapReduce–工作机制–map阶段执行流程（含逻辑切片机制）
• 11–Hadoop MapReduce–工作机制–reduce阶段执行流程
• 12–Hadoop MapReduce–工作机制–shuffle机制
• 3-5 Hadoop_YARN
• 13–Hadoop YARN–功能职责概述（通用资源管理、任务调度）
• 14–Hadoop YARN–3大组件、mr程序提交yarn流程
• 15–Hadoop YARN–scheduler调度策略
• 16–Hadoop YARN–capacity配置示例说明
• 3-6 Hadoop_HA
• 17–Hadoop HA集群–什么是高可用、实现高可用注意事项
• 18–Hadoop HA集群–HDFS HA–QJM实现原理
• 19–Hadoop HA集群–YARN HA
• 04、第四章 Hive
• 4-1 数据仓库介绍
• 00–课程内容回顾总结
• 01–今日课程内容大纲和学习目标
• 02–数据仓库–数仓基本概念、由来起源
• 03–数据仓库–数仓的主要特征
• 04–数据仓库–数仓和数据库的区别（OLTP、OLAP系统区别）
• 05–数据仓库–经典3层架构（ODS、DW、DA）
• 06–数据仓库–美团酒旅数仓建设实战
• 07–数据仓库–ETL、ELT
• 4-2 Hive介绍和安装
• 08–Apache Hive–介绍概述、如何模拟实现Hive功能
• 09–Apache Hive–架构组件
• 10–Apache Hive–和MySQL的对比
• 11–Apache Hive–metadata、metastore区别
• 12–Apache Hive–metastore3种部署方式及区分
• 13–Apache Hive–远程部署模式安装配置详解
• 14–Apache Hive–metastore服务启动方式
• 15–Apache Hive–两代客户端使用、HS2服务的启动
• 16–Apache Hive–初体验Hive
• 4-3 Hive_DDL语法
• 00–课程内容回顾总结
• 01–课程内容大纲和学习目标
• 02–Apache Hive–DDL–概述、建表语法树剖析
• 03–Apache Hive–DDL–建表–表存在异常忽略
• 04–Apache Hive–DDL–建表–数据类型
• 05–Apache Hive–DDL–建表–SerDe机制、delimited分隔符指定语法
• 06–Apache Hive–DDL–建表–默认分隔符
• 07–Apache Hive–DDL–建表–内部表、外部表
• 08–Apache Hive–DDL–建表–数据存储路径location
• 09–Apache Hive–DDL–建表–分区表–背景引入、分区表创建
• 10–Apache Hive–DDL–建表–分区表–静态分区加载数据
• 11–Apache Hive–DDL–建表–分区表–动态分区加载数据
• 12–Apache Hive–DDL–建表–分区表–多重分区、注意事项
• 13–Apache Hive–DDL–建表–分桶表–语法解读、创建、加载
• 14–Apache Hive–DDL–建表–分桶表–分桶表减少join笛卡尔积数量
• 15–Apache Hive–DDL–了解其他操作（修改、删除）
• 16–Apache Hive–常见的show语法
• 4-4 Hive_DML语法
• 17–Apache Hive–DML–load加载数据
• 18–Apache Hive–DML–insert–hive中如何使用
• 19–Apache Hive–DML–insert–多重插入、动态分区插入、导出操作
• 4-5 Hive_DQL语法
• 00–课程内容回顾总结
• 01–今日课程内容大纲和学习目标
• 02–PyCharm等工具如何连接HiveServer2
• 03–Apache Hive–DQL–select基础查询语法及注意事项
• 04–Apache Hive–DQL–select分桶查询（cluster、distribute by、sort by）
• 05–Apache Hive–DQL–union联合查询
• 06–Apache Hive–DQL–CTE表达式使用（with as）
• 07–Apache Hive–DQL–join查询
• 4-6 Hive其他功能介绍
• 08–Apache Hive–shell命令行3种功能、如何调用sql脚本
• 09–Apache Hive–参数配置方式
• 10–Apache Hive–内置运算符
• 11–Apache Hive–函数的分类（UDF、UDAF、UDTF）
• 12–Apache Hive–常见的内置函数梳理
• 4-7 Hive函数高阶应用
• 00–课程内容回顾总结
• 01–课程内容大纲与学习目标
• 02–Apache Hive–函数高阶应用–explode函数的功能
• 03–Apache Hive–函数高阶应用–UDTF函数使用限制、lateral View侧视图功能
• 04–Apache Hive–函数高阶应用–行列转换–多行转单列（collect、concat_ws）
• 05–Apache Hive–函数高阶应用–行列转换–单列转多行（explode+lateral view）
• 06–Apache Hive–函数高阶应用–json格式数据处理
• 4-8 Hive窗口函数
• 07–Apache Hive–窗口函数–如何快速理解感受窗口函数
• 08–Apache Hive–窗口函数–窗口聚合函数的使用（sum+over）
• 09–Apache Hive–窗口函数–窗口排序函数（row_number、rank）
• 10–Apache Hive–窗口函数–窗口偏移函数（lag lead）
• 4-9 Hive调优
• 11–Apache Hive–数据压缩概念与设置使用（snappy）
• 12–Apache Hive–数据存储格式（orc、Parquet）
• 13–Apache Hive–通用调优–fetch抓取机制、mr本地模式
• 14–Apache Hive–通用调优–join优化
• 15–Apache Hive–通用调优–group by数据倾斜（负载均衡）
• 16–Apache Hive–通用调优–MR Task并行度调整
• 17–Apache Hive–通用调优–其他优化机制
• 07、阶段七 离线数仓项目-知行教育
• 1-1 知行教育数仓项目介绍
• 01-教育项目的基本介绍
• 01-课前回顾和今日内容
• 02-教育项目的架构流程说明
• 02-教育项目的业务流程
• 1-10 访问咨询主题看板_数据清洗
• 06-访问咨询主题看板_数据采集操作以及hiveserver2服务异常
• 07-访问咨询主题看板_数据清洗转换操作(SQL实现,未解决转换)
• 08-访问咨询主题看板_数据清洗转换(转换解决)
• 09-访问咨询主题看板_数据清洗转换操作(最终实现)
• 1-11 访问咨询主题看板_数据分析
• 10-访问咨询主题看板_数据分析(总访问量统计)
• 11-访问咨询主题看板_数据分析(统计各个受访页面)
• 12-访问咨询主题看板_数据分析(咨询量统计)
• 1-12 访问咨询主题看板_数据导出
• 01-课前回顾和今日内容
• 13-访问咨询主题看板_数据导出操作(咨询量导出)
• 14-访问咨询主题看板_数据导出操作(访问量)
• 15-今日总结
• 1-13 访问咨询主题看板_增量数据采集清洗
• 02-访问咨询主题看板_新增数据模拟
• 03- 访问咨询主题看板_增量数据采集操作(sqoop脚本编写以及shell讲解)
• 04-访问咨询主题看板_增量数据采集的shell脚本的编写
• 05-访问咨询主题看板_增量数据采集shell脚本测试操作
• 06-访问咨询主题看板_增量数据采集操作(oozie配置)
• 07-访问咨询主题看板_增量数据清洗转换操作
• 1-14 访问咨询主题看板_增量数据分析
• 08-访问咨询主题_增量数据统计分析(SQL实现以及思考点)(上)
• 09-上午内容的总结
• 10-访问咨询主题看板_增量统计分析操作(问题解决)
• 11-访问咨询主题看板_增量统计分析(shell脚本编写和测试)
• 12-访问咨询主题看板_增量数据导出操作
• 1-15 意向用户主题看板_需求分析
• 01-课前回顾和今日内容
• 13-意向用户主题看板_需求分析(前三个)
• 14-意向用户主题看板_需求分析(后三个)
• 15-意向用户主题看板_需求分析总结
• 16-意向用户主题看板_业务数据准备
• 17-今日总结
• 1-16 意向用户主题看板_建模分析
• 02-意向用户主题看板_建模分析操作(ODS,DIM,DWD)
• 03-意向用户主题看板_建模分析(后三层)
• 1-17 分桶表
• 04-分桶表的基本介绍以及作用说明
• 05-分桶表的作用_抽样函数的说明
• 06-分桶表的作用_提升查询效率(多表)_map join
• 07-分桶表的作用_提升查询的效率(多表)_bucket map join
• 08-上午内容总结
• 09-分桶表的作用_提升查询的效率(多表)SMB join操作
• 1-18 意向用户主题看板_数据采集清洗
• 10-意向用户主题看板_建模操作
• 11-意向用户主题看板_数据采集(DIM)
• 12-意向用户主题看板_数据采集(ODS层)
• 13-意向用户主题看板_数据清洗转换操作(涵盖采样以及查看执行计划)
• 1-19 意向用户主题看板_DWM层数据处理
• 01-课前回顾和今日内容
• 14-意向用户主题看板_DWM层数据生成(SQL实现)
• 15-意向用户主题看板_DWM层数据生成(优化的效率测试)
• 16-意向用户主题看板_DWM层数据生产(最终实现)
• 17-意向用户主题看板_DWS层数据生成操作
• 18-意向用户主题看板_DWS层数据导出操作
• 1-2 项目环境搭建
• 03-cloudera manager的基本介绍
• 04-cloudera manager的架构以及功能描述
• 05-教育项目的环境初始化工作
• 06-教育项目的环境搭建_如何连接以及基本操作
• 07-教育项目的环境注意事项
• 08-教育项目_数据仓库的基本概念
• 09-上午内容的总结
• 1-20 拉链表
• 02-拉链表的实现流程分析(上)
• 03-拉链表的实现流程分析(下)
• 04-拉链表的实现流程_项目增量流程说明
• 1-21 hive索引
• 01-今日内容说明
• 05-索引的基本介绍
• 06-hive索引的分类_原始索引和行组索引
• 07-hive的所有分类_布隆过滤索引
• 1-22 hive优化项目数据
• 02-hive的函数补充说明
• 03-hive的相关优化_并行优化(并行编译和并行执行)
• 04-hive的相关的优化_小文件合并操作
• 05-hive的相关优化_矢量化查询和读取零拷贝
• 06-hive的数据倾斜优化_group by 倾斜
• 07-hive的数据倾斜优化_join的数据倾斜
• 08-hive的数据倾斜优化_如何感知倾斜以及union优化
• 09-hive的优化的总结说明
• 10-上午内容的总结
• 1-23 学生出勤主题看板_需求分析
• 11-学生出勤主题看板_需求分析(前四个)
• 12-学生出勤主题看板_需求分析(后四个)
• 13-学生出勤主题看板_需求分析总结
• 14-学生出勤主题看板_业务数据准备工作
• 1-24 学生出勤主题看板_建模
• 01-课前回顾和今日内容
• 15-学生出勤主题看板_建模分析操作
• 16-学生出勤主题看板_建模操作
• 17-学生出勤主题看板_数据采集操作
• 18-今日总结
• 1-25 学生出勤看板_DWM层数据处理
• 02-学生出勤主题看板_DWM层(学生出勤信息表处理)_上
• 03-学生出勤主题看板_DWM层(学生出勤状态信息表)_中
• 04-学生出勤主题看板_DWM层(学生出勤状态信息表)_下
• 05-学生出勤主题看板_DWM层(学生出勤状态信息表)_完整实现以及总结
• 06-学生出勤主题看板_DWM层(班级出勤人数表)_整体实现
• 07-学生出勤主题看板_DWM层(请假人数信息表)_上
• 08-上午内容的总结
• 09-学生出勤主题看板_DWM层(请假人数表)_中
• 10-学生出勤主题看板_DWM层(学生请假人数表)_下
• 11-学生出勤主题看板_DWM层(请假人数表)_最终实现操作
• 12-学生出勤主题看板_DWM层(班级旷课人数表)_实现操作
• 13-学生出勤主题看板_DWM层(汇总表)_实现
• 14-学生出勤主题看板_DWS层实现操作
• 1-26 finebi基本使用
• 15-商业BI基本介绍
• 16-finebi的安装操作
• 17-finebi的数据源以及数据准备工作
• 18-finebi的图表展示操作_仪表盘构建
• 19-finebi实现图表展示操作_上
• 20-finebi实现图表展示操作_下
• 21-今日总结
• 1-27 Git应用
• 01-git的历史和SVN对比说明
• 02-GIT的工作流程
• 03-GIT的安装操作
• 04-git如何构建版本库
• 05-git基本操作_自己玩的流程
• 06-git案例_如何提交代码(如何设置忽略)
• 07-git远程仓库的基本介绍
• 08-git的远程仓库操作_如何配置免密以及如何推送到远端(命令)
• 09-git的远程仓库操作_基于图形化界面方式推送数据到远端
• 10-git的远程仓库操作_如何拉取代码及其协作开发
• 11-git的分支管理_基本概念介绍
• 12-git的分支的管理_相关的操作
• 13-git如何在IDEA中使用操作
• 1-3 数据仓库
• 01-课前回顾和今日内容
• 02-教育项目的数仓分层架构说明
• 10-数据仓库和数据集市基本介绍
• 11-维度分析基本介绍_维度和指标的介绍以及分类
• 12-维度分析基本介绍_分层分级以及下钻和上卷
• 13-数仓建模的基本介绍
• 14-事实表和维度表的基本介绍
• 15-事实表和维度表的分类介绍
• 16-维度建模的三种模型(星型,雪花和星座)基本概念
• 17-维度建模的三种数仓发展模型图解
• 18-维度建模_缓慢渐变维基本介绍
• 19-今日总结
• 1-4 Hue操作HDFS,Hive
• 03-HUE相关的操作_HDFS和HIVE
• 1-5 oozie基本使用
• 04-oozie的基本介绍
• 05-oozie的基本使用操作
• 1-6 sqoop相关操作
• 06-sqoop的基本介绍
• 07-sqoop的相关的操作_基本操作
• 08-上午内容的总结
• 09-sqoop的相关的操作_全量导入到HDFS操作
• 10-sqoop的相关的操作_全量导入到hive的操作
• 11-sqoop的相关的操作_条件导入到HDFS和hive操作
• 12-sqoop的相关的操作_数据导出操作以及相关参数
• 1-7 访问咨询主题看板_需求分析
• 13-访问咨询主题看板_需求分析(前四个)
• 14-访问咨询主题看板_需求分析(后四个)
• 15-访问咨询主题看板_需求分析总结
• 1-8 访问咨询主题看板_建模
• 01-课前回顾和今日内容
• 02-访问咨询主题看板_建模操作(前置说明)
• 03-访问咨询主题看板_建模操作
• 16-访问咨询主题看板_业务数据准备工作
• 17-访问咨询主题看板_建模分析(前三层)
• 18-访问咨询主题看板_建模分析(后三层)
• 1-9 访问咨询主题看板_hive优化
• 04-访问咨询主题看板_hive基础优化(上)
• 04-访问咨询主题看板_hive基础优化(下)
• 05-上午内容的总结
• 08、阶段八 大数据Spark技术栈
• 第一章 PySpark
• 1-1 Spark概述
• 1-课程安排
• 2-大数据架构梳理
• 3-大数据知识体系
• 4-如何学习Spark及Spark有哪些组件
• 5-Spark前导知识
• 6-Spark前导知识
• 7-Spark框架概述
• 8-Soark的特点
• 9-Spark和Hadoop对比了解
• 1-10 RDD创建
• 03-RDD的创建的两种方法
• 04-读取小文件的wholeTextFile方式
• 05-Spark的RDD分区确定
• 1-11 RDD算子
• 06-RDD的算子分类
• 07-RDD的单Value类型算子
• 08-双value类型算子
• 09-key-value算子的操作
• 10-RDD的action操作
• 11-RDD的补充操作
• 12-RDD的重分区函数操作
• 13-RDD的Action算子聚合算子
• 14-reduceBykey和groupByKey算子演示
• 15-wordcount的几种实现
• 16-combineByKey操作实战[了解]
• 1-12 Spark综合案例1
• 01-回顾总结
• 02-网站点击流统计
• 17-搜狗案例需求分析
• 18-jiebe分词
• 19-搜狗的第一个统计需求
• 20-搜狗案例的第二个和第三个统计
• 21-总结及作业
• 1-13 Spark缓存机制
• 03-Join算子操作
• 04-Spark的缓存机制
• 05-Spark缓存的问题
• 06-checkpoint使用技巧
• 07-Spark容错
• 08-Spark的检查点机制原理详解
• 1-14 Spark案例-IP地址查询
• 09-Ip地址查询安案例的讲解
• 10-上午回顾及需求确认
• 11-Ip地址查询案例代码实战
• 1-15 Spark累加器和广播变量
• 12-累加器
• 13-广播变量
• 14-广播变量和累加器的综合演示
• 15-共享变量解决问题
• 1-16 Spark内核调度
• 01-回顾
• 02-Shuffle基础了解
• 03-Shuffle
• 04-Spark的内存模型
• 05-Spark的关键概念总结
• 16-RDD的依赖关系
• 17-DAG和Stage
• 18-Spark的Job调度
• 1-17 SparkSQL简介
• 06-SparkSQL简介
• 07-SparkSQL的简介
• 08-SparkSQL的数据结构
• 09-SparkSQL的两大数据结构的转化思考
• 1-18 SparkSQL实操
• 01-回顾基础
• 02-SparkSQL回顾
• 03-Iris数据集分析
• 04-movies数据集的读取
• 05-Spark清洗工作-数据去重
• 06-Spark清洗工作-数据填充
• 07-SparkSQL的案例实战1
• 08-SparkSQL的案例实战2
• 09-SparkSQL的案例结果写入
• 10-rdd转化为SparkSQL的方式1
• 10-SparkSQL的外部数据源(MySQL为例)
• 11-StructType和Field方式创建DataFrame
• 12-SparkSQL的DSL和SQL初步
• 13-SparkSQL的读取外部数据源
• 14-Pandas转化为DataFrame
• 15-DataFrame的花式查询操作
• 16-DSL和SQL的wordcount的代码
• 17-作业
• 1-19 SparkHive
• 11-Spark和HIve整合步骤
• 12-Spark和HIve整合测试
• 13-Pycharm的SparkSQL整合HIve
• 1-2 Spark简介
• 10-Spark框架的了解
• 11-Spark部署模式
• 12-Spark的local模式部署
• 13-上午回顾
• 14-PySpark的简介
• 1-20 SparkSQL底层执行原理
• 01-回顾总结
• 02-逻辑物理计划补充
• 03-SparkSQL的分布式引擎
• 04-SparkSQL的Catalyst执行引擎回顾
• 05-Spark
• 06-Spark的ApacheArrow的基础用法
• 14-SparkSQL的窗口函数
• 15-Spark底层解析执行计划
• 16-总结
• 1-21 Spark自定义函数
• 07-Spark的UDF的基础使用方法1
• 08-Spark的UDF装饰器和原生方法
• 09-UDF使用Arraytype
• 10-Spark的udf自定义类型
• 11-Spark的UDF的案例实战(装饰器和UDF)
• 12-Spark的pandas的udf类型
• 1-3 pyspark安装
• 15-linux的anaconda的安装
• 16-安装pyspark
• 1-4 spark-standalone环境搭建
• 01-回顾1
• 02-回顾2
• 03-Jupyter环境补充
• 17-Spark的监控界面初步了解
• 18-Sparksubmit提交本地任务
• 19-解析蒙特卡洛方法
• 20-standalone的安装过程
• 21-SparkShell的standalone环境测试
• 4-SparkBase总结
• 5-SparkStandalone的提交任务执行
• 6-Spark的应用架构
• 1-5 Spark的StandaloneHA环境搭建
• 7-Spark的StandaloneHA模式
• 8-Spark的StandaloneHA补充
• 9-上午回顾
• 1-6 Spark单词统计
• 01-回顾
• 02-反馈解决
• 10-准备PySpark的Win环境
• 11-单词统计计数流程
• 12-Spark的wordcount案例实战
• 13-Spark的wordcount总结
• 14-wordcount的排序操作
• 15-从HDFS读取文件
• 16-提交任务执行
• 17-提交远程服务器上跑任务
• 18-Standalone提交任务
• 19-必须做的事
• 1-7 SparkOnYarn
• 03-SparkOnYarn的详解
• 04-SparkOnYarn的具体部署安装
• 05-SparkOnYarn的小结
• 06-Spark的Deploy-mode模式
• 07-Spark的Deploy-mode的cluster模式
• 08-上午回顾
• 09-Yarn的client模式执行job
• 10-Yarn的client模式的原理
• 11-Yarn
• 12-Yanr的Cluster模式原理
• 1-8 Spark关键概念
• 13-SPark集群角色
• 14-Spark的参数补充
• 15-Spark的main函数执行
• 1-9 RDD详解
• 01-回顾
• 02-RDD的wordcount的基本回顾
• 16-PySpark的架构了解
• 17-RDD的简介
• 18-RDD的五大属性
• 09、阶段九 Spark综合项目
• 第一章 一站式制造
• 1-1 项目介绍
• 知识点01：课程目标
• 知识点02：项目背景
• 知识点03：项目需求
• 知识点04：业务流程
• 知识点05：技术选型
• 1-10 DWS层构建
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：维度建模回顾：建模流程
• 知识点04：维度建模回顾：维度设计
• 知识点05：维度建模回顾：维度模型
• 知识点06：一站制造业务主题划分
• 知识点07：一站制造业务维度设计
• 知识点08：一站制造业务主题维度矩阵
• 知识点09：行政地区维度设计
• 知识点10：行政地区维度构建
• 知识点11：日期时间维度设计
• 知识点12：日期时间维度构建
• 知识点13：服务网点维度设计
• 知识点14：服务网点维度构建
• 知识点15：油站维度设计
• 知识点16：油站维度构建
• 知识点17：其他维度：组织机构
• 知识点18：其他维度：仓库、物流
• 知识点20：整体代码重难点回顾
• 1-11 项目回顾（一）
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：分层回顾
• 1-12 DWB层构建
• 知识点04：DWB层的设计
• 知识点05：事实主题指标划分
• 知识点06：呼叫中心事实指标需求分析
• 知识点07：呼叫中心事实指标构建
• 知识点08：油站事实指标需求分析
• 知识点09：油站事实指标构建
• 知识点10：工单事实指标需求分析
• 知识点11：工单事实指标构建
• 知识点12：安装事实指标需求分析
• 知识点13：安装事实指标构建
• 知识点14：维修事实指标需求分析
• 知识点15：维修事实指标构建
• 知识点16：客户回访事实指标需求分析
• 知识点17：客户回访事实指标
• 知识点18：费用事实指标分析及实现（上）
• 知识点18：费用事实指标分析及实现（下）
• 知识点19：差旅事实指标分析及实现
• 知识点20：网点物料事实指标分析及实现
• 1-13 项目回顾（二）
• 附录二：一站制造项目回顾
• 附录一：在线教育项目回顾
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：数仓分层回顾
• 1-14 ST层构建
• 知识点04：ST层的设计
• 知识点05：服务域：工单主题分析
• 知识点06：服务域：工单主题实现
• 知识点07：服务域：油站主题分析
• 知识点08：服务域：油站主题实现
• 知识点09：服务域：安装主题分析实现
• 知识点10：服务域：维修主题分析实现
• 知识点11：服务域：回访主题分析
• 知识点12：服务域：回访主题实现
• 知识点13：服务域：派单主题分析实现
• 知识点14：服务域：费用主题分析
• 知识点15：服务域：费用主题实现
• 知识点16：物料域：主题模型
• 1-15 AirFlow架构解析
• 知识点01：课程目标
• 知识点02：任务流调度回顾
• 知识点03：AirFlow的介绍
• 知识点04：AirFlow的部署启动
• 知识点05：AirFlow的架构组件
• 知识点06：AirFlow的开发规则
• 知识点17：DM层：设计及运营部门主题
• 1-16 AirFlow任务调度
• 知识点07：Shell调度测试
• 知识点08：依赖调度测试
• 知识点09：Python调度测试
• 知识点10：Oracle与MySQL调度方法
• 知识点11：大数据组件调度方法
• 知识点12：定时调度使用
• 知识点13：Airflow常用命令
• 知识点14：邮件告警使用
• 知识点15：一站制造中的调度
• 1-17 Spark核心概念回顾
• 知识点16：回顾：Spark核心概念（上）
• 知识点16：回顾：Spark核心概念（下）
• 1-18 Prometheus架构说明
• 知识点01：课程目标
• 知识点02：监控需求及常见工具
• 知识点03：Prometheus的介绍
• 知识点04：Prometheus的架构
• 知识点05：Prometheus的部署
• 1-19 监控插件安装
• 知识点06：node_exporter插件
• 知识点07：mysqld_exportor插件
• 1-2 项目中docker使用
• 知识点06：Docker的介绍
• 知识点07：Docker的网络
• 知识点08：Docker的使用
• 1-20 Grafana使用
• 知识点08：可视化工具Grafana介绍
• 知识点09：可视化工具Grafana部署
• 知识点10：Grafana集成Prometheus
• 知识点11：Grafana集成MySQL监控
• 1-21 项目总结二
• 知识点12：项目总结：背景需求
• 知识点13：项目总结：数据来源
• 知识点14：项目总结：主题划分
• 知识点15：项目总结：技术架构
• 知识点16：项目总结：数仓设计
• 知识点17：项目总结：优化及新特性
• 知识点18：项目总结：问题
• 知识点19：项目总结：数据规模
• 知识点20：项目总结：简历模板
• 1-3 项目环境搭建
• 知识点09：Oracle的介绍
• 知识点10：集群软件规划
• 知识点11：项目环境导入
• 知识点12：项目环境配置
• 知识点13：项目环境测试：Oracle
• 知识点14：项目环境测试：MySQL
• 知识点15：项目环境测试：Hadoop
• 知识点16：项目环境测试：Hive
• 知识点17：项目环境测试：Spark
• 知识点18：项目环境测试：Sqoop
• 1-4 项目数仓分层
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：数仓设计回顾
• 知识点04：分层整体设计
• 知识点05：分层具体功能
• 1-5 项目业务分析
• 知识点06：业务系统结构
• 知识点07：业务系统数据
• 知识点08：全量与增量分析
• 1-6 sqoop数据采集
• 知识点09：Sqoop命令回顾
• 知识点10：YARN资源调度及配置
• 知识点11：MR的Uber模式
• 知识点12：Sqoop采集数据格式问题
• 知识点13：问题解决：Avro格式
• 知识点14：Sqoop增量采集方案回顾
• 知识点15：脚本开发思路
• 知识点16：全量及增量采集脚本运行
• 知识点17：Schema备份及上传
• 1-7 python数据采集
• 知识点18：Python脚本
• 1-8 项目ODS层创建
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：数仓分层回顾
• 知识点04：Hive建表语法
• 知识点05：Avro建表语法
• 知识点06：ODS层构建：需求分析
• 知识点07：ODS层构建：创建项目环境
• 知识点08：ODS层构建：代码导入
• 知识点09：ODS层构建：代码结构及修改
• 知识点10：ODS层构建：连接代码及测试
• 知识点11：ODS层构建：建库代码及测试
• 知识点12：ODS层构建：建表代码及测试
• 知识点13：ODS层构建：申明分区代码及测试
• 1-9 DWD层构建
• 知识点14：ODS层与DWD层区别
• 知识点15：DWD层构建：需求分析
• 知识点16：DWD层构建：建库实现测试
• 知识点17：DWD层构建：建表实现测试
• 知识点18：DWD层构建：数据抽取分析&知识点19：DWD层构建：数据抽取测试
• 10、阶段十 java编程语言
• 第一章 大数据java编程
• 1-1 Java基础语法
• 01.JavaSE大纲介绍
• 02.今日内容介绍
• 03.Java简介
• 04.如何理解Java的跨平台
• 05.JDK和JRE的区别及下载和安装
• 06.配置Path环境变量
• 07.HelloWorld案例(Notepad++版)
• 08.开发Java程序的IDE
• 09.HelloWorld案例(IDEA版)
• 10.IDEA的基础设置
• 11.IDEA如何导入和删除项目
• 12.上午内容回顾及下午内容简介
• 13.Java基础语法之注释和关键字
• 14.Java基础语法之常量
• 15.Java基础语法之变量入门
• 16.Java中的数据类型之基本类型详解
• 17.变量的注意事项
• 18.数据类型转换详解
• 19.ASCII 码表简介
• 20.运算符详解
• 21.Scanner入门
• 22.Scanner案例_获取三个和尚的最高身高
• 23.流程控制语句之顺序结构演示
• 24.流程控制语句之分支结构
• 25.流程控制语句之循环入门
• 26.循环进阶
• 27.今日总结
• 1-10 多线程
• 18.多线程入门
• 19.多线程的实现方式1_继承Thread类
• 20.多线程执行图解
• 21.多线程的实现方式2_实现Runnable接口
• 22.匿名内部类的方式实现多线程
• 23.多线程模拟卖票_入门班
• 24.多线程模拟卖票_出现问题解释
• 25.线程安全问题详解
• 26.死锁演示
• 27.多线程的生命周期
• 28.线程的优先级问题
• 29.加入线程
• 30.守护线程详解
• 1-11 maven
• 01.昨日内容回顾
• 02.今日内容简介
• 03.Maven入门
• 04.Maven项目结构分析及和传统项目结构对比
• 05.Maven的仓库和坐标的解释
• 06.Maven环境搭建
• 07.IDEA集成Maven
• 08.IDEA创建JavaSE工程(无骨架)
• 09.有骨架的JavaSE工程(了解)
• 10.有骨架的JavaWeb工程(了解)
• 11.无骨架的JavaWeb工程(掌握)
• 12.maven的作用2_管理项目的生命周期
• 13.Maven的作用1_常用插件及依赖范围讲解
• 14.上午内容回顾
• 15.Maven的作用3_创建聚合工程
• 1-12 HDFS
• 16.HDFS内容回顾
• 17.如何在windows系统中配置hadoop运行变量
• 18.如何获取文件系统对象
• 19.Java操作HDFS之遍历HDFS中所有文件
• 20.Java操作HDFS之创建文件夹
• 21.Java操作HDFS之上传和下载文件
• 22.Java操作HDFS之合并上传
• 23.Java操作HDFS之权限问题
• 24.Java操作HDFS之删除功能
• 1-13 MapReduce
• 01.昨日内容回顾
• 02.分区规则详解
• 03.分区案例_彩票案例思路分析
• 04.分区案例_业务代码实现
• 05.分区案例_驱动类实现
• 06.排序案例_数据流图分析
• 07.排序案例_排序规则详解
• 08.排序案例_自定义排序类
• 09.排序案例_代码实现
• 10.规约案例_思路分析
• 11.规约案例_不使用规约实现代码
• 12.规约案例_加入规约操作
• 13.分组案例_数据流图分析
• 14.分组案例_自定义序列化及排序代码实现
• 15.分组案例_业务代码实现
• 16.分组案例_驱动类代码实现
• 17.求共同好友_思路分析
• 18.求共同好友_求有该用户的好友都有谁
• 19.求共同好友_最终结果实现
• 25.MR内容回顾
• 26.Java操作MR程序_思路分析
• 27.WordCount案例_MapTask任务代码编写
• 28.WordCount案例_ReduceTask任务代码编写
• 29.WordCount案例_驱动类编写
• 30.WordCount案例_官方推荐的驱动类的编写
• 31.WordCount案例_在Hadoop集群中运行
• 1-2 面向对象
• 01.标识符详解
• 02.Math类入门
• 03.猜数字的小游戏
• 04.打印质数
• 05.今日内容介绍
• 06.数组入门
• 07.数组的常用格式
• 08.数组的内存图解释
• 09.使用数组时的两个小问题
• 10.数组案例1_遍历数组
• 11.数组案例2_获取数组的最值
• 12.方法入门
• 13.方法练习
• 14.上午内容简单回顾
• 15.方法重载详解
• 16.方法重载思考题解释
• 17.关于Java中参数传递问题详解
• 18.面向对象入门
• 19.面向对象入门案例_手机类
• 20.封装入门
• 21.关于this关键字及使用变量的原则详解
• 22.构造方法详解
• 23.继承入门
• 24.继承中的成员特点
• 25.继承之方法重写详解
• 26.多态入门
• 27.多态好处
• 28.两个关键字讲解
• 29.抽象类详解
• 30.类和接口的关系
• 31.综合案例_运动员和教练类案例
• 1-3 java常用API
• 01.昨日内容总结
• 02.昨日作业第一题讲解
• 03.今日内容介绍
• 04.Scanner接收字符串
• 05.Scanner的小技巧
• 06.Object类方法演示
• 07.字符串比较详解
• 08.字符串案例_模拟登陆
• 09.字符串案例_遍历字符串
• 10.字符串案例_统计每类字符的个数
• 11.字符串案例_反转字符串
• 12.StringBuilder入门
• 13.String和StringBuilder之间的相互转换
• 14.StringBuilder案例_拼接字符串
• 15.StringBuilder案例_字符串内容反转
• 16.冒泡排序详解
• 17.Arrays工具类详解
• 18.包装类入门
• 19.int和String之间相互转换
• 20.字符串内容排序
• 21.自动拆装箱
• 22.Date入门
• 23.SimpleDateFormat类的用法
• 24.Calendar的用法
• 25.异常简介
• 1-4 集合
• 01.昨日内容处理
• 02.昨日作业处理
• 03.今日内容简介
• 04.Junit单元测试入门
• 05.匿名内部类详解
• 06.集合入门
• 07.Collection接口中的成员方法
• 08.Collection集合存储String并遍历
• 09.Collection存储自定义对象并遍历
• 10.List集合入门及成员方法解释
• 11.List集合存储自定义对象并遍历
• 12.列表迭代器的用法
• 13.并发修改异常详解
• 14.上午内容回顾
• 15.增强for简介
• 16.数据结构之栈和队列解释
• 17.数据结构之数组和链表解释
• 18.ArrayList存储学生并遍历
• 19.Set集合入门
• 20.哈希值简介
• 21.HashSet保证元素唯一性结束
• 22.数据结构之哈希表解释
• 23.Map集合入门
• 24.Map集合的获取功能详解
• 25.Map集合的遍历方式详解
• 26.Map集合案例_存储自定义元素并遍历
• 27.Map集合案例_统计每个字符出现的次数
• 28.Collections工具类解释
• 29.可变参数解释
• 1-5 反射
• 30.反射入门
• 31.反射案例_反射操作构造方法
• 32.反射案例_反射操作成员变量
• 33.反射案例_反射操作成员方法
• 34.反射案例_运行指定配置文件中指定类的指定方法
• 1-6 lambda表达式
• 01.昨日内容回顾
• 02.昨日作业处理
• 03.今日内容简介
• 04.Lambda表达式入门
• 05.Lambda表达式案例_有参无返回值的方法练习
• 06.Lambda表达式案例_有参有返回值的方法练习
• 07.Lambda表达式的省略模式
• 08.匿名内部类和Lambda表达式的区别
• 1-7 io流
• 09.字节流简介
• 10.字节输出流解释
• 11.字节输出流案例_制造空文件
• 12.字节输入流一次读取一个字节
• 13.字节输入流一次读取一个字节数组
• 14.字节流拷贝文本文件(两种方式)
• 15.图片加密案例
• 16.字节高效流拷贝文件
• 17.字节流拷贝数据的四种方式相率对比
• 18.扩展知识_编解码问题
• 19.字符流拷贝数据的4种方式演示
• 20.高效的字符流独有的拷贝方式详解(重点)
• 21.关于IO流的面试题解释
• 1-8 网络编程
• 22.网络编程简介
• 23.网络编程三要素之端口号和协议解释
• 23.网络编程三要素值IP地址详解
• 24.TCP协议_客户端给服务器发送一句话
• 25.TCP协议_客户端给服务器端上传文件
• 26.序列化流详解
• 1-9 JDBC
• 01.昨日内容回顾
• 02.昨日作业处理
• 03.今日内容简介
• 04.数据库内容回顾
• 05.JDBC入门
• 06.JDBC入门案例
• 07.JDBC的API解释之DriverManager类
• 08.JDBC的API解释之Connection,Statement,ResultSet
• 09.JDBC的CURD操作
• 10.JDBCUtils工具类的定义和使用
• 11.SQL注入攻击问题演示
• 12.PreparedStatement解决SQL注入攻击
• 13.PreparedStatement接口的CURD操作
• 14.C3P0数据库连接池入门
• 15.C3P0Utils工具类的定义和使用
• 16.事务入门
• 17.JDBC操作事务代码实现
• 11、阶段十一 NoSQL与实时计算技术
• 01、第一章 NoSQL-Redis
• 1-1 Redis的介绍与安装
• 知识点01：课程目标
• 知识点02：NoSQL与RDBMS
• 知识点03：Redis的功能与应用场景
• 知识点04：Redis的Linux版单机部署
• 知识点05：Redis的数据结构及数据类型
• 1-2 Redis的基本命令
• 知识点06：Redis的通用命令
• 知识点07：String类型的常用命令
• 知识点08：Hash类型的常用命令
• 知识点09：List类型的常用命令
• 知识点10：Set类型的常用命令
• 知识点11：Zset类型的常用命令
• 知识点12：BitMap类型的常用命令
• 知识点13：HyperLogLog类型的常用命令
• 1-3 Jedis
• 知识点14：Jedis：使用方式与Jedis依赖
• 知识点15：Jedis：构建连接
• 知识点17：Jedis：其他类型操作
• 1-4 数据存储设计与持久化
• 知识点18：数据存储设计
• 知识点19：Redis持久化：RDB设计
• 知识点20：Redis持久化：RDB测试
• 知识点21：Redis持久化：AOF设计
• 知识点22：Redis持久化：AOF实现
• 1-5 Redis架构
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：Redis架构：问题与主从复制集群设计
• 知识点04：Redis架构：哨兵集群的设计
• 知识点05：Redis架构：分片Cluster集群的设计
• 知识点06：Redis架构：分片Cluster集群的实现（上）集群搭建
• 知识点06：Redis架构：分片Cluster集群的实现（下）集群测试
• 1-6 Redis高级
• 知识点07：Redis的事务机制
• 知识点08：Redis过期策略与内存淘汰机制
• 02、第二章 NoSQL-kafka
• 2-1 消息队列
• 知识点09：传统架构面临的问题
• 知识点10：消息队列：MQ介绍
• 知识点11：消息队列：同步与异步
• 知识点12：消息队列：点对点模式
• 知识点13：消息队列：订阅发布模式
• 2-10 kafka原理
• 知识点12：Kafka数据清理规则
• 知识点13：Kafka分区副本概念：AR、ISR、OSR
• 知识点14：Kafka数据同步概念：HW、LEO
• 知识点15：Kafka分区副本Leader选举
• 2-11 一次性语义
• 知识点16：消息队列的一次性语义
• 知识点17：Kafka保证生产不丢失
• 知识点18：Kafka保证生产不重复
• 知识点19：Kafka保证消费一次性语义
• 知识点20：Kafka集群常用配置
• 2-12 kafka监测
• 知识点21：可视化工具Kafka Eagle部署及使用
• 知识点22：Kafka数据限流
• 2-2 kafka简介
• 知识点14：Kafka的介绍及特点
• 知识点15：Kafka概念：Producer、Broker、Consumer
• 知识点16：Kafka概念：Topic、Partition
• 知识点17：Kafka概念：分区副本机制
• 知识点18：Kafka概念：Segment
• 知识点19：Kafka概念：Offset
• 知识点20：Kafka概念：概念总结
• 2-3 附录
• 附录一：Redis常见面试题
• 2-4 kafka环境搭建
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：Kafka集群架构
• 知识点04：Kafka分布式集群部署
• 2-5 kafka的基本命令
• 知识点05：Kafka启动与关闭
• 知识点06：Topic管理：创建与列举
• 知识点07：Topic管理：查看与删除
• 知识点08：生产者及消费者测试
• 2-6 kafka工具
• 知识点09：可视化工具Kafka Tool
• 知识点10：Kafka集群压力测试
• 2-7 kafka API
• 知识点11：Kafka API 的应用
• 知识点12：生产者API：生产数据到Kafka
• 知识点13：消费者API：消费Topic数据(上)
• 知识点13：消费者API：消费Topic数据(下)
• 知识点14：生产分区规则
• 知识点15：自定义开发生产分区器
• 知识点16：消费者消费过程及问题
• 知识点17：自动提交问题
• 知识点18：实现手动提交Topic的Offset
• 知识点19：手动提交Topic Offset的问题
• 知识点20：手动提交分区Offset的实现
• 知识点21：指定消费Topic分区的数据
• 2-8 消费分配策略
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：消费分配策略：基本规则及分配策略
• 知识点04：消费分配策略：RangeAssignor
• 知识点05：消费分配策略：RoundRobinAssignor
• 知识点06：消费分配策略：StickyAssignor
• 2-9 存储机制
• 知识点07：Kafka存储机制：存储结构
• 知识点08：Kafka存储机制：写入过程
• 知识点09：Kafka存储机制：Segment
• 知识点10：Kafka存储机制：读取过程
• 知识点11：Kafka存储机制：index索引设计
• 03、第三章 NoSQL-Hbase
• 3-1 Hbase简介与环境部署
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：数据存储需求及HBASE诞生
• 知识点04：HBASE基本介绍
• 知识点05：HBASE设计思想
• 知识点06：HBASE中的对象概念
• 知识点07：HBASE中的存储概念
• 知识点08：HBASE集群架构
• 知识点09：HBASE集群部署
• 知识点10：HBASE开发场景
• 3-10 Phoenix
• 知识点07：二级索引的设计及问题
• 知识点08：Phoenix的介绍
• 知识点09：Phoenix的安装配置
• 知识点10：Phoenix的DDL语法：NS
• 知识点11：Phoenix的DDL语法：Table
• 知识点12：Phoenix的DML语法：upsert
• 知识点13：Phoenix的DML语法：delete
• 知识点14：Phoenix的DQL语法：select
• 知识点15：Phoenix的使用：预分区
• 知识点16：Phoenix的使用：加盐salt
• 知识点17：Phoenix的使用：视图
• 知识点18：Phoenix的使用：JDBC
• 知识点19：Phoenix二级索引设计
• 3-11 二级索引
• 知识点20：二级索引：全局索引设计
• 知识点21：二级索引：全局索引实现
• 知识点22：二级索引：覆盖索引设计
• 知识点23：二级索引：覆盖索引实现
• 知识点24：二级索引：本地索引设计
• 知识点25：二级索引：本地索引实现
• 3-2 Hbase基本命令
• 知识点11：HBASE命令行：DDL：NS
• 知识点12：HBASE命令行：DDL：Table
• 知识点13：HBASE命令行：Put
• 知识点14：HBASE命令行：Get
• 知识点15：HBASE命令行：Delete
• 知识点16：HBASE命令行：Scan
• 知识点17：HBASE命令行：incr
• 知识点18：HBASE命令行：count
• 3-3 Hbase JavaAPI
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：Java API：DML：Table
• 知识点04：Java API：DML：Put
• 知识点05：Java API：DML：Get
• 知识点06：Java API：DML：Delete
• 知识点07：Java API：DML：Scan
• 知识点08：Java API：DML：Filter
• 知识点19：Java API：构建连接
• 知识点20：Java API：DDL
• 3-4 Hbase原理
• 知识点09：存储设计：Table、Region、RS的关系
• 知识点10：存储设计：Region及数据的划分规则
• 知识点11：存储设计：Region的内部结构
• 知识点12：Hbase读写流程：基本流程
• 知识点13：Hbase读写流程：meta表
• 知识点14：Hbase读写流程：写入流程
• 知识点15：Hbase读写流程：读取流程
• 知识点16：LSM模型：Flush
• 知识点17：LSM模型：Compaction
• 知识点18：Region分裂Split设计及规则
• 知识点19：热点问题：现象及原因
• 知识点20：分布式设计：预分区
• 3-5 Hbase表设计
• 知识点21：Hbase表设计：Rowkey设计
• 知识点22：Hbase表设计：其他设计
• 3-6 BulkLoad
• 知识点23：BulkLoad的介绍
• 知识点24：BulkLoad的实现
• 3-7 协处理器
• 知识点25：协处理器的介绍
• 知识点26：协处理器的实现
• 3-8 Hbase优化
• 知识点27：Hbase优化：内存分配
• 知识点28：Hbase优化：压缩机制
• 知识点29：Hbase优化：布隆过滤
• 知识点30：Hbase优化：其他优化
• 3-9 Hbase与其他组件的整合
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：SQL on Hbase
• 知识点04：Hive on Hbase 介绍
• 知识点05：Hive on Hbase 配置
• 知识点06：Hive on Hbase 测试
• 04、第四章 NoSQL-综合案例
• 4-1 综合案例介绍
• 知识点01：课程回顾
• 知识点02：课程目标
• 知识点03：案例需求
• 知识点04：数据源
• 知识点05：技术架构及技术选型
• 4-2 Flume数据采集
• 知识点06：Flume的回顾及安装
• 知识点07：Flume采集程序开发
• 4-3 离线分析
• 知识点08：离线分析：Hbase表设计及构建
• 知识点09：离线分析：Kafka消费者构建
• 知识点10：离线分析：Hbase连接构建
• 知识点11：离线分析：Rowkey的构建
• 知识点12：离线分析：Put数据列构建
• 知识点13：离线分析：存储运行测试
• 知识点14：离线分析：Hive关联测试
• 知识点15：离线分析：Phoenix关联测试
• 4-4 实时计算
• 知识点16：实时计算需求及技术方案
• 知识点17：Flink的基本介绍
• 知识点18：代码模块构建
• 知识点19：省份解析工具类测试
• 知识点20：Flink代码解读
• 知识点21：Flink实时计算测试
• 4-5 可视化
• 知识点22：FineBI配置数据集
• 知识点23：FineBI构建报表
• 知识点24：FineBI实时配置测试
• 12、阶段十二 面试强化就业加强课
• 第一章 python+大数据面试加强
• 1-1 面试加强
• 01-架构图和0-1部署方案回顾
• 01-面试加强课的目标
• 02-Linux常见命令
• 02-查看公司和投递简历
• 03-Hadoop的读写流程
• 03-公司的常见岗位要求和职责
• 04-Zookeeper的回顾
• 04-职位的发展
• 05-Flume的回顾
• 05-简历模板和注意事项
• 06-Kafka常见面试题
• 06-编写项目的注意事项
• 07-Hive数据仓库介绍
• 07-面试前需要注意的事项
• 08-Hive的窗口函数
• 08-面试中的架构介绍
• 09-Hive和数据仓库
• 09-面试之后的注意问题
• 10-Hive优化
• 10-架构和从0到1的落地方案
• 11-Hive调优和面试题
• 11-其他架构的案例
• 12-人员配备和部门协作
• 13-git介绍
• 14-IDEA操作Git的上传和下载
• 14、阶段十四 Flink综合项目等多个文件
• 13、阶段十三 大数据Flink技术栈
• 01、第一章 Flink基础
• 1-1 流式计算简介
• 1-2 Flink简介
• 1-3 Flink环境部署
• 1-4 Flink入门案例
• 1-5 Flink架构体系
• 02、第二章 Flink流批一体API开发
• 2-1 流处理基本概念
• 2-2 Flink的数据源
• 2-3 Flink的转换算子
• 2-4 Flink的Sink操作
• 2-5 Flink与其他组件的整合
• 03、第三章 Flink高级API开发
• 3-1 四大基石Window
• 3-2 四大基石time
• 3-3 四大基石state
• 3-4 四大基石checkpoint
• 04、第四章 Flink高级特性
• 4-1 异步io与两端递交
• 4-2 ProcessFunction API
• 4-3 双流join
• 4-4 数据类型和序列化
• 05、第五章 FlinkSQL
• 5-1 FlinkSQL简介
• 5-2 FlinkSQL连接外部系统
• 5-3 SQLClient
• 5-4 动态表
• 5-5 FlinkSQL_窗口
• 5-6 FlinkSQL_函数
• 5-7 FlinkSQL连接外部系统及优化
• 14、阶段十四 Flink综合项目
• 01、第一章 星途车联网-项目基石与前瞻
• 1-1 车联网行业背景介绍
• 1-2 汽车行业和车辆类型
• 1-3 车联网行业产业链
• 1-4 车联网技术选型
• 1-5 车联网项目工程搭建
• 1-6 上报数据的格式解析
• 02、第二章 星途车联网-原始终端数据实时ETL
• 2-1 数据推送到kafka
• 2-2 解析工具类走读
• 2-3 实时ETL
• 2-4 数据积压与反压
• 2-5 过滤数据
• 03、第三章 星途车联网-数据落地
• 3-1 数据存储_hive
• 3-2 数据存储_Hbase
• 3-3 HBase调优
• 04、第四章 星途车联网-Phoenix on HBase即席查询
• 4-1 Phoenix简介及常用命令
• 4-2 HBase二级索引
• 4-3 车联网明细数据统计
• 4-4 Zeppelin简介及使用
• 05、第五章 星途车联网-车辆驾驶行为分析
• 5-1 驾驶行程业务逻辑
• 5-2 驾驶行程指标分析
• 06、第六章 星途车联网-电子围栏分析
• 6-1 电子围栏简介
• 6-2 电子围栏分析步骤
• 6-3 电子围栏分析实现
• 07、第七章 星途车联网-远程诊断实时故障分析
• 7-1 实时故障业务逻辑
• 7-2 实时故障分析实现
• 08、第八章 星途车联网-项目展示和任务调度
• 8-1 项目展示和任务调度