课程目录

• 视频
• P1.01 – Spark – Hadoop发展历史
• P10.09 – Spark – 环境 – 独立部署环境Standalone
• P100.93 – Spark – RDD – 阶段的划分
• P101.94 – Spark – RDD – 阶段的划分 – 源码和图形演示
• P102.506 – Spark – 课程内容回顾 – KV算子
• P103.95 – Spark – RDD – 任务的划分 – 源码
• P104.96 – Spark – RDD – 持久化 – 缓存
• P105.97 – Spark – RDD – 持久化 – 缓存
• P106.98 – Spark – RDD – 持久化 – 检查点
• P107.99 – Spark – RDD – 持久化 – 检查点 & cache的关系
• P108.100 – Spark – RDD – 数据的保存和读取
• P109.101 – Spark – 累加器 – 介绍
• P11.10 – Spark – 环境 – 独立部署环境Standalone – 历史服务
• P110.102 – Spark – 累加器 – 原理和演示
• P111.103 – Spark – 累加器 – 自定义累加器的创建和使用 – 1
• P112.104 – Spark – 累加器 – 自定义累加器的创建和使用 – 2
• P113.105 – Spark – 累加器 – 方法调用的时机
• P114.106 – Spark – 广播变量 – 介绍
• P115.107 – Spark – 广播变量 – 原理说明 & 演示
• P116.108 – Spark – 案例实操 – 数据说明
• P117.109 – Spark – 案例实操 – 数据说明 – 1
• P118.110 – Spark – 案例实操 – 框架 – 封装
• P119.111 – Spark – 案例实操 – 框架 – 封装 – 1
• P12.11 – Spark – 环境 – 独立部署环境Standalone – HA高可用
• P120.507 – Spark – 问题解答
• P121.508 – Spark – 11种不同算子实现的wordCount
• P122.509 – Spark – 课程内容回顾 – 阶段划分
• P123.112 – Spark – 问题答疑 – 1
• P124.113 – Spark – 问题答疑 – 2
• P125.114 – Spark – 案例实操 – 框架 – 封装 – 2
• P126.115 – Spark – 案例实操 – 框架 – ThreadLocal
• P127.116 – Spark – 案例实操 – 框架 – 改善
• P128.117 – Spark – 案例实操 – 需求一 – 需求分析&设计
• P129.118 – Spark – 案例实操 – 需求一 – 功能实现 – 1
• P13.12 – Spark – 环境 – Yarn环境
• P130.119 – Spark – 案例实操 – 需求一 – 功能实现 – 2
• P131.120 – Spark – 案例实操 – 需求一 – 功能优化 – 1
• P132.121 – Spark – 案例实操 – 需求一 – 功能优化 – 2
• P133.122 – Spark – 案例实操 – 需求一 – 功能优化 – 3
• P134.123 – Spark – 案例实操 – 需求一 – 功能优化 – 4 – 累加器的创建
• P135.124 – Spark – 案例实操 – 需求一 – 功能优化 – 4 – 累加器的使用
• P136.125 – Spark – 案例实操 – 需求二 – 需求分析 & 设计
• P137.126 – Spark – 案例实操 – 需求二 – 功能实现
• P138.127 – Spark – 案例实操 – 需求二 – 错误调试
• P139.128 – Spark – 案例实操 – 需求二 – 优化
• P14.13 – Spark – 环境 – Yarn环境 – 历史服务（未演示）
• P140.510 – Spark – 课程内容回顾 – 累加器
• P141.129 – Spark – 案例实操 – 需求三 – 介绍
• P142.130 – Spark – 案例实操 – 需求三 – 需求分析
• P143.131 – Spark – 案例实操 – 需求三 – 功能实现 – 计算分母
• P144.132 – Spark – 案例实操 – 需求三 – 功能实现 – 计算分子
• P145.133 – Spark – 案例实操 – 需求三 – 功能实现 – 计算单跳转换率
• P146.134 – Spark – 案例实操 – 需求三 – 功能补充
• P147.135 – Spark – SQL – 介绍
• P148.136 – Spark – SQL – 介绍补充
• P149.137 – Spark – SQL – DataFrame
• P15.14 – Spark – 环境 – 其他环境 – k8s & Mesos & Windows
• P150.138 – Spark – SQL – DataSet
• P151.139 – Spark – SQL – 基本API演示
• P152.140 – Spark – SQL – 基本API演示 – SQL
• P153.141 – Spark – SQL – 基本API演示 – DSL语法
• P154.142 – Spark – SQL – DataFrame & RDD转换
• P155.143 – Spark – SQL – DataSet & RDD转换
• P156.144 – Spark – SQL – DataSet & DataFrame转换
• P157.145 – Spark – SQL – IDEA开发SparkSQL程序 – 创建环境对象
• P158.146 – Spark – SQL – IDEA开发SparkSQL程序 – 演示基本操作
• P159.147 – Spark – SQL – IDEA开发SparkSQL程序 – 基本操作回顾
• P16.15 – Spark – 环境 – 部署方式对比 & 端口号总结
• P160.148 – Spark – SQL – UDF
• P161.149 – Spark – SQL – UDAF – 方法重写 – 1
• P162.150 – Spark – SQL – UDAF – 方法重写 – 2
• P163.151 – Spark – SQL – UDAF – 原理的解释
• P164.152 – Spark – SQL – UDAF – 强类型的UDAF
• P165.153 – Spark – SQL – 通用的读取功能
• P166.154 – Spark – SQL – 通用的保存功能
• P167.155 – Spark – SQL – 通用的保存&读取功能说明
• P168.156 – Spark – SQL – CSV文件的读取
• P169.157 – Spark – SQL – Mysql数据的读取&保存
• P17.16 – Spark – 核心对象
• P170.158 – Spark – SQL – 内置Hive的访问
• P171.159 – Spark – SQL – 外置Hive的访问
• P172.160 – Spark – SQL – 案例实操 – 模拟数据的生成
• P173.161 – Spark – SQL – 案例实操 – SQL的编写和测试
• P174.512 – Spark – 考试题目 – 解析
• P175.513 – Spark – 课程内容回顾 – SparkSQL
• P176.514 – Spark – 课程内容回顾 – SparkSQL – UDAF
• P177.162 – Spark – SQL – 案例实操 – 聚合函数的编写 – 1
• P178.163 – Spark – SQL – 案例实操 – 问题解释
• P179.164 – Spark – SQL – 案例实操 – 问题解释
• P18.17 – Spark – 核心概念
• P180.165 – Spark – Streaming – 介绍
• P181.166 – Spark – Streaming – 概念和原理
• P182.167 – Spark – Streaming – wordcount演示
• P183.168 – Spark – Streaming – wordcount问题说明
• P184.169 – Spark – Streaming – wordcount解析
• P185.170 – Spark – Streaming – 队列采集数据
• P186.171 – Spark – Streaming -目录采集数据
• P187.172 – Spark – Streaming -自定义数据采集器
• P188.173 – Spark – Streaming – Kafka数据源
• P189.174 – Spark – Streaming – transform
• P19.18 – Spark – 基本提交流程
• P190.175 – Spark – Streaming – join
• P191.176 – Spark – Streaming – 有状态的计算updateStateByKey
• P192.177 – Spark – Streaming – 有状态的计算window
• P193.515 – Spark – 课程内容回顾 – SparkSQL
• P194.516 – Spark – 课程内容回顾 – SparkSQL – 案例实操
• P195.178 – Spark – Streaming – 有状态的计算reduceByKeyAndWindow
• P196.179 – Spark – Streaming – 输出
• P197.180 – Spark – Streaming – 优雅地关闭
• P198.181 – Spark – Streaming – 优雅地关闭 – 演示
• P199.182 – Spark – Streaming – 优雅地关闭 – 演示补充
• P2.01 – Spark – 概念介绍
• P20.19 – Spark – RDD – 介绍
• P200.183 – Spark – Streaming – 优雅地关闭 – 检查点操作
• P201.184 – Spark – Streaming – 案例实操 – 搭建环境
• P202.185 – Spark – Streaming – 案例实操 – 生成模拟数据 – 1
• P203.186 – Spark – Streaming – 案例实操 – kafka数据读取和发送的封装
• P204.187 – Spark – Streaming – 案例实操 – 测试数据的生产和消费
• P205.188 – Spark – Streaming – 案例实操 – 生产数据 – 梳理 – 1
• P206.189 – Spark – Streaming – 案例实操 – 生产数据 – 梳理 – 2
• P207.190 – Spark – Streaming – 案例实操 – 生产数据 – 梳理 – 3
• P208.191 – Spark – Streaming – 案例实操 – 需求一 – 需要介绍
• P209.192 – Spark – Streaming – 案例实操 – 需求一 – 需求分析
• P21.20 – Spark – RDD – IO的执行原理
• P210.193 – Spark – Streaming – 案例实操 – 需求一 – 功能实现 – 1
• P211.194 – Spark – Streaming – 案例实操 – 需求一 – 功能实现 – 2
• P212.195 – Spark – Streaming – 案例实操 – 需求一 – 功能实现 – 3
• P213.196 – Spark – Streaming – 案例实操 – 需求一 – 流程梳理
• P214.197 – Spark – Streaming – 案例实操 – 需求一 – 扩展
• P215.517 – Spark – 课程内容回顾 – SparkStreaming
• P216.198 – Spark – Streaming – 案例实操 – 需求二 – 功能实现
• P217.199 – Spark – Streaming – 案例实操 – 需求三 – 需求分析
• P218.201 – Spark – Streaming – 案例实操 – 需求三 – 功能实现 – 2
• P219.202 – Spark – Streaming – 案例实操 – 需求三 – 数据生成
• P22.21 – Spark – RDD – RDD的执行原理
• P220.203 – Spark – 内核 – 知识点梳理
• P221.204 – Spark – 内核 – 知识点梳理 – 源码解析 – 提交参数的封装
• P222.205 – Spark – 内核 – 知识点梳理 – 源码解析 – 反射创建对象执行
• P223.206 – Spark – 内核 – 知识点梳理 – 源码解析 – 向Yarn发送指令启动AM
• P224.208 – Spark – 内核 – 知识点梳理 – 源码解析 – AM申请资源并对资源进行匹配
• P225.210 – Spark – 内核 – 知识点梳理 – 源码解析 – Executor反向注册后创建计算对象
• P226.211 – Spark – 内核 – 知识点梳理 – 源码解析 – Driver向Executor发送Task并执行
• P227.212 – Spark – 内核 – 知识点梳理 – 源码解析 – 问题解答
• P228.213 – Spark – 内核 – 架构梳理 – Yarna – Cluster
• P229.214 – Spark – 内核 – 通信 – 原理介绍
• P23.22 – Spark – RDD – RDD的核心属性
• P230.215 – Spark – 内核 – 通信 – 源码解析
• P231.216 – Spark – 内核 – 通信 – 课件梳理
• P232.518 – Spark – 课程内容回顾 – SparkStreaming – 案例实操
• P24.23 – Spark – RDD – RDD在计算流程中的位置
• P25.24 – Spark – RDD – 创建RDD – 内存
• P26.25 – Spark – RDD – 分区计算的原理
• P27.26 – Spark – RDD – 创建RDD – File
• P28.27 – Spark – RDD – 创建RDD – 内存创建的分区数量
• P29.501 – Spark – 课程内容回顾
• P3.02 – Spark – Spark和MR对比
• P30.502 – Spark – 同学问题解答 – windows环境的文件路径问题
• P31.28 – Spark – RDD – RDD概念梳理
• P32.29 – Spark – RDD – RDD原理说明
• P33.30 – Spark – RDD – makeRDD的分区的设置
• P34.31 – Spark – RDD – makeRDD分区数据存储的演示
• P35.32 – Spark – RDD – makeRDD分区数据存储源码走读
• P36.33 – Spark – RDD – textfile分区数据存储的演示
• P36.33 – Spark – RDD – textfile分区数据存储的演示_20241204_135958
• P37.34 – Spark – RDD – textfile分区数据存储的原理说明
• P38.35 – Spark – RDD – textfile分区数据存储的原理说明 – 1
• P39.36 – Spark – RDD – textfile分区数据存储的原理说明 – 2
• P4.03 – Spark – Spark核心模块
• P40.37 – Spark – RDD – textfile分区数据存储的原理说明 – 多文件
• P41.38 – Spark – RDD – 算子 – 介绍
• P42.39 – Spark – RDD – 转换算子 – map
• P43.40 – Spark – RDD – 转换算子 – map实现原理
• P44.41 – Spark – RDD – 转换算子 – map实现原理 – 1
• P45.42 – Spark – RDD – 转换算子 – map – 小练习
• P46.43 – Spark – RDD – 转换算子 – mapPartitions
• P47.44 – Spark – RDD – 转换算子 – mapPartitions – 小练习
• P48.45 – Spark – RDD – 转换算子 – mapPartitions – 和map算子的区别
• P49.46 – Spark – RDD – 转换算子 – mapPartitionsWithIndex
• P5.04 – Spark – 案例 – WordCount – 环境准备
• P50.47 – Spark – RDD – 转换算子 – flatMap
• P51.48 – Spark – RDD – 转换算子 – glom
• P52.49 – Spark – RDD – 转换算子 – groupBy
• P53.50 – Spark – RDD – 转换算子 – filter
• P54.503 – Spark – 课程内容回顾 – 架构和原理
• P55.504 – Spark – 直播间问题答疑 – RDD
• P56.51 – Spark – RDD – 转换算子 – 小练习
• P57.52 – Spark – RDD – 转换算子 – sample
• P58.53 – Spark – RDD – 转换算子 – distinct
• P59.54 – Spark – RDD – 转换算子 – coalesce
• P6.05 – Spark – 案例 – WordCount – 代码实现
• P60.55 – Spark – RDD – 转换算子 – coalesce & repartition 的区别
• P61.55 – Spark – RDD – 转换算子 – repartition
• P62.56 – Spark – RDD – 转换算子 – sortBy
• P63.57 – Spark – RDD – 转换算子 – 双value的数据操作
• P64.58 – Spark – RDD – 转换算子 – 双value的数据操作 – 多场景演示
• P65.59 – Spark – RDD – 转换算子 – 双value的数据操作 – 问题解答
• P66.60 – Spark – RDD – 转换算子 – K-V的数据操作
• P67.61 – Spark – RDD – 转换算子 – partitionBy
• P68.62 – Spark – RDD – 转换算子 – 自定义分区器
• P69.63 – Spark – RDD – 转换算子 – partitionBy问题解答
• P7.06 – Spark – 案例 – WordCount – 功能补充
• P70.64 – Spark – RDD – 转换算子 – reduceByKey
• P71.65 – Spark – RDD – 转换算子 – groupByKey
• P72.66 – Spark – RDD – 转换算子 – groupByKey实现原理
• P73.67 – Spark – RDD – 转换算子 – groupByKey & reduceByKey的区别
• P74.68 – Spark – RDD – 转换算子 – aggregateByKey
• P75.69 – Spark – RDD – 转换算子 – aggregateByKey 演示和说明
• P76.70 – Spark – RDD – 转换算子 – foldByKey
• P77.71 – Spark – RDD – 转换算子 – combineByKey
• P78.72 – Spark – RDD – 转换算子 – combineByKey 演示&说明
• P79.505 – Spark – 课程内容回顾
• P8.07 – Spark – 环境 – 本地环境local
• P80.73 – Spark – RDD – 转换算子 – pipe
• P81.74 – Spark – RDD – 转换算子 – 去重思路
• P82.75 – Spark – RDD – 转换算子 – 聚合算子的区别
• P83.76 – Spark – RDD – 转换算子 – sortByKey
• P84.77 – Spark – RDD – 转换算子 – sortByKey – 自定义key
• P85.78 – Spark – RDD – 转换算子 – join
• P86.79 – Spark – RDD – 转换算子 – leftOuterJoin & cogroup
• P87.80 – Spark – RDD – 案例实操 – 需求分析
• P88.81 – Spark – RDD – 案例实操 – 功能实现
• P89.82 – Spark – RDD – 行动算子 – 介绍
• P9.08 – Spark – 环境 – 本地环境local – 补充说明
• P90.83 – Spark – RDD – 行动算子 – 演示
• P91.84 – Spark – RDD – 行动算子 – 数据保存
• P92.85 – Spark – RDD – 行动算子 – 乱码问题
• P93.86 – Spark – RDD – 行动算子 – foreach
• P94.87 – Spark – RDD – 行动算子 – 序列化
• P95.88 – Spark – RDD – 行动算子 – 序列化 – 演示
• P96.89 – Spark – RDD – 行动算子 – 序列化 – Kryo框架
• P97.90 – Spark – RDD – 依赖关系 – 介绍
• P98.91 – Spark – RDD – 依赖关系 – 宽依赖 & 窄依赖
• P99.92 – Spark – RDD – 依赖关系 – 宽依赖 & 窄依赖 图形演示