课程目录

• 视频
• 001 – Spark – 课程介绍
• 002 – Spark – 文件结构 – 介绍
• 003 – Spark – 基础概念 – 介绍 – 分布式
• 004 – Spark – 基础概念 – 介绍 – 计算
• 005 – Spark – 基础概念 – 介绍 – 分布式基础架构
• 006 – Spark – 基础概念 – 介绍 – 框架
• 007 – Spark – 基础概念 – 介绍 – Spark和MR的关系
• 008 – Spark – 介绍
• 009 – Spark – 部署方式 – 介绍
• 010 – Spark – 解压后的文件结构
• 011 – Spark – 部署环境 – Local
• 012 – Spark – 部署环境 – Local – 演示
• 013 – Spark – 部署环境 – Yarn – 演示
• 014 – Spark – 部署环境 – Yarn – 历史服务
• 015 – Spark – 部署环境 – Yarn – 2种执行方式Cluster和Client
• 016 – Spark – 部署环境 – 几种模式的对比
• 017 – Spark – 数据结构 – 说明
• 018 – Spark – RDD – 介绍
• 019 – Spark – RDD – 数据处理流程简介
• 020 – Spark – RDD – 计算原理
• 021 – Spark – RDD – 计算原理 – 补充
• 022 – Spark – RDD – 代码 – 环境的准备
• 023 – Spark – RDD – 代码 – 对接内存数据源构建RDD对象
• 024 – Spark – RDD – 代码 – 对接磁盘数据源构建RDD对象
• 025 – Spark – RDD – 代码 – RDD的理解
• 026 – Spark – RDD – 代码 – RDD的分区
• 027 – Spark – RDD – 代码 – 内存数据源 – 分区数量的设定
• 028 – Spark – RDD – 代码 – 磁盘文件数据源 – 分区数量的设定
• 029 – Spark – RDD – 代码 – 内存数据源 – 分区数据的分配
• 030 – Spark – RDD – 代码 – 磁盘文件数据源 – 分区数据的分配
• 031 – Spark – RDD – 代码 – 磁盘文件数据源 – 分区数据的分配 – 演示
• 032 – Spark – RDD – 课件梳理
• 033 – Spark – RDD – 方法 – 介绍
• 034 – Spark – RDD – 方法 – 方法的2大类 – 转换和行动
• 035 – Spark – RDD – 方法 – 数据处理的2大类 – 单值和键值
• 036 – Spark – RDD – 方法 – 转换 – map
• 037 – Spark – RDD – 方法 – 转换 – map – 1
• 038 – Spark – RDD – 方法 – 转换 – map – 2
• 039 – Spark – RDD – 方法 – 转换 – map – 3
• 040 – Spark – RDD – 方法 – 转换 – map – 4
• 041 – Spark – RDD – 方法 – 转换 – filter
• 042 – Spark – RDD – 方法 – 转换 – flatMap
• 043 – Spark – RDD – 方法 – 转换 – flatMap – 1
• 044 – Spark – RDD – 方法 – 转换 – groupBy
• 045 – Spark – RDD – 回顾 – 原理
• 046 – Spark – RDD – 回顾 – 方法
• 047 – Spark – RDD – Shuffle
• 048 – Spark – RDD – Shuffle – 原理
• 049 – Spark – RDD – Shuffle – 原理 – 补充
• 050 – Spark – RDD – Shuffle – 演示
• 051 – Spark – RDD – 方法 – distinct
• 052 – Spark – RDD – 方法 – sortBy
• 053 – Spark – RDD – 方法 – KV类型数据介绍
• 054 – Spark – RDD – 方法 – KV类型数据补充
• 055 – Spark – RDD – 方法 – KV – mapValues
• 056 – Spark – RDD – 方法 – KV – wordCount
• 057 – Spark – RDD – 方法 – KV – groupByKey
• 058 – Spark – RDD – 方法 – KV – reduceByKey
• 059 – Spark – RDD – 方法 – KV – sortByKey
• 060 – Spark – RDD – 方法 – KV – reduceByKey和groupByKey的区别
• 061 – Spark – RDD – WordCount程序在环境中运行
• 062 – Spark – RDD – 转换方法的回顾
• 063 – Spark – RDD – 行动算子 – 介绍
• 064 – Spark – RDD – 行动算子 – collect
• 065 – Spark – RDD – 行动算子 – collect – 补充
• 066 – Spark – RDD – 行动算子 – 其他方法 – 1
• 067 – Spark – RDD – 行动算子 – 其他方法 – 2
• 068 – Spark – RDD – 行动算子 – 其他方法 – 3
• 069 – Spark – RDD – 行动算子 – Driver端和Executor端数据传输
• 070 – Spark – RDD – 序列化 – 1
• 071 – Spark – RDD – 序列化 – 2
• 072 – Spark – 案例 – 数据格式说明
• 073 – Spark – 案例 – 需求介绍
• 074 – Spark – 案例 – 需求分析
• 075 – Spark – 案例 – 需求设计
• 076 – Spark – 案例 – 开发原则
• 077 – Spark – 案例 – 代码实现 – 1
• 078 – Spark – 案例 – 代码实现 – 2
• 079 – Spark – 案例 – 代码实现 – 3
• 080 – Spark – 案例 – 代码实现 – 4
• 081 – Spark – RDD – KRYO序列化框架
• 082 – Spark – RDD – 依赖关系 – 介绍
• 083 – Spark – RDD – 依赖关系 – 原理
• 084 – Spark – RDD – 依赖关系 – 血缘关系
• 085 – Spark – RDD – 依赖关系 – 依赖关系
• 086 – Spark – RDD – 依赖关系 – 宽窄依赖关系
• 087 – Spark – RDD – 依赖关系 – 作业，阶段和任务的关系
• 088 – Spark – RDD – 依赖关系 – 任务的数量
• 089 – Spark – RDD – 依赖关系 – 分区的数量
• 090 – Spark – RDD – 持久化和序列化的关系
• 091 – Spark – RDD – 持久化 – cache
• 092 – Spark – RDD – 持久化 – persist
• 093 – Spark – RDD – 持久化 – checkpoint
• 094 – Spark – RDD – 持久化 – shuffle算子的持久化
• 095 – Spark – RDD – 分区器
• 096 – Spark – RDD – 自定义分区器
• 097 – Spark – 两个案例
• 098 – Spark – 第一个案例问题原因
• 099 – Spark – 广播变量
• 100 – Spark – RDD的局限性
• 101 – SparkSQL – 介绍
• 102 – SparkSQL – 环境对象的封装
• 103 – SparkSQL – 模型对象的封装
• 104 – SparkSQL – SQL的操作
• 105 – SparkSQL – 不同场景下环境对象的转换
• 106 – SparkSQL – 不同场景下模型数据对象的转换
• 107 – SparkSQL – 使用SQL的方式来访问数据模型
• 108 – SparkSQL – 使用DSL的方式来访问数据模型
• 109 – SparkSQL – 自定义udf函数对象
• 110 – SparkSQL – 自定义udf函数的底层实现原理
• 111 – SparkSQL – 自定义udaf函数的底层实现原理
• 112 – SparkSQL – 自定义udaf函数的实现步骤 – 1
• 113 – SparkSQL – 自定义udaf函数的实现步骤 – 2
• 114 – SparkSQL – 自定义udaf函数的实现步骤 – 回顾
• 115 – SparkSQL – 数据源 – CSV
• 116 – SparkSQL – 数据源 – JSON
• 117 – SparkSQL – 数据源 – Parquet
• 118 – SparkSQL – 数据源 – JDBC
• 119 – SparkSQL – 数据源 – Hive
• 120 – SparkSQL – 案例 – 数据准备
• 121 – SparkSQL – 案例 – 数据准备 – 补充
• 122 – SparkSQL – 案例 – 需求分析
• 123 – SparkSQL – 案例 – 需求设计
• 124 – SparkSQL – 案例 – SQL实现 – 1
• 125 – SparkSQL – 案例 – SQL实现 – 2
• 126 – SparkSQL – 案例 – SQL实现 – 3
• 127 – SparkSQL – 案例 – SQL实现 – 4
• 128 – SparkSQL – 案例 – SQL实现 – 5
• 129 – SparkSQL – 案例 – SQL实现 – 6
• 130 – SparkSQL – 案例 – SQL实现 – 7
• 131 – SparkSQL – 案例 – SQL实现 – 8
• 132 – SparkSQL – 案例 – SQL实现 – 9
• 133 – SparkStreaming – 介绍
• 134 – SparkStreaming – 原理
• 135 – SparkStreaming – 原理 – 补充
• 136 – SparkStreaming – 课件梳理
• 137 – SparkStreaming – 环境准备
• 138 – SparkStreaming – 网络（Socket）数据流处理演示
• 139 – SparkStreaming – Kafka数据流处理演示
• 140 – SparkStreaming – DStream方法介绍
• 141 – SparkStreaming – DStream输出方法介绍
• 142 – SparkStreaming – 窗口操作
• 143 – SparkStreaming – 回顾 – 1
• 144 – SparkStreaming – 回顾 – 2
• 145 – SparkStreaming – 关闭 – 1
• 146 – SparkStreaming – 关闭 – 2
• 147 – SparkStreaming – 关闭 – 3
• 148 – Spark – 内核 – 运行流程 – 1
• 149 – Spark – 内核 – 运行流程 – 2
• 150 – Spark – 内核 – 运行流程 – 3
• 151 – Spark – 内核 – 核心对象
• 152 – Spark – 内核 – 核心对象通信流程 – Netty
• 153 – Spark – 内核 – Task任务的调度执行
• 154 – Spark – 内核 – Shuffle底层的实现原理 – 1
• 155 – Spark – 内核 – Shuffle底层的实现原理 – 2
• 156 – Spark – 内核 – 内存管理
• 157 – Spark – 内核 – 内存管理 – 补充
• 代码
• 课件
• 资料