本套课程来自极课时间：大数据训练营2021最新完结。本套课程文件总计24G，附课程相关资料

课程设计对标阿里P7，三个维度全面覆盖大数据工程师能力要求

1：掌握以SparkSQL为核心的泛SQL体系，囊括Hive、SparkSQL、FlinkSQL、KafkaSQL等知识点，进一步掌握SQL应用及性能调优，深入了解SQL底层逻辑与原理，摆脱SQLBoy/Girl的困境，掌握大数据分析和大数据开发能力，以Hadoop、Spark、Kafka、Flink等框架为脉络

2：了解分布式计算体系的来龙去脉，掌握大规模存储、计算、性能调优的能力，掌握构建大数据平台工程的能力，了解如何设计和实现一个分布式系统，胜任数据开发任务和数据平台的搭建任务

3：详解Hadoop、Spark核心源码，学会在源码层面分析和解决问题，实现开发能力的再进阶与突破，跳出复杂的技术栈，领会底层核心原理，掌握trouble-shooting的思路与能力，培养真正的大数据开发思维

学习人群

有2年以上开发经验，熟练掌握Java/Python等语言，想转型大数据的程序员

有大数据基础，希望提升自己能力水平的大数据开发工程师

对现状迷茫，希望打破瓶颈，构建自己技术壁垒的大数据开发工程师

对大数据感兴趣，希望进入大数据行业的计算机相关专业大学生

Q：是否有基础要求？

需要你拥有2年以上的开发经验，熟悉Java和SQL语法，有大数据开发基础更佳。如果你是计算机相关专业的大学生，对大数据感兴趣，希望毕业后进入大数据行业，也非常欢迎

课程目录

• 01大数据概述-1
• 02大数据概述-2
• 03大数据“三驾马车”之HDFS-1
• 04大数据“三驾马车”之HDFS-2
• 05大数据“三驾马车”之HDFS-3
• 06大数据“三驾马车”之HDFS-4
• 07大数据“三驾马车”之HDFS-5
• 08大数据“三驾马车”之HDFS-6
• 09加餐 Hadoop集群部署演示
• 10Hadoop命令和API、MapReduce、YARN的思想和架构
• 11资源调度器、YARN高级特性（上）
• 11资源调度器、YARN高级特性（中）
• 12YARN高级特性（下）、Hadoop拓展之RPC和安全机制
• 13练习题讲解、Hadoop拓展之Ozone、HBase概述
• 14HBase的逻辑与物理视图、整体架构、高可用性
• 15Hive概述、Hive的基本原理
• 16HiveQL详解、DDL和DML、常用存储格式
• 17Parquet、Hive性能优化、Hive on Tez_Spark
• 18RDD编程模型
• 19SparkCore架构和原理、任务调度、Spark Streaming
• 20Spark Shuffle、数据倾斜及其优化、Spark内存管理
• 21Spark SQL基本架构、结构化数据和DataFrame
• 22Spark SQL中的“树”、SQL编译器和ANTLR、Catalog
• 23逻辑计划树和优化器、物理计划树和策略器
• 24代码生成技术、向量化技术
• 25SparkThriftserver、Spark的AQE和DPP加速
• 26课后作业-彦功助教讲题
• 27Spark SQL优化技术详解（上）
• 28Spark SQL优化技术详解（下）
• 29Presto详解
• 30Kylin详解
• 31ClickHouse详解
• 32ClickHouse应用、Kafka详解
• 33Flink详解（上）
• 34Flink详解（下）
• 35Data Warehouse详解、Data Platform详解（上）
• 36Data Platform详解（下）、Delta Lake详解（上）
• 37Delta Lake详解（下）
• 38Hudi详解、Iceberg详解
• 39大数据基础算法、Scala基础
• 40Hadoop核心源码解读、Spark核心源码解读
• 41Spark核心源码解读、大数据工程师面试与成长
• 课件+源码+文档