课程介绍

本课重点： 大数据核心技术、大数据分布式计算、大数据源码（Hadoop、Spark ）学习和开发思维

实战项目包含：Hadoop集群和健康管理、搭建数据可视化交互与分析平台、使用Spark对商城平台用户数据分析

课程目录

• 课件资料
• 课件
• 01大数据概述
• 02HDFS
• 03MapReduce
• 04YARN
• 05Hadoop拓展
• 06HBase
• 07Hive
• 08Spark
• 09SparkSQL
• 10Presto+11Kylin+12ClickHouse
• 13Kafka+14Flink
• 15DataWarehouse+ 16DataPlatform
• 17DeltaLake+18Hudi&Iceberg
• 19源码学习
• 20面试通关
• 作业及练习题-大数据
• .DS_Store
• 01大数据概述-1
• 02大数据概述-2
• 03大数据“三驾马车”之HDFS-1
• 04大数据“三驾马车”之HDFS-2
• 05大数据“三驾马车”之HDFS-3
• 06大数据“三驾马车”之HDFS-4
• 07大数据“三驾马车”之HDFS-5
• 08大数据“三驾马车”之HDFS-6
• 09加餐 Hadoop集群部署演示
• 10Hadoop命令和API、MapReduce、YARN的思想和架构
• 11资源调度器、YARN高级特性（上）
• 12YARN高级特性（下）、Hadoop拓展之RPC和安全机制
• 13练习题讲解、Hadoop拓展之Ozone、HBase概述
• 14HBase的逻辑与物理视图、整体架构、高可用性
• 15Hive概述、Hive的基本原理
• 16HiveQL详解、DDL和DML、常用存储格式
• 17Parquet、Hive性能优化、Hive on Tez_Spark
• 18RDD编程模型
• 19SparkCore架构和原理、任务调度、Spark Streaming
• 20Spark Shuffle、数据倾斜及其优化、Spark内存管理
• 21Spark SQL基本架构、结构化数据和DataFrame
• 22Spark SQL中的“树”、SQL编译器和ANTLR、Catalog
• 23逻辑计划树和优化器、物理计划树和策略器
• 24代码生成技术、向量化技术
• 25SparkThriftserver、Spark的AQE和DPP加速
• 26课后作业-彦功助教讲题
• 27Spark SQL优化技术详解（上）
• 28Spark SQL优化技术详解（下）
• 29Presto详解
• 30Kylin详解
• 31ClickHouse详解
• 32ClickHouse应用、Kafka详解
• 33Flink详解（上）
• 34Flink详解（下）
• 35Data Warehouse详解、Data Platform详解（上）
• 36Data Platform详解（下）、Delta Lake详解（上）
• 37Delta Lake详解（下）
• 38Hudi详解、Iceberg详解
• 39大数据基础算法、Scala基础
• 40Hadoop核心源码解读、Spark核心源码解读
• 41Spark核心源码解读、大数据工程师面试与成长 6