资源介绍：

这一大数据应用案例为主线，使用慕课网真实日志，以目前主流的、最新的Spark稳定版2.1.x为基础，依次介绍相关的大数据技术：Hadoop、Hive、Spark SQL，涉及数据清洗、统计存储、处理入库以及数据可视化（Echarts、Zeppelin），最终会形成一个完整的大数据项目

课程目录

• 第10章 Spark SQL扩展和总结
• 10-1 -课程目录
• 10-2 -Spark SQL使用场景
• 10-3 -Spark SQL加载数据
• 10-4 -DataFrame与SQL的对比
• 10-5 -Schema
• 10-6 -SaveMode
• 10-7 -处理复杂的JSON数据
• 10-8mp4
• 10-9 -外部数据源
• 第1章 初探大数据
• 1-10hadoop下载jdk安装、
• 1-11 机器参数设置
• 1-12 hdfs核心配置文件内容配置
• 1-13 hdfs格式化及启停
• 1-14 hdfs shell常用操作
• 1-15HDFS优缺点
• 1-16MapReduce概述
• 1-17 mapreduce编程模型及wordcount
• 1-18 yarn产生背景
• 1-19 yarn架构和执行流程
• 1-1导学
• 1-20 -YARN环境搭建及提交作业到YARN上运行
• 1-21 -Hive产生背景及Hive是什么
• 1-22 -为什么要使用Hive及Hive发展历程
• 1-23 -Hive体系架构及部署架构
• 1-24 -Hive环境搭建
• 1-25 -Hive基本使用
• 1-2如何学好大数据
• 1-3开发环境介绍
• 1-4 ooptb镜像文件使用介绍
• 1-5大数据
• 1-6 hadoop概述
• 1-7 hdfs概述及设计目标
• 1-8 hdfs架构mp4
• 1-9 hdfs副本机制
• 第2章 Spark及其生态圈概述
• 2-1 -课程目录
• 2-2 -Spark概述及特点
• 2-3 -Spark产生背景
• 2-4 -Spark发展历史
• 2-5 -Spark Survey
• 2-6 -Spark对比Hadoop
• 2-7 -Spark和Hadoop的协作性
• 第3章 实战环境搭建
• 3-1 -课程目录
• 3-2 -Spark源码编译
• 3-3 补录：Spark源码编译中的坑
• 3-4 Spark Local模式环境搭建
• 3-5 Spark Standalone模式环境搭建
• 3-6 Spark简单使用
• 第4章 Spark SQL概述
• 4-1 课程目录
• 4-2 -Spark SQL前世今生
• 4-3 -SQL on Hadoop常用框架介绍
• 4-4 -Spark SQL概述
• 4-5 -Spark SQL愿景
• 4-6 -Spark SQL架构
• 第5章 从Hive平滑过渡到Spark SQL
• 5-1 -课程目录
• 5-2 -A SQLContext的使用
• 5-3 -B HiveContext的使用
• 5-4 -C SparkSession的使用
• 5-5 spark-shell&spark-sql的使用
• 5-6 -thriftserver&beeline的使用
• 5-7 -jdbc方式编程访问
• 第6章 DateFrame&Dataset
• 6-1 -课程目录
• 6-2 -DataFrame产生背景
• 6-3 -DataFrame概述
• 6-4 -DataFrame和RDD的对比
• 6-5 -DataFrame基本API操作
• 6-6 -DataFrame与RDD互操作方式一
• 6-7 dataframe与rdd互操作方式
• 6-8 -DataFrame API操作案例实战
• 6-9 -Dataset概述及使用
• 第7章 External Data Source
• 7-1 -课程目录
• 7-2 -产生背景
• 7-3 -概述
• 7-4 -目标
• 7-5 -操作Parquet文件数据
• 7-6 -操作Hive表数据
• 7-7 -操作MySQL表数据
• 7-8 -Hive和MySQL综合使用
• 第8章 SparkSQL愿景
• 8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性)
• 8-10 -SparkSQL愿景总结
• 8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)
• 8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)
• 8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)
• 8-5 -E SparkSQL愿景之一写更少的代码(Schema Merge)
• 8-6 -F SparkSQL愿景之一写更少的代码(Partition Discovery)
• 8-7 -G SparkSQL愿景之一写更少的代码(执行速度更快)
• 8-8 -SparkSQL愿景之二读取更少的数据
• 8-9 -SparkSQL愿景之三让查询优化器帮助我们优化执行效率
• 第9章 慕课网日志实战
• 9-1 -课程目录
• 9-10 -数据清洗存储到目标地址
• 9-11 -需求一统计功能实现
• 9-12 -Scala操作MySQL工具类开发
• 9-13 -需求一统计结果写入到MySQL
• 9-14 -需求二统计功能实现
• 9-15 -需求二统计结果写入到MySQL
• 9-16 -需求三统计功能实现
• 9-17 -需求三统计结果写入到MySQL
• 9-18 -代码重构之删除指定日期已有的数据
• 9-19 -功能实现之数据可视化展示概述
• 9-2 -用户行为日志概述
• 9-20 -ECharts饼图静态数据展示
• 9-21 -ECharts饼图动态展示之一查询MySQL中的数据
• 9-22 -ECharts饼图动态展示之二前端开发
• 9-23 -使用Zeppelin进行统计结果的展示
• 9-24 -Spark on YARN基础
• 9-25 -数据清洗作业运行到YARN上
• 9-26 -统计作业运行在YARN上
• 9-27 -性能优化之存储格式的选择
• 9-28 -性能调优之压缩格式的选择mp4
• 9-29 -性能优化之代码优化
• 9-3 -离线数据处理架构
• 9-30 -性能调优之参数优化
• 9-4 -项目需求
• 9-5 imooc网主站日志内容构成
• 9-6 数据清洗之第一步原始日志解析
• 9-7 -数据清洗之二次清洗概述
• 9-8 -数据清洗之日志解析
• 9-9 -数据清洗之ip地址解析
• project