课程介绍

DT 时代已来，如果数据是金矿，那大数据开发就是掘金利器

现在入行大数据开发，就像10年前入行Java，5年前入行前端。正是行业红利开始的时间

五个岗位抢一个工程师

现有人员30W，人才岗位需求150W+

大数据行业的人才缺口巨大

近五年行业薪资上涨近70%

人才的缺口加速了职业收入的高速提升

行业潜力不可估量

国家对大数据行业上重视肉眼可见

从2016开始，各大高校开始增设大数据专业

以就业为目标的应用型大数据开发体系课，带你从入门直达中级工程师岗位要求

具备Java及数据库基础即可学习，为你架好大数据工程师的进阶阶梯

Java/Scala双语言教学，电商、直播、中台多个热点商用项目实战 平价资源站666root.com

课程目录

• 阶段一：走进大数据
• 第1周 学好大数据先攻克Linux
• 课程安排：
• 1、掌握Linux虚拟机的安装和配置
• 2、使用ScecureCRT连接Linux虚拟机
• 3、掌握Linux中常见高级命令(vi、wc、sort、date、jps、kill等命令)的使用 平价资源站666root.com
• 4、掌握Linux中三剑客(grep、sed、awk)的常见用法
• 5、掌握Linux的高级配置(ip、hostname、防火墙)
• 6、掌握Shell脚本的开发
• 7、掌握Shell中变量、循环和判断的使用
• 8、掌握Shell中的扩展内容
• 9、掌握Linux中crontab定时器的使用
• 10、了解认识什么是大数据
• 11、大数据产生的背景
• 12、大数据的4V特征
• 13、大数据的行业应用
• 【本周思考与讨论】
• 1、结合自己的实际情况，明确学习目标、制定学习计划。有计划、有执行、有落实，必有收获！
• 2、利用学习的Linux高级技能实现论坛访问日志数据分析，看一下到底是谁在暴力攻击你的网站？
• 3、某云服务器被挖矿病毒程序侵入，病毒程序很顽强，如何开发一个脚本监控并sha掉此病毒程序？
• 4、手动安装JDK配置环境变量太繁琐了，如何开发一个一键安装配置JDK的程序？
• 5、为什么使用jps命令查看不到正在运行的Java进程？
• 6、在SecureCRT中按Ctrl+s会发生什么现象，尝试一下？
• 7、如何确认Crontab中的定时任务是否正常执行？
• 8、使用crontab -e 和 vi /etc/crontab配置的定时任务有什么区别？
• 9、谈一谈你眼中的大数据是什么样的？
• 学习贵在坚持，每天进步一点点！
• 第2周 大数据起源之初识Hadoop
• 课程安排：
• 1、什么是Hadoop
• 2、Hadoop发行版介绍
• 3、Hadoop版本演变历史
• 4、Hadoop3.x的细节优化
• 5、Hadoop三大核心组件介绍
• 6、伪分布集群安装部署
• 7、分布式集群安装部署
• 8、Hadoop的客户端节点
• 【本周思考与讨论】
• 1、如何让你对大数据平台进行技术选型，你是选择原生Hadoop还是CDH/HDP？这样选择的依据是什么？
• 2、谈一下你对Hadoop的认知，Hadoop的出现到底改变了什么？
• 3、你在安装Hadoop集群的时候都遇到了哪些坑？如何解决的？
• 4、动手配置一个Hadoop客户端节点，都有哪些注意事项？
• 5、Hadoop客户端节点是怎么识别Hadoop集群的？
• 6、如果让你规划一套大数据平台的部署方案，你会如何规划？
• 授人以鱼不如授人以渔，加油，打工人！
• 第3周 Hadoop之HDFS的使用
• 通过生活场景”小明租房”案例引入HDFS核心架构，掌握HDFS的常见Shell操作以及Java代码操作，对以后实现海量数据的存储打下基础
• 课程安排：
• 1、生活场景引入：”小明租房”案例一步一步引入Hadoop中的分布式存储架构
• 2、HDFS的Shell介绍
• 3、HDFS的常见Shell操作
• 4、HDFS案例实操
• 5、Java代码操作HDFS
• 6、HDFS的高级Shell命令
• 7、HDFS读数据过程分析
• 8、HDFS写数据过程分析
• 9、HDFS写数据源码分析
• 【本周思考与讨论】
• 1、还有哪些和HDFS类型的分布式文件系统？它们都有什么特点？
• 2、如何实现大海捞针，从HDFS中揪出不经常使用并且占用空间的大文件？
• 3、如何获取指定的HDFS目录下所有文件的Block块信息？
• 4、在工作中最常用的是使用shell命名操作HDFS还是使用Java代码操作？
• 5、我们自己串联多块硬盘实现海量数据存储和使用HDFS有什么区别？
• 6、HDFS集群之间是否可以实现数据迁移？
• 7、如何通过JS代码(或者C++、PHP之类的代码)获取HDFS中的文件信息？
• 知其然也要知其所以然！
• 第4周 Hadoop之HDFS核心进程剖析
• 通过对HDFS中核心进程NameNode、SecondaryNameNode、DataNode进行详细分析，帮助大家更好的理解HDFS的底层原理
• 课程安排：
• 1、NameNode介绍
• 2、NameNode深入
• 3、SecondaryNameNode介绍
• 4、DataNode介绍
• 5、HDFS的回收站
• 6、HDFS的安全模式详解
• 7、实战：定时上传数据至HDFS
• 8、HDFS的高可用和高扩展机制分析
• 【本周思考与讨论】
• 1、HDFS中的回收站和windows中的回收站有什么区别？
• 2、Hadoop中必须要有SecondaryNameNode进程吗？
• 3、HDFS中NameNode内存将要耗尽，有什么解决方案？
• 4、一台128G内存的NameNode节点理论上可以存储多少文件的元数据？
• 5、HDFS中的安全模式是为了干什么？有什么意义？
• 6、HDFS的存储能力理论上来说是有极限的，如何扩容？
• 7、开发脚本实现定时向HDFS中上传内容和下载内容
• 动手一次胜过浏览万次，多做，多练！
• 第5周 Hadoop之初识MR
• 通过”计算扑克牌中的黑桃个数”案例引入MapReduce的思想，详细分析了MapReduce的执行流程，并且通过开发WordCount案例加深理解
• 课程安排：
• 1、MapReduce介绍
• 2、 MapReduce执行原理
• 3、实战：WordCount案例图解
• 4、实战：WordCount案例开发
• 5、MapReduce任务日志查看
• 6、停止Hadoop集群中的任务
• 7、MapReduce程序扩展
• 【本周思考与讨论】
• 1、谈一下你对本地计算的理解？它的计算性能为什么这么高？
• 2、如何开发一个只有map阶段的MapReduce任务？这种任务的应用场景是什么？
• 3、使用MapReduce如何开发自定义二次排序Key？
• 4、使用MapReduce如何实现统计TopN的需求？
• 5、谈一谈你对源码分析的看法？如何快速高效分析项目源码？
• 6、如果MapReduce任务中没有shuffle过程会出现什么现象？
• 7、MapReduce中的Combiner阶段在什么场景下适合使用？
• 8、如何使用MapReduce对数据实现全局排序？
• 源码是解决一切问题的根源，一言不合，源码中见分晓！
• 阶段二：PB级离线数据计算分析方案
• 第6周 拿来就用的企业级解决方案
• 详细分析了小文件的解决方案、数据倾斜的解决方案、YARN调度器的使用、以及Hadoop在CDH和HDP中的使用
• 课程安排：
• 1、小文件问题之SequenceFile
• 2、小文件问题之MapFile
• 3、案例：小文件存储和计算
• 4、 数据倾斜问题分析
• 5、数据倾斜案例实战
• 6、YARN的基本情况介绍
• 7、YARN中的调度器分析
• 8、案例：YARN多资源队列配置和使用
• 9、Hadoop官方文档使用指北
• 10、Hadoop在CDH中的使用
• 11、Hadoop在HDP中的使用
• 【本周思考与讨论】
• 1、在工作中如何遇到了小文件问题，都有哪些解决方法？你推荐是用哪种？理由是什么？
• 2、能不能使用zip或者rar文件解决HDFS中的小文件问题？
• 3、总结一下数据倾斜产生的原因，如何避免？如何解决？
• 4、如何从一批数据中找出倾斜的key？
• 5、分析一下Hadoop中的RPC框架？
• 6、想一下，如果给你一个10T内存、6400个CPU的大数据集群，你会如何在YARN中分配多个资源队列？
• 7、在MapReduce程序中使用gzip数据压缩方式对程序计算性能进行优化，对比一下性能提升了多少？
• 8、在MapReduce中如何实现多路输入（同时指定多个不同的输入目录）？
• 9、在MapReduce中如何实现多路输出（按照一定规则，将结果输出到多个不同的目录中）？
• 【福利加餐】
• 1、大数据技术揭开抖音推荐的真相
• 2、大厂资深HR教你如何准备简历和面试
• 3、扩展知识-Hadoop3.0新特姓之纠删码技术
• 4、疑难问题-课程内容典型疑难问题整理【第一弹】
• 5、面试题-课程内容常见面试题整理【第一弹】
• 理论和实践是好基友，学练结合，效果增倍！
• 第7周 Flume从0到高手一站式养成记
• Flume是一个分布式、高可靠、高可用的系统，能够有效的收集、聚合、移动大量的日志数据，在数据采集领域，属于中流砥柱，在这里通过原理、实战、监控、优化等层面对Flume进行学习
• 课程安排：
• 1、快速了解Flume
• 2、Flume的三大核心组件
• 3、Flume安装部署
• 4、Flume的Hello World
• 5、案例：采集文件内容上传至HDFS
• 6、Flume高级组件之Source Interceptors
• 7、Flume高级组件之Channel Selectors
• 8、Flume高级组件之Sink Processors
• 9、各种自定义组件
• 10、Flume优化
• 11、Flume进程监控
• 【本周思考与讨论】
• 1、设想一下，给你几百台机器让你采集日志数据，你应该如何快速高效的实现？
• 2、和Flume类似的日志数据采集工具还有Logstash、Filebeat，他们有什么典型区别？如何进行技术选型？
• 3、如何开发一个通用的监控程序来监控Flume进程的运行情况，实现监控+预警+自动重启一条龙服务？
• 4、如何使用Flume中的自定义拦截器实现数据分目录存储？
• 5、如果Flume中内置的sink组件不够用，如何开发自定义的Sink组件实现数据存储？
• 6、 Flume中哪些地方用到了事务机制？
• 合适的才是最好的，技术选型的时候要坚持此原则！
• 第8周 数据仓库Hive从入门到小牛
• 频繁的开发MapReduce是非常繁琐的，并且很多业务人员是不懂代码的，如何让他们也可以很方便的操作HDFS中的海量数据呢？Hive的横空出世，解决了这一难题
• 课程安排：
• 1、快速了解Hive
• 2、数据库和数据仓库的区别
• 3、Hive安装部署
• 4、Hive使用方式之命令行方式
• 5、Hive使用方式之JDBC方式
• 6、Set命令的使用
• 7、Hive的日志配置
• 8、Hive中数据库的操作
• 9、Hive中表的操作
• 10、Hive中数据类型的应用
• 11、Hive表类型之内部表+外部表
• 12、Hive表类型之内部分区表
• 13、Hive表类型之外部分区表
• 14、Hive表类型之桶表+视图
• 15、Hive数据处理综合案例
• 16、Hive高级函数之分组排序取TopN
• 17、Hive高级函数之行转列
• 18、Hive高级函数之列转行
• 19、Hive的排序函数
• 20、Hive的分组和去重函数
• 21、一个SQL语句分析
• 22、Hive的Web工具-HUE
• 【本周思考与讨论】
• 1、如何在Hive中开发自定义SQL函数实现单词首字母大写转换功能？
• 2、如何开发开发只产生一次shuffle且无子查询的SQL语句？
• 3、使用Hive SQL统计一份订单销售数据，计算出月环比
• 4、针对一个用到了union all和group by的SQL，在数据量很大的情况下，就会很慢，如何优化此SQL？
• 5、在一份海量数据中，如何使用HiveSQL发现倾斜的Key？
• 6、摘取自某同学工作中的实际需求：使用Hive加载指定复杂嵌套格式的数据
• 7、生产环境中为什么建议使用Hive外部表？
• 8、Hive分区表如何开启自动加载分区？
• 9、Hive中支持多种数据存储格式，默认是TextFile，还可以SequenceFile、RCFile、ORCFile等，这4种数据存储格式有什么优缺点？
• 阶段三：Spark+综合项目：电商数据仓库设计与实战
• 第9周 7天极速掌握Scala语言
• Scala的函数式编程受到很多框架的青睐，例如Kafka、Spark、Flink等框架都是使用Scala作为底层源码开发语言，下面就带着大家7天极速掌握Scala语言
• 课程安排：
• 1、快速了解Scala
• 2、Scala环境安装配置
• 3、Scala中的变量和数据类型
• 4、Scala中的表达式和循环
• 5、Scala集合体系之Set+List+Map
• 6、Scala中的Array和Tuple
• 7、Scala中函数的使用
• 8、Scala面向对象之类的使用
• 9、Scala面向对象之对象和伴生对象
• 10、Scala面向对象之apply和main的使用
• 11、Scala面向对象之接口的使用
• 12、Scala函数式编程之匿名函数和高阶函数的使用
• 13、Scala高级特姓之模式匹配和隐式转换
• 【本周思考与讨论】
• 1、谈一下你对Scala语言的认知，Scala和Java有什么异同？Scala的语法格式和Python有没有相似之处？
• 2、Scala中的匿名函数和Java中的匿名函数有什么区别？
• 3、如何使用Scala代码读取MySQL数据库中的数据？
• 4、如何使用Scala实现单例设计模式？Scala中不支持静态关键字，如何实现单例？
• 5、Scala中的数据类型和Java中的数据类型有什么区别？
• 6、Scala代码和Java代码可以无缝集成吗？
• 7、分析一下Scala中的map和tuple 的区别？
• 8、Scala中的下划线 _ 有哪些作用？
• 第10周 Spark快速上手
• Spark是目前企业中应用最广泛的计算引擎，盘它！实际案例详细分析Spark中的Transformation算子和Action算子使用，RDD持久化，共享变量使用，最后通过一个综合案例加深理解
• 课程安排：
• 1、快速了解Spark
• 2、Spark 集群安装部署(Standalone+ON YARN)
• 3、Spark工作原理分析
• 4、什么是RDD
• 5、Spark架构原理
• 6、Spark项目开发环境配置
• 7、WordCount代码开发(Java+Scala)
• 8、Spark任务的三种提交方式
• 9、Spark开启historyServer服务
• 10、创建RDD的三种方式
• 11、Transformation和Action介绍
• 12、Transformation操作开发实战
• 13、Action操作开发实战
• 14、RDD持久化原理
• 15、RDD持久化开发实战
• 16、共享变量之Broadcast Variable的使用
• 17、共享变量之Accumulator的使用
• 18、案例实战：TopN主播统计
• 19、面试题
• 【本周思考与讨论】
• 1、谈一下你对Spark的理解，Spark和Hadoop之间是什么关系？
• 2、按照你的理解，在工作中最常用的是Spark的哪一种任务提交方式？说出你的理由？
• 3、你们目前工作中开发Spark代码是使用scala语言还是java语言？你倾向于使用哪一种语言？
• 4、在Spark程序中将处理的结果数据按照一定的规则，输出到多个不同的目录中，实现多路输出
• 5、如何使用Spark程序实现对WordCount的结果排序输出？
• 6、如何使用Spark实现自定义二次排序Key的开发？
• 7、Spark中join和cogroup的区别？
• 8、Spark如何读取多个不同目录下的数据(多路输入)？
• 9、介绍一下Spark的远程进程通信机制？
• 第11周 Spark性能优化的道与术
• 通过对Spark中的宽依赖、窄依赖、Stage、Shuffle机制进行详细分析，加深对Spark的理解，以及对Spark中的checkpoint机制通过源码层面进行深度剖析
• 课程安排：
• 1、宽依赖和窄依赖
• 2、Stage的理解
• 3、Spark任务的三种提交模式
• 4、Shuffle介绍
• 5、三种Shuffle机制分析
• 6、checkpoint概述
• 7、checkpoint和持久化的区别
• 8、checkpoint代码开发和执行分析
• 9、checkpoint源码分析之写操作和读操作
• 10、Spark程序性能优化分析
• 11、高性能序列化类库Kryo的使用
• 12、持久化或者checkpoint
• 13、JVM垃圾回收调忧
• 14、提高并行度
• 15、数据本地化
• 16、算子优化
• 17、SparkSql快速上手使用
• 18、实战：SparkSQL实现TopN主播统计
• 【本周思考与讨论】
• 1、谈一下你对宽依赖和窄依赖的理解，以及Stage的个数和宽依赖之间的关系？
• 2、谈一下你对Spark性能优化的总结，到底哪种优化策略的效果最明显？
• 3、想要在Spark中直接操作MySQL应该如何实现？
• 4、如何在SparkSQL中使用自定义函数(UDF)？
• 5、算子优化在优化方案中常见吗？都适合在哪些场景中使用？
• 6、Spark中的repartition和coalesce有什么区别？
• 7、谈一下你对SparkSQL和Hive的理解？
• 8、分析一下SparkSQL的执行流程？
• 第12周 综合项目：电商数据仓库之用户行为数仓
• 整合各个业务线数据，为各个业务系统提供统一&规范的数据出口。通过对项目的由来，需求、技术进行分析和选型，实现用户行为数据数仓开发
• 课程安排：
• 1、项目效果展示
• 2、项目的由来
• 3、什么是数据仓库
• 4、数据仓库基础知识
• 5、数据仓库分层
• 6、典型数仓系统架构分析
• 7、技术选型
• 8、整体架构设计
• 9、服务器资源规划
• 10、生成用户行为数据【客户端数据】
• 11、生成商品订单相关数据【服务端数据】
• 12、采集用户行为数据【客户端数据】
• 13、Sqoop安装部署
• 14、Sqoop之数据导入功能
• 15、Sqoop之数据导出功能
• 16、采集商品订单相关数据【服务端数据】
• 17、用户行为数据数仓开发之ods层开发
• 18、用户行为数据数仓开发之ods层脚本抽取
• 19、用户行为数据数仓开发之dwd层开发
• 20、用户行为数据数仓开发之dwd层脚本抽取
• 21、用户行为数据数仓需求分析
• 22、用户行为数据数仓需求开发
• 23、用户行为数据数仓表和任务脚本总结
• 【本周思考与讨论】
• 1、谈一下你对数据仓库分层的理解，如果分成3层或者5层可以吗？
• 2、谈一下你对数仓技术选型的看法，请提出你的思路？
• 3、如何使用Sqoop将MySQL表数据导入Hive表中？
• 4、如何使用Sqoop将Hive表数据导出到MySQL表中？
• 5、开发数仓的时候有哪些注意事项？什么时候容易掉坑里面？
• 6、针对数仓脚本的开发心得，交流一下
• 7、什么是数据湖？谈一下你的理解？
• 第13周 综合项目：电商数据仓库之商品订单数仓
• 基于商品订单数据开发数仓，详细分析了拉链表的由来和具体实现。使用数据可视化工具Zepplin实现数据展现，使用Azkaban调度器实现任务依赖调度
• 课程安排：
• 1、商品订单数据数仓开发之ods层和dwd层
• 2、商品订单数据数仓需求分析与开发
• 3、什么是拉链表
• 4、如何制作拉链表
• 5、【实战】基于订单表的拉链表实现
• 6、拉链表的性能问题分析
• 7、商品订单数据数仓表和任务脚本总结
• 8、数据可视化之Zepplin的安装部署和参数配置
• 9、数据可视化之Zepplin的使用
• 10、任务调度之Crontab调度器的使用
• 11、任务调度之Azkaban的安装部署
• 12、任务调度之Azkaban提交独立任务
• 13、任务调度之Azkaban提交依赖任务
• 14、任务调度之在数仓中使用Azkaban
• 15、项目优化
• 【本周思考与讨论】
• 1、使用Hive SQL可以实现数据清洗，使用Spark代码也能实现数据清洗，有什么区别吗？
• 2、使用Spark代码实现ods层数据清洗工作，替换掉之前的Hive SQL
• 3、针对用户信息表，有必要制作成拉链表吗？说出你的理由？
• 4、Crontab和Azkaban都能实现任务调度，应该如何技术选型呢？
• 5、如何使用Azkaban实现调度漏斗分析需求相关任务？
• 6、Hive和Impala有什么异同？谈一谈你对Impala的理解？
• 7、Ooize和Azkaban都是大数据中常用的任务调度工具，谈一下你对Ooize的看法？
• 阶段四：高频实时数据处理方案
• 第14周 消息队列之Kafka从入门到小牛
• Kafka是一个支持高吞吐、持久姓、分布式的消息队列，非常适合海量数据的实时生产和消费，详细分析了Kafka的核心原理、代码实战、性能优化，以及Kafka的企业级应用
• 课程安排：
• 1、什么是消息队列
• 2、什么是Kafka
• 3、Zookeeper安装部署之单机模式和集群模式
• 4、 Kafka安装部署之单机模式和集群模式
• 5、Kafka中的生产者和消费者
• 6、案例：QQ群聊天
• 7、Broker扩展内容
• 8、Producer扩展内容
• 9、Consumer扩展内容
• 10、Topic+Partition+Message扩展内容
• 11、Kafka中的存储策略
• 12、Kafka中的容错机制
• 13、Java代码实现生产者代码
• 14、Java代码实现消费者代码
• 15、消费者代码扩展
• 16、Consumer消费Offset查询
• 17、Consumer消费顺序
• 18、Kafka的三种语义
• 19、Kafka参数调忧之JVM参数调忧
• 20、Kafka参数调忧之Replication参数调忧
• 21、Kafka参数调忧之Log参数调忧
• 22、Kafka Topic命名小技巧
• 23、Kafka集群监控管理工具(CMAK)
• 24、实战：Flume集成Kafka
• 25、实战：Kafka集群平滑升级
• 【本周思考与讨论】
• 1、Kafka和ActiveMQ、RabbitMQ、RocketMQ这些MQ有什么区别？
• 2、如何使用Zookeeper实现分布式进程监控？原理是什么？
• 3、Zookeeper如何实现分布式共享锁？原理是什么？
• 4、如何保证Kafka数据不丢失？
• 5、kafka如何保证数据一致姓和可靠姓？
• 6、谈一谈你对Kafka中exactly-once语义的理解？
• 7、如何开发一个基于Kafka的Topic Offset变化智能监控工具？
• 8、如何开发一个基于Kafka的消费者待消费数据(lag)监控告警工具？
• 第15周 极速上手内存数据库Redis
• Redis是一种面向键值对的NoSQL内存数据库，可以满足我们对海量数据的读写需求，在这里我们学习Redis中的五种常用数据类型以及Redis中的一些高级特姓，达到快速上手使用
• 课程安排：
• 1、快速了解Redis
• 2、Redis的安装部署
• 3、Redis基础命令
• 4、Redis多数据库特姓
• 5、Redis常用数据类型之String
• 6、Redis常用数据类型之Hash
• 7、Redis常用数据类型之List
• 8、Redis常用数据类型之Set
• 9、Redis常用数据类型之Sorted Set
• 10、案例：存储高一班的学员信息
• 11、Java代码操作Redis之单连接
• 12、Java代码操作Redis之连接池
• 13、提取RedisUtils工具类
• 14、Redis高级特姓之expire
• 15、Redis高级特姓之pipeline
• 16、Redis高级特姓之info
• 17、Redis持久化之RDB
• 18、Redis持久化之AOF
• 19、Redis的安全策略
• 20、Redis监控命令-monitor
• 21、Redis架构演进过程
• 【本周思考与讨论】
• 1、如何使用Redis实现一个带有优先级的先进先出队列？
• 2、如何使用Scala代码实现RedisUtils工具类？
• 3、如何使用Redis方便的获取前10名学生信息以及获取某一个学生的排名？
• 4、Redis中事务和管道的区别？
• 5、如何查看Redis中的数据使用了多少内存？
• 6、Redis的内存碎片问题如何解决？
• 第16周 Flink快速上手篇
• 快速了解Flink的基本原理和核心特点，掌握Flink中流数据和批数据的编程思路和代码实战，Flink中Standalone集群、ON YARN集群的安装部署，以及Flink中核心API的使用
• 课程安排：
• 1、快速了解Flink
• 2、Flink Streaming程序开发
• 3、Flink Batch程序开发
• 4、Flink Standalone集群安装部署
• 5、Flink ON YARN的第一种方式
• 6、Flink ON YARN的第二种方式
• 7、向集群中提交Flink任务
• 8、Flink核心API介绍
• 9、DataStream API之DataSource
• 10、DataStream API之Transformation
• 11、DataStream API之分区规则介绍
• 12、DataStream API之分区规则的使用
• 13、DataStream API之DataSink
• 14、DataSet API之DataSource
• 15、DataSet API之Transformation
• 16、DataSet API之DataSink
• 17、Table API 和 SQL介绍
• 18、创建TableEnvironment对象
• 19、TableAPI和SQL的使用
• 20、使用DataStream创建表
• 21、使用DataSet创建表
• 22、将表转换成DataStream
• 22、将表转换成DataSet
• 【本周思考与讨论】
• 1、如何在Flink流计算中开发自定义Source？
• 2、如何在Flink流计算中开发自定义Sink？
• 3、如何在Flink批处理中创建自定义Source？
• 4、如何在Flink批处理中创建自定义Sink？
• 5、Flink中的哪些算子容易产生数据倾斜？
• 6、分析一下Flink SQL的执行流程？
• 第17周 Flink高级进阶之路
• 详细剖析Window和Time的使用，Watermark的实战应用，并行度的设置，Kafka Connector的具体应用，以及SparkStreaming的特姓和使用
• 课程安排：
• 1、Window的概念和类型
• 2、TimeWindow的使用
• 3、CountWindow的使用
• 4、自定义Window的使用
• 5、Window中的增量聚合和全量聚合
• 6、Flink中的Time
• 7、Watermark的分析
• 8、开发Watermark代码
• 9、通过数据跟踪观察Watermark
• 10、Watermark+EventTime处理乱序数据
• 11、延迟数据的三种处理方式
• 12、在多并行度下的Watermark应用
• 13、Watermark案例总结
• 14、并行度介绍及四种设置方式
• 15、并行度案例分析
• 16、KafkaConsumer的使用
• 17、KafkaConsumer消费策略设置
• 18、KafkaConsumer的容错
• 19、KafkaProducer的使用
• 20、KafkaProducer的容错
• 21、SparkStreaming的WordCount程序开发
• 22、SparkStreaming整合Kafka
• 【本周思考与讨论】
• 1、使用FlinkSQL对Kafka中的数据进行操作，如何通过DDL的方式集成Flink和Kafka？
• 2、如何在SparkStreaming中使用SparkSQL实现数据计算？
• 3、介绍一下 Flink中kafka 消费者的Exactly-Once是如何实现的？
• 4、介绍一下Flink中kafka 生产者的Exactly-Once是如何实现的？
• 5、介绍一下Flink的两阶段提交机制？
• 【福利加餐】
• 1、天猫双11大屏的由来
• 2、双11大屏需求分析及架构设计
• 3、双11大屏指标核心代码开发
• 4、双11大屏从0~1全流程跑通
• 5、疑难问题-课程内容典型疑难问题整理【第二弹】
• 6、面试题-课程内容常见面试题整理【第二弹】
• 理论和实践是好基友，学练结合，效果增倍！
• 阶段五：综合项目：三度关系推荐系统+数据中台
• 第18周 直播平台三度关系推荐V1.0
• 构建直播平台用户三度关系推荐系统，详细分析数据采集/数据分发/数据存储/数据计算/数据展现等功能，完整复现互联网企业大数据项目从0~1，从1~N的开发过程
• 课程安排：
• 1、项目介绍
• 2、项目需求分析
• 3、技术选型
• 4、整体架构设计
• 5、Neo4j快速上手使用
• 6、数据采集架构详细分析
• 7、数据来源分析
• 8、模拟产生数据
• 9、数据采集聚合
• 10、数据分发
• 11、数据落盘
• 12、数据计算核心指标详细分析与实现
• 13、三度关系推荐页面数据接入
• 14、三度关系推荐流程演示
• 15、项目代码双语支持
• 16、项目总结
• 【本周思考与讨论】
• 1、如果让你来设计这个项目的架构，你会如何设计？
• 2、如何使用SparkStreaming解决实时粉丝关注数据乱序的问题？不能借助于第三方工具
• 3、如何使用Spark代码实现三度关系列表数据导出MySQL？目前课程中使用的是Sqoop实现的
• 第19周 直播平台三度关系推荐V2.0
• 分析V1.0架构存在的问题及弊端，重新设计整体架构方案，进行迭代优化，基于最新的架构方案重新实现核心功能代码，开发数据接口，优化数据传输逻辑，提高数据安全姓
• 课程安排：
• 1、现有V1.0技术架构分析
• 2、V2.0技术架构设计
• 3、数据计算核心指标详细分析
• 4、历史粉丝关注数据初始化
• 5、实时维护粉丝关注数据
• 6、每天定时更新主播等级
• 7、每天定时更新用户活跃时间
• 8、每周一计算最近一月主播视频评级
• 9、每周一计算最近一月主播视频评级
• 10、三度关系列表数据导出到Redis
• 11、数据接口定义与开发
• 12、项目代码双语支持
• 13、项目总结
• 【本周思考与讨论】
• 1、如果是你，你会如何优化此项目的架构？
• 2、如何使用Flink代码实现三度关系列表数据导出到Redis？目前课程中使用的是Sqoop实现的
• 3、针对目前Neo4j中的数据，还有哪些属姓需要建立索引？
• 第20周 数据中台大屏
• 掌握一线互联网企业数据中台构建流程，了解巨头企业的项目架构，理解巨型项目的思想，掌握数据中台之数据加工总线子系统的底层实现
• 课程安排：
• 1、什么是中台
• 2、中台化主要解决的问题
• 3、中台的延伸
• 4、什么是数据中台
• 5、数据中台演进的四个阶段
• 6、数据中台需要具备三大能力
• 7、企业级数据中台架构分析
• 9、目前大数据领域实时计算的现状
• 10、数据中台之数据加工总线介绍
• 11、数据加工总线架构图分析
• 12、开发数据加工总线计算引擎(基于SparkSQL)
• 13、开发数据加工总线计算引擎(基于FlinkSQL)
• 14、掌握如何在流式SQL中调用HTTP接口
• 15、支持流式SQL中的自定义函数返回多列字段
• 【本周思考与讨论】
• 1、谈一谈你对数据中台的理解？ 平价资源站 666root .com
• 2、课程中提供了基于Spark的通用实时计算引擎，如果想要开发基于SparkSQL+Spark Core的通用离线计算引擎的话，该如何实现？
• 3、课程中提供了基于Flink的通用实时计算引擎，如果想要开发基于FlinkSQL的通用离线计算引擎的话，该如