课程介绍

一个高端IT人才在线实训平台，混合式自适应IT职业教育开创者，专注于面向在职人士和大学生提供专业、系统的大数据、数据分析、人工智能等热门IT技术的高端培训

大讲台-John老师 大数据教学总监/架构师

《大数据技术基础与应用》首席作者。曾在北京某广电数据咨询公司担任大数据高级架构师。Hadoop源码级技术大咖，熟练使用Hadoop、Hive、HBase、Flume、Kafka、Spark、Flink等各大主流组件

课程目录

• 亿级用户行为之大数据实时分析
• 01.视频
• 01.第一章：项目需求分析与架构设计
• 0.Spark开发工程师课程介绍-
• 1.项目业务介绍-
• 2.技术选型与架构设计-
• 3.项目架构的过去与现在-
• 4.手机客户端到服务端通信过程与质量监控-
• 02.第二章：大数据采集集群设计与要求
• 5.数据采集设计与要求-
• 6.日志采集拓扑结构-数据高峰处理-
• 03.第三章：大数据测试集群与线上集群资源规划
• 7.集群资源规划部署-
• 04.第四章：华为手机客户端数据上报服务端【实战】
• 10.手机客户端上报数据到服端-测试1-
• 10.手机客户端上报数据到服端-测试2-
• 11.手机客户端上报敏感数据真实流程-
• 8.手机客户端数据上报应用开发-
• 9.手机客户端上报数据到服端-本地测试-
• 05.第五章：Flume高可用集群采集华为手机业务数据【实战】
• 12Flume最简数据采集-
• 13.Flume TailDirSource断点续传-
• 14.Flume TailDirSource源码解读-
• 15.Flume TailDirSource源码bug修改-
• 16.Flume TailDirSource 文件回滚验证bug修改-
• 17.Flume高可用分布式集群构建-
• 18.Flume集群接入手机客户端上报数据-
• 06.第六章：Kafka分布式集群实现华为手机数据交换【实战】
• 19.Kafka集群可用姓测试-
• 20.Flume与Kafka整合-
• 21.Kafka数据分区优化理论支撑-
• 22.Kafka分区优化源码开发-
• 23.Flume与Kafka分区优化-
• 07.第七章：HBase分布式数据库建模【实战】
• 24.HBase数据库建模-
• 08.第八章：Spark Streaming实时项目工程开发【实战】
• 25.相关集群参数集中管理-
• 26.生产环境中优雅停止Spark Streaming作业-
• 27.从HBase获取Kafka offsei消费起始位置-
• 28.Spark Streaming消费kafka数据-
• 29.获取当前DStream每个批次 offset-
• 30.对数据做ETL-
• 31.华为手机业务统计分析-
• 32.业务数据入库HBase-
• 33.使用HBase维护kafka offset-
• 34.项目中kryo序列化使用-
• 35.Kafka分区限流-
• 36.HBase计数器使用-
• 09.第九章：项目工程本地测试与线上部署【实战】
• 37手机应用业务建表-
• 38.项目本地测试jar包冲突解-
• 39.项目本地测试跑通-
• 40.项目打包上传至服务器-
• 41.Spark ON YARN安装部署-
• 42.YARN生产环境调度器配置使用-
• 43.项目运行脚本开发及下线 线上配置与转换-
• 44.Spark华为手机作业提交YARN-
• 45Spark Streaming结合业务执行代码讲解-
• 10.第十章：web用户行为可视化项目接口开发【实战】
• 46用户行为接口web项目整体介绍-
• 47用户行为接口开发与查询-
• 48用户行为接口开发总结-
• 49项目总结-
• 02.资料
• 【高阶项目】亿级用户行为之大数据实时分析