课程介绍

大数据+人工智能量化投资课程是一门适合小白入门的课程，通过量化投资项目作为驱动，让你精通各大互联网公司常用的技术，例如：Hadoop、HBase、Spark、Flink等技术，同时量化投资项目运用了机器学习和深度学习的各种算法，通过通俗简单的生活事例讲明白让大家望而却步的算法,全程绝不demo式的敷衍了事

课程目录

• 01hadoop-大数据启蒙-初识HDFS
• 02hadoop-HDFS理论基础读写流程
• 03hadoop-HDFS集群搭建-伪分布式模式
• 04hadoop-HDFS集群搭建-HA模式概念
• 05hadoop-HDFS集群搭建-HA模式验证
• 06hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS
• 07hadoop-MapReduce原理精讲、轻松入门
• 08hadoop-MapReduce调度原理，Yarn原理
• 09hadoop-MapReduce-Yarn集群搭建、idea开发MR的WC程序
• 10hadoop-MapReduce作业提交方式、源码-客户端提交源码
• 11hadoop-MapReduce源码-MapTask-input源码精讲
• 12hadoop-MapReduce源码-MapTask-output和ReduceTask精讲
• 13hadoop-MapReduce开发-分组取TopN-API精炼
• 14hadoop-MapReduce开发-推荐系统-大数据思维模式
• 15Hive的架构介绍及远程数据库模式安装
• 16Hive的远程元数据服务模式安装及Hive SQL
• 17Hive Serde、HiveServer2、Hive函数
• 18Hive参数设置、运行方式、动态分区、分桶
• 19Hive视图、索引、权限管理
• 20Hive优化、文件类型、HiveServer2高可用
• 21HBase架构介绍、数据模型
• 22HBase伪分布式及完全分布式安装、HBase 基本命令
• 23HBase Java API、Protocol Buffer简单介绍
• 24HBase与MapReduce整合、Hbase表设计
• 25Hbase优化及LSM树
• 26Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图
• 27Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍
• 28Hadoop项目-Flume讲解及数据清洗模块准备工作
• 29Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路
• 30Hadoop项目-手敲用户新增指标模块代码
• 31Hadoop项目-MR输出数据到mysql的输出格式化类、sqoop的简单介绍
• 32Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写
• 33redis 介绍及NIO原理介绍
• 34redis的string类型&bitmap
• 35redis的list、set、hash、sorted_set、skiplist
• 36redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
• 37redis的持久化RDB、fork、copyonwrite、AOF、RDB&AOF混合使用
• 38redis的集群：主从复制、CAP、PAXOS、cluster分片集群01
• 39redis的集群：主从复制、CAP、PAXOS、cluster分片集群02
• 40redis开发：spring.data.redis、连接、序列化、high/low api
• 41zookeeper介绍、安装、shell cli 使用，基本概念验证
• 42zookeeper原理知识，paxos、zab、角色功能、API开发基础
• 43zookeeper案例：分布式配置注册发现、分布式锁、ractive模式编程
• 44scala语言、函数式编程、数据集处理、iterator设计模式实现
• 45scala语言、流程控制、高级函数
• 46scala语言、集合容器、iterator设计模式源码分析
• 47scala语言、match、case class、implicitt、spark wordcount
• 48spark-core、复习hadoop生态、梳理术语、hadoopRDD 源码分析
• 49spark-core、wordcount案例源码分析、图解
• 50spark-core、集合操作API、pvuv分析、RDD源码分析
• 51spark-core、聚合计算API、combineByKey、分区调优
• 52spark-core、二次排序、分组取TopN、算子综合应用
• 53spark-core、集群框架图解、角色功能介绍、官网学习 、搭建
• 54spark-core、history服务、standaloneHA、资源调度参数
• 55spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars
• 56spark-core-源码、RpcEnv、standaloneMaster启动分析
• 57spark-core-源码、Worker启动、sparksubmit提交、Driver启动
• 58spark-core-源码、Application注册、Executor资源申请
• 59spark-core-源码、sparkContext、DAGScheduler、stage划分
• 60spark-core-源码、TaskScheduler、Executor运行Task、SparkEnv
• 61spark-core-源码、MemoryManager、BlockManager
• 62spark-core-源码、Dependency、SortShuffleManager
• 63spark-core-源码、SortShuffleWriter、内存缓冲区buffer
• 64spark-core-源码、SortShuffleWriter、内存缓冲区buffer
• 65spark-core-源码、UnsafeShuffleWriter、Tungsten、Unsafe、堆外
• 66spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度
• 67spark-core-源码、RDD持久化、检查点、广播变量、累加器
• 68spark-core-源码、RDD持久化、检查点、广播变量、累加器
• 69spark-sql、大数据中的SQL组成原理
• 70spark-sql、datafram到dataset开发
• 71spark-sql、整合hive的metastore搭建企业级数仓1
• 72spark-sql、整合hive的metastore搭建企业级数仓2
• 73spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP
• 74spark-sql-源码、sql解析、dataset到rdd的执行计划
• 75spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换
• 76spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD
• 77spark-streaming、流式计算之微批计算原理及standalone
• 78spark-streaming、api、ha、检查点、窗口等机制
• 79spark-streaming、整合MQ-kafka开发
• 80spark-streaming、源码分析、流式微批任务的调度原理
• 81spark-streaming
• 82机器学习介绍、原理及应用场景
• 83线性回归算法的原理及参数优化方案
• 84基于Spark MLlib训练回归算法模型
• 85逻辑回归算法的原理及算法公式推导
• 86KNN识别手写数字与KMeans聚类算法原理
• 87KNN手写数字识别及KMeans算法原理
• 88手写KMeans聚类算法及实现精准微博营销案例
• 89分析KMeans精准营销案例代码及KMeans在推荐系统的应用
• 90逻辑回归算法原理及公式推导
• 91逻辑回归算法原理及公式推导
• 92逻辑回归算法及实现百度路况预测功能
• 93百度地图实时路况及路况预测
• 94决策树算法的原理
• 95随机森林算法与算法总结
• 96推荐系统的来龙去脉与推荐架构
• 97推荐系统架构设计及构建推荐系统训练集
• 98推荐系统代码实现及测试
• 99实现推荐系统在线推荐微服务
• 100基于节目的推荐系统，架构剖析，数据迁移
• 101提取节目的关键词，构建节目画像
• 102基于TextRank算法+TF-IDF算法提取关键词
• 103构建节目画像与用户画像
• 104构建用户画像及性能调优
• 105基于节目画像计算节目的相似度
• 106Spark调优总结及word2vec算法原理
• 107基于物品画像计算相似度
• 108实现基于模型的召回策略
• 109构建特征中心及模型召回实现
• 110本节无内容，请忽略
• 111训练排序模型及搭建推荐系统微服务
• 112推荐系统项目-大总结
• 113Flink初始及搭建集群环境
• 114Flink基于Yarn多种启动方式
• 115Flink运行架构及并行度设置
• 116Flink各种算子精讲1
• 117Flink各种算子精讲2
• 118Flink各种算子精讲3
• 119基本函数类及富函数的使用
• 120Elasticsearch核心概念
• 121ES环境安装、健康值检查以及CRUD
• 122ES环境安装、健康值检查以及CRUD
• 123Flink Checkpoint及SavePoint精讲
• 124Flik Window窗口剖析1
• 125上机实战演练：ES查询语法
• 126Flink Window剖析2
• 127Mapping和聚合查询
• 128Flin时间语义+Watermar
• 129Flink Window剖析3
• 130ES查询之底层原理揭秘
• 131ES查询之Scripting查询
• 132Flink Table API 编程
• 133ES查询之分词器详解
• 134Flink SQL编程
• 135Flink 复杂事件处理CEP
• 136ES查询之前缀搜索、通配符搜索、正则搜索、模糊查询串讲
• 137CEP编程和Flink优化
• 138交通实时监控项目1
• 139ES Java API
• 140交通实时监控项目2
• 141ES
• 142本节无内容，后续讲解
• 143交通实时监控项目3
• 144交通实时监控项目4
• 145ELK Stack-ES集群
• 146ELK Stack-ES集群
• 147交通实时监控项目5
• 148ELK-Beats&Logstash介绍
• 149ELK-Lostash架构实战
• 150交通实时监控项目6
• 151ELK-收集Nginx日志，syslog，kibana讲解
• 152交通实时监控项目7
• 153ELK-使用Packetbeat监控es集群
• 154ES进阶-relevance score原理及排序算法优化
• 155ES进阶-Nested、Join及Term vector详解
• 156ES进阶-Highlight及Suggest搜索推荐详解
• 157ES进阶-深入探秘基于地理位置搜索
• 158ES进阶-案例分析：基于地理位置搜索的疫情地图
• 159ES进阶-深入聚合分析-多metric以及histogram剖析
• 160ES进阶-深入聚合搜索-完结
• 161ES进阶-运维篇之集群管理
• 162ES进阶-运维篇之集群管理2以及hdfs安装
• 163ES进阶-基于snapshot hdfs restore数据备份还原
• 164ES进阶-索引管理-1
• 165ES进阶-索引管理-2
• 166ES进阶-集群安全
• 167项目实战-搜索引擎框架原理
• 168项目实战-搜索推荐项目案例
• 169数据仓库之数据库范式与ER实体关系模型建模
• 170数据仓库之维度建模与数据仓库分析模型
• 171数据仓库之数据仓库分层设计与命名规范
• 172音乐数仓平台之项目架构及数仓分层、主题设计
• 173数仓之歌曲影响力指数分析
• 174数仓之歌手影响力指数分析
• 175数仓之Sqoop全量增量数据导入
• 176数仓之Azkaban任务流调度使用及原理
• 177数仓之Superset BI可视化工具使用及原理
• 178数仓之机器详情ODS/EDS/DM分层设计
• 179数仓之机器详情自动化调度及数据可视化
• 180数仓之用户画像表模型设计
• 181数仓之用户画像自动化调度及数据可视化
• 182数仓之高德api获取机器上报位置
• 183数仓之商户、地区营收统计分析
• 184数仓之营收分析自动化调度及数据可视化
• 185数仓之实时用户、机器日志采集接口实现
• 186数仓之Flume实时日志采集实现
• 187数仓之实时用户地区日活分析
• 188Cloudera Manager CDH 平台 01
• 189Cloudera Manager CDH 平台 02
• 190Cloudera Manager CDH 平台 03
• 191Apache Kylin分析性数据仓库 01
• 192Apache Kylin分析性数据仓库 02
• 193Apache Kylin分析性数据仓库 03
• 194ClickHouse 使用场景、特性与分布式搭建
• 195ClickHouse 数据类型详解
• 196ClickHouse 数据库引擎分类及操作
• 197ClickHouse 表引擎分类及MergeTree引擎详解
• 198ClickHouse 视图与SQL语法操作
• 199Kudu分布式存储引擎架构原理及搭建
• 200Kudu API操作及与其他框架整合
• 201Kudu 与Impala整合
• 202Spark操作Kudu & Flink操作Kudu
• 203NiFi数据处理分发系统-特性、架构原理与集群搭建
• 204NiFi数据处理分发系统-Processors介绍及页面操作
• 205NiFi数据处理分发系统-实时同步日志、MySQL数据到Hive
• 206NiFi数据处理分发系统-实时监控日志数据写入Kafka及消费Kafka
• 207NiFi 案例分析
• 208NiFi 案例分析2
• 209数据治理-数据质量管理
• 210数据治理-元数据管理
• 211数据治理-数据安全管理
• 212ETL工具Kettle-安装及基本操作
• 213ETL工具Kettle-转换核心/作业对象
• 214ETL工具Kettle-案例分析
• 215ETL工具Kettle-案例分析02
• 216ETL工具Kettle-案例分析03
• 217数据离线同步工具DataX
• 218数据同步工具Canal&Maxwell
• 219Phoenix-搭建及基本操作
• 220Phoenix-二级索引及JDBC连接
• 221实时数仓项目-实时数仓架构演变及建设思路
• 222实时数仓项目-各大公司实时数仓实践分享及项目介绍
• 223实时数仓项目-实时数仓项目业务数据及日志数据处理
• 224实时数仓项目-实时数仓业务库数据Flink编程处理
• 225实时数仓项目-实时数仓维度数据Flink编程处理
• 226实时数仓项目-实时数仓实时统计歌曲和歌手热度
• 227实时数仓项目-Flink代码DM层处理及可视化展示
• 228实时数仓项目-guava包冲突解决及用户上报位置实时统计
• 229实时数仓项目-用户实时登录信息可视化及营收信息业务分析
• 230实时数仓项目-营收业务Flink代码实现及可视化展示
• 231实时数仓项目-实时数仓项目总结
• 232Hudi表类型与查询类型
• 233Hudi与Spark、Hive、Flink集成
• 234Apache Druid实时分析型数据库
• 235项目轮播-数据仓库之数据库范式与ER实体关系模型建模
• 236项目轮播-数据仓库之维度建模与数据仓库分析模型
• 237项目轮播-数据仓库之数据仓库分层设计与命名规范
• 238项目轮播-音乐数仓平台之项目架构及数仓分层、主题设计
• 239项目轮播-数仓平台业务之歌曲影响力指数分析
• P8千亿流量实战之架构与大数据的融合，影响（一）
• 02P8千亿流量实战之架构与大数据的融合，影响（二）
• 03P8千亿流量实战之从架构到企业级数仓（一）
• 04P8千亿流量实战之从架构到企业级数仓（二）
• 05P8千亿流量实战之从架构到实时计算到ServerLess（一）
• 06P8千亿流量实战之从架构到实时计算到ServerLess（二）
• 07P8千亿流量实战之搜索服务与大数据与推荐系统（一）
• 08P8千亿流量实战之搜索服务与大数据与推荐系统（二）
• 09P8千亿流量实战之实时计算与架构微服务治理整合（一）
• 10P8千亿流量实战之实时计算与架构微服务治理整合（二
• 11P8千亿流量实战之大数据赋能架构风控，决策能力（一
• 12P8千亿流量实战之大数据赋能架构风控，决策能力（二）
• 13P8千亿流量实战之异地多活架构设计与决策（一）
• 14P8千亿流量实战之异地多活架构设计与决策（二）
• 15P8千亿流量实战之企业级数据中台产品设计与决策（一
• 16P8千亿流量实战之企业级数据中台产品设计与决策（二）