课程介绍

本课程基于ClickHouse最新稳定版本进行讲解，着重讲解ClickHouse大数据技术理论与实战。课程全面包含ClickHouse核心理论、分布式集群部署、架构设计、数据实时查询、MergeTree表引擎底层设计、副本与分片读写原理、外部系统集成开发以及ClickHouse全流程大数据项目实战等内容，让大家从基础到实战快速掌握ClickHouse大数据分析技术

• 1.3分理论、7分实战
• 2.立足ClickHouse，围绕ClickHouse生态进行讲解
• 3.弱化ppt，强调实战操作
• 4.注重课程的连贯姓，与实际项目相结合

课程目录

• 大讲台大数据实时分析利器：ClickHouse实战>
• <第一章：ClickHouse概述>
• 01核心术语-OLTP
• 02核心术语-数据仓库
• 03核心术语-BI
• 04核心术语-OLAP
• 05核心术语-立方体
• 06介绍及特点
• 07前世今生
• 08应用场景
• 09谁在使用
• 10高性能对比
• <第二章：ClickHouse单节点安装部署>
• 11系统规划
• 12系统环境要求
• 13安装方式
• 14下载安装文件
• 15关闭防火墙
• 16设置FQDN
• 17解压安装
• 18核心目录讲解
• 19额外配置文件讲解
• 20修改配置文件
• 21服务启动与关闭
• 22访问测试
• 23点击和访问数据下载
• 24创建数据库与表
• 25海量数据导入与优化
• 26数据实时查询
• <第三章：架构设计>
• 27核心特姓-MPP架构
• 28核心特姓-完备的DBMS功能
• 29核心特姓-列式存储
• 30核心特姓-向量化执行引擎
• 31核心特姓-支持SQL查询
• 32核心特姓-支持多种表引擎
• 33核心特姓-支持多线程和分布式
• 34核心特姓-多主架构优势
• 35核心特姓-支持实时查询
• 36核心特姓-支持分布式查询
• 37架构设计与原理
• 38高性能秘诀-硬件才是硬道理
• 39高性能秘诀-算法是重中之重
• 40高性能秘诀-具体问题具体分析
• <第四章：ClickHouse数据分析查询实操>
• 41创建数据库
• 42创建数据表
• 43数据下载与导入
• 44ClickHouse分析查询最受欢迎城市
• 45ClickHouse分析查询最爱旅行的城市
• 46ClickHouse分析查询到达目的地最多的出发城市
• 47ClickHouse分析查询周内各天航班延误率
• 48ClickHouse分析查询每年航班延误率
• 49ClickHouse分析查询各家航空公司航班延误率
• 50ClickHouse分析查询停止航班运营的航空公司
• <第五章：MergeTree底层原理分析>
• 51MergeTree表引擎语法结构
• 52MergeTree数据物理存储结构
• 53MergeTree分区规则与命名规则
• 54MergeTree分区目录合并详细过程
• 55MergeTree稀松索引及生成规则
• 56MergeTree一级索引查询过程
• 57MergeTree二级索引
• 58MergeTree按列存储
• 59MergeTree压缩数据块
• 60MergeTree数据标记生成规则
• 61MergeTree数据标记工作方式
• 62MergeTree一级索引VS数据标记VS压缩数据块
• 63MergeTree数据写入过程
• 64MergeTree数据查询过程
• <第六章：多节点Linux系统与网络配置>
• 65-10配置主机名与IP映射
• 65-11关闭Linux防火墙
• 65-12创建用户和用户组
• 65-13配置ssh免密登录
• 65-14克隆并配置Linux虚拟机
• 65-15配置集群hosts
• 65-16部署时钟同步服务器
• 65-17集群ssh免密登录配置
• 65-18集群部署脚本使用
• 65-1VMware虚拟机安装
• 65-2Linux系统介绍
• 65-3.Linux系统安装1
• 65-4.Linux系统安装2
• 65-5.Linux网络配置
• 65-6.配置静态IP
• 65-7.x-shell工具使用
• 65-8FileZilla工具使用
• 65-9修改Linux主机名
• <第七章：ClickHouse分布式集群安装部署>
• 65ClickHouse集群通信依赖Zookeeper
• 66-1Zookeeper安装前规划
• 66-2JDK安装配置
• 66-3Zookeeper分布式集群构建
• 66其他ClickHouse节点实例准备
• 67ClickHouse集群文件配置
• 68ClickHouse集群服务启动
• 69ClickHouse访问Zookeeper
• <第八章：ClickHouse副本与分片使用及读写原理>
• 70ClickHouse副本与分片的逻辑和物理关系
• 71ClickHouse副本同步原理及实操
• 72分布式DDL实操及执行流程分析
• 73分布式表引擎实操
• 74分布式表引擎分片写入流程分析
• 75通过Distributed复制数据原理及实操
• 76通过ReplicatedMergeTree复制数据原理及实操
• 77分布式查询原理及实操
• <第九章：ClickHouse与Kafka集成开发>
• 78-1Kafka概述
• 78-2系统架构
• 78-3Kafka拓扑结构
• 78-4Kafka集群配置
• 78-5Kafka集群服务启动与测试
• 78-6Kafka 新api数据发送与消费
• 78-7Kafka旧api数据发送与消费
• 78-8kafka表引擎介绍
• 79Kafka架构原理
• 80ClickHouse读Kafka数据流程
• 81ClickHouse写Kafka数据流程
• 82ClickHouse读Kafka案例实现
• 83ClickHouse写Kafka案例实现
• <第十章：ClickHouse与MySQL集成开发>
• 84MySQL表引擎介绍
• 85MySQL安装与启动1
• 86MySQL安装与启动2
• 87ClickHouse读MySQL案例实现
• <第十一章：Spark与ClickHouse集成开发>
• 88-1Spark概述
• 88-2Spark Streaming概述
• 88-3Spark Streaming运行原理
• 88-4Spark Streaming 编程套路
• 88-5引入Spark和ClickHouse相关依赖
• 89Spark与ClickHouse集成开发1
• 90Spark与ClickHouse集成开发2
• 91ClickHouse集群启动及表创建
• 92Spark Streaming消费Kafka写入ClickHouse
• <第十二章：Flink与ClickHouse集成开发>
• 93-1Flink介绍
• 93-2Flink架构
• 93-3Flink项目开发工具、开发语言以及依赖
• 93-4命令行快速构建Flink项目
• 93-5Flink流处理案例实现-Java
• 93-6Flink项目通过maven打包
• 93-7引入Flink及ClickHouse相关依赖
• 94Flink与ClickHouse集成开发
• 95自定义Flink Sink写入ClickHouse
• 96创建ClickHouse分布式表和本地表
• 97Flink与ClickHouse集成测试
• <资料>
• ClickHouse大数据分析与实战.ppt
• <安装包>
• clickhouse-client-20.2.1.2183.tgz
• clickhouse-common-static-20.2.1.2183.tgz
• clickhouse-common-static-dbg-20.2.1.2183.tgz
• clickhouse-server-20.2.1.2183.tgz
• <数据集>
• hits_v1.tsv.xz
• hits_v1.txt
• visits_v1.tsv.xz
• visits_v1.txt