数据仓库分层
第三阶段 Spark生态-
主题 主要内容
Scala基础 Scala环境部署
编码规范
var和val的区别
数据类型
表达式
循环
定义方法和函数
数组(Array)
映射(Map)
元组(Tuple)
列表(List)
Set
集合的重要函数
类、特质、抽象类、对象、继承
模式匹配和样例类
高阶函数
隐式转换和隐示参数
泛型
Netty的概念
Spark Core Spark简介
Spark运行模式
SparkShell
RDD的概念详解
Transformation算子
Action算子
DAG有向无环图
RDD任务的切分
Lineage(血统)
Checkpoint检查点机制
Spark集群启动流程和任务提交流程
自定义排序
自定义分区
Accumulator累加器
Broadcast广播变量
Shuffle原理剖析与源码分析
SparkSubmit执行流程
集群启动流程详解
SparkContext执行流程
Task提交流程详解
Stage划分过程详解
Spark内核源码 Spark启动脚本解析
Spark提交流程解析
应用提交和Driver进程
SparkContext解析
Spark executor解析
Spark的部署模式
Spark的shuffle流程
Spark的内存管理
Spark SQL SparkSQL介绍
SparkSQL的操作方式
SparkSQL的数据抽象
Spark-shell基本操作
数据转换(RDD,DataFrame,DataSet)
数据操作方法(DSL和SQL)
SparkSQL自定义函数(UDF,UDAF,开窗函数)
Spark集成Hive(内置Hive和外置Hive)
Kafka消息队列 Kafka的组件介绍
Kafka集群部署
Kafka文件存储机制
topic中partitioner的分布
Kafka分区中的Segment
Kafka分区和消费者的关系
kafka日志合并
kafka的生产者案例
Kafka的消费者案例
Kafka自定义分区器
Kafka消费者组
Zookeeper如何管理Kafka
Redis Redis的应用场景
Redis安装部署
Redis数据类型的cli和api操作
Redis的数据类型和操作案例
Redis主从复制
Redis集群部署
Redis的连接池
Redis中的雪崩、穿透和击穿问题
Spark Streaming Spark Streaming的原理介绍
DStream的概念
DStream原语类型介绍
DStream的Transformation(转换)、Output(输出)
窗口操作案例实现
Spark Streaming结合Kafka案例实现
背压和反压机制
如何保证数据的一致性
Structured Streaming实战
Spark Mllib Spark MLlib简介
Spark MLlib组件介绍
Word2Vec
TF-IDF
ALS
GBDT
LR
MinMaxScaler
OneHotEncoder
Elasticsearch Elasticsearch的相关概念
Elasticsearch及插件安装部署
Index的概念
Document的概念
Mapping映射的概念
Elasticsearch的数据类型
Elasticsearch的聚合操作
索引rest和api相关操作
Elasticsearch的SQL操作
Elasticsearch过滤器
IK分词器集成Elasticsearch
查询文档分页操作
Kibana插件操作
ClickHouse ClickHouse概念
ClickHouse安装部署
客户端连接和JDBC方式访问ClickHouse
数据类型
ClickHouse的ddl和dml操作
ClickHouse表引擎
ClickHouse优化
第四阶段 Flink生态-
主题 主要内容
Flink基础 Flink部署模式
Flink Streaming DataStream API介绍
Flink Streaming DataSource、Transformations、Sink详解
Flink的connector
Flink的自定义输入输出
Flink中两阶段提交
Flink中的操作链
Flink DataSet的DataSource、Transformations、Sink详解
Flink Table API和SQL应用
Blink Table的操作
Sql与hive的整合
Flink的序列化
Flink的广播变量
Flink的累加器
Flink的分布式缓存
Flink的状态管理和恢复
Flink的CheckPoint
Flink失败重启
Flink中Time
Flink窗口
EventTime与Watermarks
Flink的CEP
Flink的新特性
Flink的优化
