电子书 Flink原理与实战(java版)专栏文章入口:电子书 Flink原理与实战(java版)- 目录结构
本章分为如下几篇:
Flink原理与实战(java版)#第11章Flink的应用(第一节Flink的CDC)
Flink原理与实战(java版)#第11章Flink的应用(第二节通过Flink CDC将MySQL的user表数据同步至Elasticsearch表(一))
Flink原理与实战(java版)#第11章Flink的应用(第二节通过Flink CDC将MySQL的user表数据同步至Elasticsearch表(二))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(一))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(二))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(三))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(四))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(五))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(六))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(七))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(八))
Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(九))
Flink原理与实战(java版)#第11章Flink的应用(整章)
文章目录
- 第11章Flink的应用
-
- 11.1 Flink的CDC
-
- 11.1.1 CDC Connectors介绍及架构图
- 11.1.2 支持的连接
- 11.1.3 Flink CDC与 Flink 版本关系
- 11.1.4 特性介绍
- 11.1.5 Flink SQL Client集成Flink CDC
- 11.1.6 Flink DataStream API集成Flink CDC
- 11.2 通过Flink CDC将MySQL的user表数据同步至Elasticsearch表
-
- 11.2.1 整体架构
- 11.2.2 环境准备
- 11.2.3 创建 docker-compose.yml
- 11.2.4 部署及启动Flink
- 11.2.5 准备MySQL数据
- 11.2.6 在Flink SQL Cli中的操作
- 11.2.7 Elasticsearch中查看同步的数据情况
- 11.2.8 操作演示
- 11.2.9 环境清理
- 11.3 Table & SQL 连接器之Hive
-
- 11.3.1 Table & SQL 连接器之Hive
- 11.3.2 使用Hive 方言
- 11.3.3 Hive Catalog
- 11.3.4 Hive的读写
- 11.4 本章小结
第11章Flink的应用
11.1 Flink的CDC
11.1.1 CDC Connectors介绍及架构图
使用CDC相关技术的前提是需要配置数据源的可捕获信息,比如MySQL需要配置binlog,通过binlog记录数据的变化情况。
本节介绍的Flink CDC Connector是基于2.4版本,当前版本已经发布至3.0,本书介绍的Flink是基于1.17版本,同时CDC 2.4版本支持到1.17版本,所以就以Flink CDC Connector 2.4版本进行介绍。
Apache Flink®的CDC连接器是用于Apache Flnk®的一组源连接器,使用更改数据捕获(CDC)接收来自不同数据库的更改。Apache Flink®的CDC连接器将Debezium集成为捕获数据更改的引擎。因此,它可以充分利用Debezium的能力。 
图11-1 Flink CDC Connectors架构图
11.1.2 支持的连接
表11-1 Flink CDC支持的连接


