欢迎光临
我们一直在努力

Flink原理与实战(java版)#第11章Flink的应用(整章)

电子书 Flink原理与实战(java版)专栏文章入口:电子书 Flink原理与实战(java版)- 目录结构


本章分为如下几篇:

Flink原理与实战(java版)#第11章Flink的应用(第一节Flink的CDC)

Flink原理与实战(java版)#第11章Flink的应用(第二节通过Flink CDC将MySQL的user表数据同步至Elasticsearch表(一))

Flink原理与实战(java版)#第11章Flink的应用(第二节通过Flink CDC将MySQL的user表数据同步至Elasticsearch表(二))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(一))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(二))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(三))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(四))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(五))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(六))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(七))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(八))

Flink原理与实战(java版)#第11章Flink的应用(第三节Table & SQL 连接器之Hive(九))

Flink原理与实战(java版)#第11章Flink的应用(整章)


文章目录

  • 第11章Flink的应用
    • 11.1 Flink的CDC
      • 11.1.1 CDC Connectors介绍及架构图
      • 11.1.2 支持的连接
      • 11.1.3 Flink CDC与 Flink 版本关系
      • 11.1.4 特性介绍
      • 11.1.5 Flink SQL Client集成Flink CDC
      • 11.1.6 Flink DataStream API集成Flink CDC
    • 11.2 通过Flink CDC将MySQL的user表数据同步至Elasticsearch表
      • 11.2.1 整体架构
      • 11.2.2 环境准备
      • 11.2.3 创建 docker-compose.yml
      • 11.2.4 部署及启动Flink
      • 11.2.5 准备MySQL数据
      • 11.2.6 在Flink SQL Cli中的操作
      • 11.2.7 Elasticsearch中查看同步的数据情况
      • 11.2.8 操作演示
      • 11.2.9 环境清理
    • 11.3 Table & SQL 连接器之Hive
      • 11.3.1 Table & SQL 连接器之Hive
      • 11.3.2 使用Hive 方言
      • 11.3.3 Hive Catalog
      • 11.3.4 Hive的读写
    • 11.4 本章小结

第11章Flink的应用

11.1 Flink的CDC

11.1.1 CDC Connectors介绍及架构图

使用CDC相关技术的前提是需要配置数据源的可捕获信息,比如MySQL需要配置binlog,通过binlog记录数据的变化情况。

本节介绍的Flink CDC Connector是基于2.4版本,当前版本已经发布至3.0,本书介绍的Flink是基于1.17版本,同时CDC 2.4版本支持到1.17版本,所以就以Flink CDC Connector 2.4版本进行介绍。

Apache Flink®的CDC连接器是用于Apache Flnk®的一组源连接器,使用更改数据捕获(CDC)接收来自不同数据库的更改。Apache Flink®的CDC连接器将Debezium集成为捕获数据更改的引擎。因此,它可以充分利用Debezium的能力。 在这里插入图片描述

图11-1 Flink CDC Connectors架构图

11.1.2 支持的连接

表11-1 Flink CDC支持的连接

赞(0)
未经允许不得转载:171主机测评 » Flink原理与实战(java版)#第11章Flink的应用(整章)
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址