天涯头条

Apache SeaTunnel技术架构演进及其在AI领域的应用

2024-08-27 11:00 由 ApacheSeaTunnel 发表于 #数据库

随着数据集成需求的增长，Apache SeaTunnel作为新一代的数据同步引擎，不仅在技术架构上不断演进，也在AI领域展现出其独特的应用价值。在CommunityOverCode Asia 2024大会上，Apache SeaTunnel PMC Chair 高俊 深入探讨SeaTunnel的技术演进路径，分析其在AI领域的应用案例，并展望未来的发展规划。

https://www.bilibili.com/video/BV1NCs5eMEA8/?vd_source=e139ecc995ab936267a7991b9de55f6c

从0构建一个数据集成系统

构建数据集成系统的初衷，是因为我们面临着多种数据源到目标数据库的同步问题，如MySQL到MySQL、PostgreSQL到Oracle等。由于数据源众多，促使我们设计了灵活的源连接器和目标连接器。

Source连接器&Sink连接器

SeaTunnel的设计，是在数据源和目标端之间进行抽象，通过SPI的方式进行插件化加载，将数据从源端写到目标端。

表结构同步

如果目标端没有源端的表结构，则需要构建一个CatalogTable接口，来读取源端表结构的构造，得到一个类似于MySQL的表格，再转化为目标端对应的表结构。这样，在不同的数据流转之前，先把表结构进行流转，通过简单的代码就可以实现高效的数据队列和表结构同步机制。

并行化挑战

在设计SeaTunnel时，我们特别关注了并行化处理的多个方面，包括任务的创建、运行位置、启动与关闭、数据分片以及任务与作业间的状态流管理。SeaTunnel把单线程变为多线程处理任务，枚举器通过不同算法把成千上完的数据拆分成实例，送到Source Reader中，每个Reader负责执行一个SQL查询，从而进行数据的并行读取。

SeaTunnel引擎

这么多的任务示例，它们何时开始、何时结束、运行时长，运行的顺序是什么？这就需要一个引擎来规划实例的执行计划。这就是SeaTunnel引擎发挥作用的地方，它的核心是提供一个统一的数据同步与集成解决方案，支持多种数据源和目标，并能够处理大规模数据流。

Apache SeaTunnel诞生

可以看到，之所以出现越来越多的复杂的数据集成引擎，是出于各种需求而不断演进。在这样的背景下，Apache SeaTunnel应运而生。

设计目标

SeaTunnel的设计目标：

  • 简单易用：通过简单的配置和命令即可创建同步任务和运行同步任务；
  • 同步过程可监控、指标可量化：同步过程中自动统计任务读取写入的数据量，性能指标，数据延时等信息
  • 丰富的数据源生态：支持国内外数据库、消息队列、云存储、云组件、数据湖、仓、SaaS服务、支持用户自定义数据源
  • 全场景支持：支持所有数据集成场景，包括离线、实时、全量、增量、CDC、CDC整库同步、DDL变更、动态加表
  • 数据一致性保障：数据不丢失、不重复、精确处理一次、支持断点续传
  • 资源使用少：包括内存优化、CPU线程优化、多表同步数据库连接共享

架构概览

SeaTunnel的架构由目标数据库、源数据库，以及数据同步与集成组件构成。中间部分的抽象API包括Table API、Source API、Sink API、Engine API、Catalog API、Type Converter API等一系列API组成，基于这一系列API实现的连接器可以运行在多种引擎上，包括原生支持的SeaTunnel Zeta引擎，这是目前我们经过测试数最快的数据同步引擎。同时，SeaTunnel支持通过翻译层将API开发的连接器翻译成Spark和FlinkConnector，从而支持运行在Spark和Flink引擎上。

目前，SeaTunnel社区支持的数据源连接器达到160+，后续也还在进行快速迭代更新。

连接器API与引擎解耦

SeaTunnel是针对数据集成场景而设计的数据同步工具，它提供了一套完整的连接器API，包括源、转换、目标、检查点和翻译API，支持多引擎、多版本。解决了与计算引擎解耦的问题，同时提供了流批统一处理API和JDBC多路复用功能。

Source连接器

SeaTunnel的源连接器支持离线和实时操作模式，通过环境配置中的作业模式轻松切换。Source可以实现并行读取、动态分片发现、字段投影、多表读取、精确一次语义支持，以及适配Zeta、Spark和Flink的Checkpoint机制。

Sink连接器

通过在环境配置中将 job.mode 指定为 BATCH 或 DataMING，SeaTunnel的同一Sink连接器可以轻松地在离线和实时同步模式之间切换。

SeaTunnel的Sink连接器支持以下功能：

  • 支持SaveMode，灵活选择目标性能和数据处理方式
  • 自动创建表，支持模板修改表创建，在多表同步场景下解放双手
  • 精确一次语义支持，数据不会丢失或复制，Checkpoint机制适配 Zeta、Spark、Flink引擎
  • CDC支持，支持处理数据库日志事件

CDC连接器

SeaTunnel的CDC（Change Data Capture）主要用来做CDC的同步，连接器支持无锁快照读取，动态发现表，多表同步和多表写入，Schema evolution，checkpoint，以及CDC批量数据同步，适应了离线数据同步的需求。

多表同步

SeaTunnel支持多表数据读取和写入，通过简单配置，即可实现多表数据的快速读取和写入。

新一代数据同步引擎-SeaTunnel Zeta

SeaTunnel Zeta作为新一代的数据同步引擎，具有其他计算引擎所不具备的一些特性：

  • 不依赖第三方组件和大数据平台；
  • 无主，内置分布式网格可持久化存储内存；
  • 支持WAL，即使整个集群重启也能恢复之前的作业；
  • 支持分布式快照算法，保障数据一致性；
  • 支持更细粒度的数据同步监控指标；
  • 支持事件通知机制；
  • 类加载器隔离和缓存，提高了系统的稳定性和性能。

SeaTunnel在AI领域的应用

社区近期在AI领域应用方面进行了一些工作，除了常规数据类型之外，还添加了对多种向量数据类型的支持，比如BINARY_VECTOR、FLOAT_VECTOR、FLOAT16_VECTOR、BFLOAT16_VECTOR、SPARSE_FLOAT_VECTOR等，为AI领域的数据处理提供了强大支持。

后续，社区还计划推出专门的Transform，针对向量数据类型进行精确处理。

目前，SeaTunnel 2.3.6版本已经提供了Milvus的源和目标连接器，使得AI应用能够更高效地处理向量数据。

最新规划

为了使SeaTunnel能够满足更多用户需求，社区近期也在计划一些新功能的添加和优化工作。

引入SeaTunnel Zeta Master/Worker新架构

SeaTunnel Zeta引入了Master/Worker新架构，这种架构允许在同一个环境中同时运行多个版本的 Hadoop 或 Hive 同步任务。

Note：由于稿件整理的时间差，实际上这一点在最新版本2.3.6中已经实现。

使用SQL创建SeaTunnel作业

SeaTunnel Zeta支持使用SQL语句直接创建数据同步任务，简化了作业配置过程。

Note：由于稿件整理的时间差，实际上这一点在最新版本2.3.6中已经实现。

Zeta CDC的改进

Zeta CDC改进了空闲读取器的同步释放机制，优化了快照读取和实时增量读取阶段的性能。

ClassLoader隔离改进

通过重构ClassLoader和插件加载机制，SeaTunnel Zeta能够在同一个环境中同时运行多个版本的Hadoop或Hive同步任务，提高了系统的兼容性和灵活性。

Note：由于稿件整理的时间差，实际上这一点在最新版本2.3.6中已经实现。

CDC同步监控优化

SeaTunnel的CDC同步将支持DML事件类型粒度的监控指标，提高监控的可观测性。

支持事件通知机制

SeaTunnel Zeta 支持事件通知机制，可以在数据同步过程中触发特定的事件通知，增强了系统的交互性和自动化能力。

结语

SeaTunnel作为Apache软件基金会的顶级项目，其技术架构的演进和在AI领域的应用展示了开源数据集成工具的强大潜力。我们期待与社区共同推动SeaTunnel的进一步发展。如有任何问题或建议，欢迎进入交流群参与讨论。

本文由 白鲸开源 提供发布支持！