集成任务

概述

【集成】指的是将业务数据库中的数据，集成并同步到DVS对应存储区中，通常存储在ODS数据层中。

在进行数据集成任务前，请确保您已配置好数据源，通过数据集成，您可将不同结构的数据源中的业务数据同步至DataVS平台。集成任务支持数据的全量同步和增量同步，当进行数据增量同步时，需要指定增量字段。

前置条件

在创建集成任务时，请先确保您已为当前数据空间创建了ODS层的数据域。

添加任务分组

点击“添加分组”可创建新的任务分组。

（添加分组）

字段	说明
分组名称	输入任务的分组名称。
所属数据域	选择当前数据空间下的数据域。
父类分组	选择数据域下的其他分组。

除了通过按钮添加分组外，还可点击分组右侧的“更多”按钮，对分组进行“编辑”、“删除”、“添加子分组”和“添加作业”操作。

创建数据集成任务通过点击“添加作业”进行。

作业操作

在集成作业中，可对当前作业进行切换代码模式、锁定/解锁、格式化、保存、配置调度计划、查看任务依赖操作。

（集成配置）

数据集成

在进行数据集成任务编辑时，您需要将右侧的数据源拖入数据源区域。这样，ETL任务就可以读取当前数据源的表信息。

在ETL配置中，需要配置表输入的表源（源端表）、增量标记字段（增量同步时指定）。表输出的表名（目标表）、别名（中文名）、主键和备注。

点击“配置”可设置当前表的分区字段和分区大小。

点击“添加”按钮，可以批量添加多个表的同步信息。

数据集后的数据通常存储在ODS层中，详见 数据空间＆数据域

调度计划

（调度计划）

点击“配置调度计划”按钮，选择调度任务，勾选依赖节点，即可配置好当前的数据集成调度。通常抽取类型的数据可以作为根节点，直接生效。也可以选择上级节点，设置依赖，由上级调度进行后，触发下游依赖。