一种星形结构数据交换的方法技术

本发明专利技术涉及一种星形结构数据交换的方法，其中，包括：数据传输链路采用星形拓扑结构，数据交换逻辑包括Job和Task两个维度，Job表示一道数据同步作业；Task表示数据同步作业切分后的小任务；将一个Job分解成多个并发的Task；Job下发到执行网关，执行网关是物理机器资源的抽象和封装，如果是非分布式Job，网关会寻找一台合适的机器运行同步进程，如果是分布式执行模式，会对任务做切分，在分布式机器上执行同步；Job启动后，根据不同的源端切分策略，将Job切分成多个小的子任务，以便于并发执行；切分多个子任务之后，根据配置的并发数据量，将拆分成的多个子任务重新组合成任务组，每一个任务组负责以并发运行分配的所有子任务。任务组负责以并发运行分配的所有子任务。任务组负责以并发运行分配的所有子任务。

【技术实现步骤摘要】
一种星形结构数据交换的方法


[0001]本专利技术涉及数据交换
，特别涉及一种星形结构数据交换的方法。

技术介绍

[0002]随着企业信息化建设的发展，企业建立了众多的信息系统，以帮助企业进行内、外部业务的处理和管理工作。但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动，需要通过数据集成交换技术来横贯整个企业的异构系统、应用、数据源等，完成在企业内部系统之间以及内外系统之间无缝地共享和交换数据的需要。
[0003]数据交换是企业应用集成的重要环节，实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享，ETL是目前主流的数据交换集成技术，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
[0004]目前主流的ETL工具针对数据源
‑
目标的转换是点对点的，配置复杂且不易扩展，在对接各种异构的数据系统时，往往要反复开发多种不同的ETL，需要不停的适配，缺少统一的中间数据格式，无法做到分布式和流控、脏数据控制。

技术实现思路

[0005]本专利技术的目的在于提供给一种星形结构数据交换的方法，用于解决异构数据源适配、扩展性以及同步性能问题。
[0006]本专利技术一种星形结构数据交换的方法，其中，包括：数据传输链路采用星形拓扑结构，源端和目的端的数据交换通过中央控制节点，中央控制节点实现数据中继和数据处理功能，负责接收源端数据源的信息，并转发给目的数据源；将数据交换的内容转化为统一为中间数据格式，实现异构数据源间的统一数据处理和交换；数据交换逻辑包括Job和Task两个维度，Job表示一道数据同步作业；Task表示数据同步作业切分后的小任务；将一个Job分解成多个并发的Task；Job下发到执行网关，执行网关是物理机器资源的抽象和封装，如果是非分布式Job，网关会寻找一台合适的机器运行同步进程，如果是分布式执行模式，会对任务做切分，在分布式机器上执行同步；Job启动后，根据不同的源端切分策略，将Job切分成多个小的子任务，以便于并发执行；切分多个子任务之后，根据配置的并发数据量，将拆分成的多个子任务重新组合成任务组，每一个任务组负责以并发运行分配的所有子任务。
[0007]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，中央控制节点作为中间传输载体负责连接各种数据源，当需要接入一个新的数据源的时候，将此数据源对接到中央控制节点。
[0008]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，中央控制节点采
用Framework+plugin架构构建。
[0009]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，Task是中央控制节点作业的最小单元，每一个Task都会负责一部分数据的同步工作。
[0010]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，切分多个子任务之后，Job根据配置的并发数据量，将拆分成的Task重新组合，组装成任务组。
[0011]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，每一个子任务都由任务组负责启动，子任务启动后，会固定启动读取—>通道—>写入的线程来完成任务同步工作。
[0012]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，中央控制节点作业运行起来之后，Job监控并等待多个任务组的任务完成，等待所有任务组的任务完成后Job成功退出，否则，异常退出。
[0013]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，中央控制节点提供一套抽象化的数据抽取插件Reader以及数据写入插件Writer。
[0014]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，在做数据传输之前，对Job的传输进行参数的配置，包括数据源端、目标端、数据过滤转换逻辑、流速阈值、脏数据阈值以及与其他Job的依赖关系.
[0015]根据本专利技术所述的星形结构数据交换的方法的一实施例，其中，启动Job之前，对Job做安全和权限校验，如果作业任务配置不合法，会返回响应的错误信息。
[0016]本专利技术将数据链路从点到点的链路变成了星型数据链路，即通过采用中央节点负责连接各种数据源，当需要接入一个新的数据源的时候，只需要将此数据源对接到中央节点，便能跟已有的数据源做到无缝连接数据同步。本专利技术的目的提出了一种从数据源端
‑
中央节点
‑
数据目标端的星形结构的数据转换方法，其中央节点实现数据中继和数据处理功能，数据源端和数据目标端分别解决数据的输入和输出问题，适配不同的数据源，并且支持自定义驱动扩展。中央节点采用统一的数据流格式与数据源端、目标端对接，并提供流速控制、分布式容错等功能，解决了数据传输的性能和可靠性问题。
附图说明
[0017]图1为数据交换方式变化图；
[0018]图2是中央控制节点结构图；
[0019]图3是数据交换处理流程图。
具体实施方式
[0020]为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0021]图1是数据交换方式变化图，表示数据交换从传统的点对点到星形结构的转变，通过这种星型结构，所有数据源的数据传输和交互都是通过中央控制节点,负责接收源端数据源的信息，并转发给目的数据源,中央控制节点具有中继和数据处理功能，这种星形数据链路结构的优点是结构简单,方便管理与控制，通过星形设计可以简化不同数据格式间的转换，方便数据源/目标的自定义扩展，同时由于采用了统一数据流格式，将数据交换的内
容转化为统一为中间数据格式，实现异构数据源间的统一数据处理和交换，也便于实现分布式设计和流速控制等高级能力，在此通道上的数据采用分布式方式进行传输，从而获得更好的传输性能以及更佳的传输可靠性。在组网模型上，支持广播、多播、路由等多种模型，能够帮助用户实现自动组网。在通讯模式上，提供包含队列、RPC、PUB/SUB和群组通讯等多种通讯模式，满足用户对不同数据传输场景的需要。在安全通讯上，支持用户在传输层引入可插拔组件，对传输数据进行数据压缩、数据解压、数据加密、数据解密等操作，满足用户对安全数据高效传输的需求。
[0022]图2是中央控制节点结构图，中央控制节点采用Framework+plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件中，纳入到整个同步框架中，中央控制节点内部通过双缓冲队列、线程池封装等技术，集中处理了高速数据交换遇到的问题，提供简单的接口与插件交互，插件分为Reader和Writer两类，基于框架提供的插件接口，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种星形结构数据交换的方法，其特征在于，包括：数据传输链路采用星形拓扑结构，源端和目的端的数据交换通过中央控制节点，中央控制节点实现数据中继和数据处理功能，负责接收源端数据源的信息，并转发给目的数据源；将数据交换的内容转化为统一为中间数据格式，实现异构数据源间的统一数据处理和交换；数据交换逻辑包括Job和Task两个维度，Job表示一道数据同步作业；Task表示数据同步作业切分后的小任务；将一个Job分解成多个并发的Task；Job下发到执行网关，执行网关是物理机器资源的抽象和封装，如果是非分布式Job，网关会寻找一台合适的机器运行同步进程，如果是分布式执行模式，会对任务做切分，在分布式机器上执行同步；Job启动后，根据不同的源端切分策略，将Job切分成多个小的子任务，以便于并发执行；切分多个子任务之后，根据配置的并发数据量，将拆分成的多个子任务重新组合成任务组，每一个任务组负责以并发运行分配的所有子任务。2.如权利要求1所述的星形结构数据交换的方法，其特征在于，中央控制节点作为中间传输载体负责连接各种数据源，当需要接入一个新的数据源的时候，将此数据源对接到中央控制节点。3.如权利要求1所述的星形结构数据交换的方法，其特征在于，中央控制节点采用Framework+plugin架构构建。4.如权利要求1所述的星形...

【专利技术属性】
技术研发人员：张辉，钟松延，熊金国，张博羿，
申请(专利权)人：航天科工网络信息发展有限公司，
类型：发明
国别省市：