一种分布式数据交换系统技术方案

本发明专利技术公开一种分布式数据交换系统，用于对并发数据进行数据交换，提供数据交换的效率。在上述系统中，界面编辑器创建数据采集流程，并将数据采集流程发送给数据交换客户端集群中的数据交换客户端节点；数据分流控制器根据分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据分流条件将待处理的并发数据流分割为多个数据字段，并将多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；数据交换客户端集群通过数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。

【技术实现步骤摘要】

本专利技术涉及计算机
，具体涉及一种分布式数据交换系统。
技术介绍
随着信息化的发展，建立统一的数据中心将成为趋势。对于大型消费类的系统，包括电子商务、游戏类系统，由于是全新构建，数据将天生具备统一存储、统一建模的基因。而对于企业、政府、行业类的大数据系统，由于历史上已有众多的系统在线运行，要强行统一数据存储与建模，不具备可行性。在此种场景下，新建的大数据系统将通过企业服务总线(EnterpriseServiceBus，ESB)的模式，与原有的在线数据生成系统对接，通过已有的系统进行数据采集，经过转换与建模后进行统一存储，以达到数据共享、互通的目的。不管是大型的消费类还是企业、政府、行业类的系统，随着业务的发展以及历史数据的积累，都将形成数据量大、业务复杂的状况，也必将导致不同系统间需要大量、频繁地进行数据交换。在ESB的应用场景下，目前的ESB不支持并发处理的数据交换，并发的多个数据存储到数据库时会造成数据冲突，无法对持续产生的大量数据进行数据交换，数据交换的效率较低。
技术实现思路
本专利技术的目的在于提供一种分布式数据交换系统，用于对并发数据进行数据交换，提供数据交换的效率。为了达到上述目的，本专利技术采用这样的如下技术方案：本专利技术提供一种分布式数据交换系统，包括：界面编辑器，用于创建数据采集流程，并将所述数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，所述数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；数据分流控制器，用于根据所述分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据所述分流条件将所述待处理的并发数据流分割为多个数据字段，并将所述多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；数据交换客户端集群，用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过所述各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。采用上述技术方案后，本专利技术提供的技术方案将有如下优点：在本专利技术实施例提供的分布式数据交换系统中，包括有界面编辑器、数据分流控制器和数据交换客户端集群，该数据交换客户端集群中包括有多个数据交换客户端节点，数据分类控制器能够根据分流条件将待处理的并发数据流分割为多个数据字段，并将多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点，各个数据交换客户端节点可以分别对相应的数据字段进行数据交换处理，各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。因此本专利技术实施例提供的分布式数据交换系统通过并发地进行数据采集与传输，能够对并发数据进行数据交换，提供数据交换的效率。附图说明图1为本专利技术实施例提供的分布式数据交换系统的组成结构示意图；图2为本专利技术实施例提供的数据交换客户端集群部署结构示意图；图3为本专利技术实施例提供的分流控制器锁示意图；图4为本专利技术实施例提供的表输入分布式锁示意图；图5为本专利技术涉及的数据交换过程示意图。具体实施方式本专利技术实施例提供了一种分布式数据交换系统，用于对并发数据进行数据交换，提供数据交换的效率。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。为了提高ESB的传输效率，本专利技术实施例中ESB必须能支持集群并发的方式进行数据采集与传输。本专利技术实施例提供的分布式数据交换系统能够通过数据采集源端和ESB连接，从而实现并发数据的交换。请求参阅图1所示，本专利技术实施例提供的分布式数据交换系统，包括：界面编辑器，用于创建数据采集流程，并将数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；数据分流控制器，用于根据分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据分流条件将待处理的并发数据流分割为多个数据字段，并将多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；数据交换客户端集群，用于通过数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。在本专利技术实施例中，数据采集源端和ESB连接，从分布式数据交换系统可以通过数据采集源端采集到并发数据流，本专利技术实施例中分布式数据交换系统中设置有数据交换客户端集群，该数据交换客户端集群中包括有多个数据交换客户端节点，本专利技术实施例中分布式数据交换系统中还设置有数据分流控制器，该数据分流控制器能够控制对并发数据流的分流，从而实现对并发数据流的同步操作，解决目前的ESB无法传输并发数据流的问题，本专利技术实施例基于分布式的集群并发处理数据交换，以确保数据交换的高效性与稳定性。在本专利技术的一些实施例中，数据交换客户端集群，还用于通过数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行加密处理，并在各个数据字段进行数据交换处理完成后再对各个数据字段进行解密处理，通过各个数据交换客户端节点将解密处理完成后的各个数据字段分别存储到数据库中。如图2所示，为本专利技术的数据交换客户端集群部署结构示意图，通过部署集群的数据交换客户端节点，数据交换客户端集群通过每个数据交换客户端节点对数据分流控制器分配给该数据交换客户端节点的数据字段进行加密处理，当数据交换客户端节点完成对数据字段的数据交换处理之后，数据交换客户端集群再通过每个数据交换客户端节点对数据字段进行解密处理，再将解密处理完成后的各个数据字段分别存储到数据库中。数据采集后加密进入传输通道，数据交换客户端节点的输出端获取到数据时进行解密，确保了数据传输的完整性。在本专利技术的一些实施例中，数据分类控制器，具体用于当数据交换客户端集群开始调度运行时，使用分流控制器锁从待处理的并发数据流计算出一个数据字段的开始数据位置和结束数据位置，将并发数据流中从开始数据位置至结束数据位置之间的数据字段配置给数据交换客户端集群中的一个数据交换客户端节点，使用分流控制器锁继续计算分配给数据交换客户端集群中的另一个数据交换客户端节点的数据字段。如图3所示，为本专利技术实施例提供的分流控制器锁示意图。两地数据并发进行数据交换时，为了避免每个数据交换客户端节点重复采集数据，可以通过分流控制器锁控制、计算每个数据交换客户端节点需要采集的数据字段，当数据交换客户端节点开始调度运行时，先从分流控制器锁获取需要采集数据的开始数据位置和结束数据位置，获取完后，负责计算开始数据位置和结束数据位置的分流控制本文档来自技高网...

【技术保护点】
一种分布式数据交换系统，其特征在于，包括：界面编辑器，用于创建数据采集流程，并将所述数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，所述数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；数据分流控制器，用于根据所述分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据所述分流条件将所述待处理的并发数据流分割为多个数据字段，并将所述多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；数据交换客户端集群，用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过所述各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。

【技术特征摘要】
1.一种分布式数据交换系统，其特征在于，包括：界面编辑器，用于创建数据采集流程，并将所述数据采集流程发送给数据交换客户端集群中的数据交换客户端节点，所述数据采集流程包括：数据源端地址、数据采集条件、采集字段信息、调度规则和分流控制器实现类；数据分流控制器，用于根据所述分流控制器实现类和需要采集的数据业务确定分流条件；从数据采集源端获取到待处理的并发数据流，根据所述分流条件将所述待处理的并发数据流分割为多个数据字段，并将所述多个数据字段分别分配给数据交换客户端集群中的各个数据交换客户端节点；数据交换客户端集群，用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行数据交换处理，通过所述各个数据交换客户端节点将数据交换处理完成后的各个数据字段分别存储到数据库中。2.根据权利要求1所述的一种分布式数据交换系统，其特征在于，所述数据交换客户端集群，还用于通过所述数据分流控制器选择出的各个数据交换客户端节点对相应的数据字段进行加密处理，并在各个数据字段进行数据交换处理完成后再对各个数据字段进行解密处理，通过所述各个数据交换客户端节点将解密处理完成后的各个数据字段分别存储到数据库中。3.根据权利要求1所述的一种分布式数据交换系统，其特征在于，所述数据分类控制器，具体用于当数据交换客户端集群开始调度运行时，使用分流控制器锁从所述待处理的并发数据流计算出一个数据字段的开始数据位置和结束数据位置，将所述并发数据流中从所述开始数据位置至所述结束数据位置之间的数据字段配置给所述数据交换客户端集群中的一个数据交换客户端...

【专利技术属性】
技术研发人员：周华，赖清鑫，林祖文，
申请(专利权)人：南威软件股份有限公司，
类型：发明
国别省市：福建;35