一种数据交换管理系统技术方案

本发明专利技术提供一种数据交换管理系统，所述数据交换管理系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。本发明专利技术能够快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。

A Data Exchange Management System

【技术实现步骤摘要】
一种数据交换管理系统
本专利技术涉及数据管理
，尤其涉及一种数据交换管理系统。
技术介绍
随着社会的不断发展和信息化的持续建设，我国各级政府部门、各类组织建设了大量的业务应用系统，为社会发展和业务有序运行提供了可靠保障，我国政府电子政务已逐步由大规模建设阶段，转变为以互联互通、信息共享和业务协同为特征的深化应用发展阶段。当前，我国政府大力推进智慧城市、互联互通等战略，部门和部门、系统和系统之间要进行对话和协作，急需解决目前现存的“应用烟囱”、“信息孤岛”、信息资源统一规划、数据交换共享等问题。随着大量面向业务部门的业务系统建设逐渐成熟，新的信息化发展趋势要求解决数据孤岛、数据分散存储、数据一致性等问题，通过部门间的数据集成共享实现业务对话和业务协作目标。在系统间交换信息需求较少的情况下，业务方可以采用点对点的方式实现数据交换。在交换信息需求逐步增多的情况下，通过一个权威部门，搭建一个安全、稳定、可靠、有效的数据交换平台就成为一个必然选项。数据交换平台于多部门多业务协作的意义，类似高速公路、高铁动脉对于城市的发展，是需要先行先建的基础设施。目前，在进行数据交换共享平台的建设过程中，普遍存在的问题包括业务复杂多变协同困难、技术架构及标准不统一、数据分散存储且存在数据一致性存在问题、工程实施周期长等问题。
技术实现思路
本专利技术提供的数据交换管理系统，能够快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。本专利技术提供一种数据交换管理系统，所述系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。可选地，所述管理中心包括运行监控模块和交换配置模块，所述交换节点包括调度引擎模块、交换引擎模块、管理代理模块和消息中间件。可选地，所述运行监控模块包括基础设施管理单元、交换业务配置单元和用户管理单元，所述基础设施管理单元用于对数据源、交换节点、交换通道和交换拓扑进行管理，所述交换业务配置单元用于对交换域和交换流程进行配置，所述用户管理单元用于进行角色管理、机构管理和用户管理。可选地，所述交换配置模块包括交换环境监控单元、交换数据统计单元和系统管理单元，所述交换环境监控单元用于进行数据源监控、节点监控、通道监控和系统告警，所述交换数据统计单元用于进行节点交换统计、数据源交换统计、流程变换统计和域交换统计，所述系统管理单元用于进行路由管理、多级交换管理和安全管理。可选地，所述系统还包括交换目录，所述交换目录包括目录管理单元、目录服务单元和订阅服务单元，所述目录管理单元用于进行资源注册、目录审核、资源编目和资源发布，所述目录服务单元用于进行主题资源申请、申请审核、机构资源申请和资源订阅，所述订阅服务单元包括资源中心和资源清单，用于进行目录导航、目录查询、主题导航和订阅交换。可选地，所述交换节点用于进行数据的抽取、发送、接收和入库。可选地，所述交换节点的数据抽取方式包括全量抽取、时间戳抽取、触发器抽取、标志位抽取和CDC抽取。可选地，所述交换节点进行数据交换的触发模式包括定时、实时、条件触发和人工触发。可选地，所述交换节点还用于进行数据处理，所述数据处理包括数据过滤、节点路由和数据关联。可选地，所述交换节点还用于对数据传输进行通道管理、断点续传、加密和压缩。本专利技术实施例提供的数据交换管理系统，通过灵活配置交换节点与交换节点之间、交换节点与管理中心之间、上下级平台之间、相同或不同交换域之间的数据库和文件交换，构成了整个数据交换管理系统的交换体系。能够实现广域的、大规模的、跨地区的数据流转；可以实现不同业务同一平台交换，无需重复建设；支持对交换细节进行监控和统计，便于管理，从而快速构建、运行和管理分布式应用系统间数据交换共享任务，满足各种大型应用、各种复杂的网络环境下的业务需求。附图说明图1为本专利技术实施例提供的数据交换管理系统的总体架构图；图2为本专利技术实施例提供的数据交换管理系统的功能架构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种数据交换管理系统，如图1所示，所述数据交换管理系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。具体地，所述管理中心包括运行监控模块和交换配置模块，所述交换节点包括调度引擎模块、交换引擎模块、管理代理模块和消息中间件。如图2所示，所述运行监控模块包括基础设施管理单元、交换业务配置单元和用户管理单元，所述基础设施管理单元用于对数据源、交换节点、交换通道和交换拓扑进行管理，所述交换业务配置单元用于对交换域和交换流程进行配置，所述用户管理单元用于进行角色管理、机构管理和用户管理。如图2所示，所述交换配置模块包括交换环境监控单元、交换数据统计单元和系统管理单元，所述交换环境监控单元用于进行数据源监控、节点监控、通道监控和系统告警，所述交换数据统计单元用于进行节点交换统计、数据源交换统计、流程变换统计和域交换统计，所述系统管理单元用于进行路由管理、多级交换管理和安全管理。如图2所示，所述系统还包括交换目录，所述交换目录包括目录管理单元、目录服务单元和订阅服务单元，所述目录管理单元用于进行资源注册、目录审核、资源编目和资源发布，所述目录服务单元用于进行主题资源申请、申请审核、机构资源申请和资源订阅，所述订阅服务单元包括资源中心和资源清单，用于进行目录导航、目录查询、主题导航和订阅交换。其中，所述交换节点用于进行数据的抽取、发送、接收和入库。可选地，所述交换节点的数据抽取方式包括全量抽取、时间戳抽取、触发器抽取、标志位抽取和CDC(ChangeDataCapture，变化数据捕获)抽取。全量抽取是指在数据交换过程中，系统会将源表中设置的源字段的所有数据抽取到目的表中。如果目的表中已有相同的数据，系统会更新这些已存在的数据，而不存在的数据会直接被插入到目标表中。该方式适用于要抽取的数据量较小的情况。时间戳抽取是指在数据交换过程中，系统会依据一个时间标识去抽取满足条件的数据。这种抽取方式有一个前提条件，那就是源表中需要有一个时间类型的字段，并且在配置交换流程时将其设置为时间戳字段。在每一次数据抽取完成时，系统会记录下该次抽取的时间戳字段数据的最大值，在进行下次数据抽取时，系统会抽取大于这个值的数据条目，并完成交换。需要注意的是，系统只能抽取早于数据库所在服务器的当前时间的数据条目。该方式适用于按照时间进行增量抽取的情况。触发器抽取是指在数据交换过程中，需要设定的触发动作发生才能触发交换。触发数据交换的动作包括：插入、删除、更新(对应SQL语句中的insert、delete和update)。标志位抽取是指在数据交换过程中，系统本文档来自技高网...

【技术保护点】
1.一种数据交换管理系统，其特征在于，所述系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。

【技术特征摘要】
1.一种数据交换管理系统，其特征在于，所述系统包括管理中心以及多个交换节点，每个交换节点与所述管理中心连接，各交换节点之间进行数据交换；所述管理中心用于进行交换节点之间交换任务的配置、数据交换的监控、管理及统计分析。2.根据权利要求1所述的数据交换管理系统，其特征在于，所述管理中心包括运行监控模块和交换配置模块，所述交换节点包括调度引擎模块、交换引擎模块、管理代理模块和消息中间件。3.根据权利要求2所述的数据交换管理系统，其特征在于，所述运行监控模块包括基础设施管理单元、交换业务配置单元和用户管理单元，所述基础设施管理单元用于对数据源、交换节点、交换通道和交换拓扑进行管理，所述交换业务配置单元用于对交换域和交换流程进行配置，所述用户管理单元用于进行角色管理、机构管理和用户管理。4.根据权利要求2所述的数据交换管理系统，其特征在于，所述交换配置模块包括交换环境监控单元、交换数据统计单元和系统管理单元，所述交换环境监控单元用于进行数据源监控、节点监控、通道监控和系统告警，所述交换数据统计单元用于进行节点交换统计、数据源交换统计、流程变换统计和域交换统计，所述系统管理单元用于进行路由管理、多级...

【专利技术属性】
技术研发人员：张春林，朱律玮，李春青，辛桂忠，李蕾，
申请(专利权)人：北京东方通科技股份有限公司，
类型：发明
国别省市：北京,11