一种数据集成分发平台和系统技术方案

本发明专利技术公开了一种数据集成分发平台，包括数据接口模块、数据采集工具、数据处理模块和数据库；数据接口模块挂载在数据集成平台上，数据采集工具嵌设在数据集成平台中；数据接口模块用于采集外部应用系统的第一数据；数据采集工具用于抽取数据库的第二数据；数据处理模块用于对所述第一数据和所述第二数据进行处理，和/或通过所述数据接口模块向所述外部应用系统提供数据服务；数据库还用于对处理后的第一数据进行存储。本发明专利技术能够支持多种数据接口，使得平台可以根据业务需求对数据接口进行配置、管理和监测，从而快速实现与外部应用系统的数据交互；采用挂载的方式设置数据接口模块，可以在不改变平台主框架的前提下，新增和删除数据接口模块。删除数据接口模块。删除数据接口模块。

【技术实现步骤摘要】
一种数据集成分发平台和系统


[0001]本专利技术属于数据服务
，具体涉及一种数据集成分发平台和系统。

技术介绍

[0002]随着信息技术的飞速发展，各行各业致力于信息化建设，基于不同的业务需求构建了大量的应用信息系统，有效促进了各行业的快速发展，但与此同时也带来了大量的信息孤岛，各个应用信息系统的异构化和复杂化也为企业的信息管理带来了更为严峻的挑战。
[0003]为了实现各信息系统间的信息互通和数据共享，打破信息孤岛，现有技术中的解决办法是对需要信息互通的系统进行接口改造，这种方式虽然能够解决信息系统间数据共享问题，但需要对相关应用系统进行改造，如果涉及到多个系统，系统接口的改造将变得极其复杂，系统间的耦合度也增加；此外，这种方式只能满足系统间特定数据的共享需求，可扩展性较差，灵活性较低。

技术实现思路

[0004]本专利技术的目的是提供一种组件化的数据展示平台和系统，用以解决现有技术中存在的至少一个技术问题。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]第一方面，本专利技术提供一种数据集成分发平台，包括数据接口模块、数据采集工具、数据处理模块和数据库；
[0007]所述数据接口模块挂载在所述数据集成平台上，所述数据采集工具嵌设在所述数据集成平台中；
[0008]所述数据接口模块用于采集外部应用系统的第一数据；
[0009]所述数据采集工具用于抽取所述数据库的第二数据；
[0010]所述数据处理模块用于对所述第一数据和所述第二数据进行处理，和/或通过所述数据接口模块向所述外部应用系统提供数据服务；
[0011]所述数据库还用于对处理后的第一数据进行存储。
[0012]在一种可能的设计中，所述数据处理模块包括消息队列服务器、消息服务单元、网关服务单元以及核心业务服务单元；
[0013]所述数据接口模块将采集到的第一数据依次通过所述消息队列服务器和所述消息服务单元发送至所述核心业务服务单元；或者通过所述网关服务单元发送至所述核心业务服务单元；
[0014]所述消息队列服务器用于接收所述第一数据，并基于队列机制将所述第一数据发送至所述消息服务单元；
[0015]所述消息服务单元用于根据所述第一数据的订阅消息，对所述第一数据处理后转发至所述核心业务服务单元；
[0016]所述网关服务单元用于接收所述第一数据，并对所述第一数据处理后转发至所述核心业务服务单元；
[0017]所述核心业务服务单元用于对接收到的所述第一数据进行二次处理，并返回至所述消息队列服务器中，以及存入所述数据库中。
[0018]在一种可能的设计中，所述数据接口模块包括MQ数据接口单元、HTTP数据接口单元以及DDS数据接口单元；所述数据处理模块通过所述MQ数据接口单元、HTTP数据接口单元和/或所述DDS数据接口单元与所述外部应用系统进行数据交互。
[0019]在一种可能的设计中，当通过MQ数据接口单元采集第一数据时，所述数据处理模块具体用于：
[0020]将所述第一数据转化为第一JSON格式数据，并发送至所述消息队列服务器；
[0021]在所述消息服务单元中配置第一JSON适配器，接收并处理所述第一JSON格式数据，并转发至所述核心业务服务单元进行二次处理；
[0022]将所述第一JSON格式数据返回至所述消息队列服务器中，并存入所述数据库中。
[0023]在一种可能的设计中，所述数据处理模块具体还用于：
[0024]通过所述消息队列服务器接收所述外部应用系统的第一数据服务请求，并向所述外部应用系统返回第一数据服务请求结果。
[0025]在一种可能的设计中，当通过HTTP数据接口单元采集第一数据时，所述数据处理模块具体用于：
[0026]将所述第一数据转化为第二JSON格式数据，并发送至所述消息队列服务器；
[0027]在所述网关服务单元中配置第二JSON适配器，接收并处理所述第二JSON格式数据，并转发至所述核心业务服务单元进行二次处理；
[0028]将所述第二JSON格式数据返回至所述消息队列服务器中，并存入所述数据库中。
[0029]在一种可能的设计中，所述数据处理模块具体还用于：
[0030]通过所述网关服务单元接收外部应用系统的第二数据服务请求并转发至所述核心业务服务单元；
[0031]通过所述核心业务单元根据所述第二数据服务请求，从所述数据库中调用对应的数据，并向所述外部应用系统返回第二数据请求结果。
[0032]在一种可能的设计中，当通过DDS数据接口单元采集第一数据时，所述数据处理模块具体用于：
[0033]配置DDS适配器，并通过所述DDS适配器接收所述第一数据，并转化为第三JSON格式数据；
[0034]将所述第三JSON格式数据发送至所述消息队列服务器；
[0035]在所述消息服务单元中配置第三JSON适配器，接收所述第三JSON格式数据，并转发至所述核心业务服务单元进行二次处理；
[0036]将所述第三JSON格式数据返回至所述消息队列服务器中，并存入所述数据库中。
[0037]在一种可能的设计中，所述数据采集工具通过ETL的方式所述数据库中抽取所述第二数据。
[0038]第二方面，本专利技术提供一种数据集成分发系统，包括如第一方面任意一种可能的设计中所述的数据集成分发平台，还包括若干个应用系统。
[0039]有益效果：
[0040]本专利技术通过将数据接口模块挂载在数据集成平台上，将数据采集工具嵌设在所述数据集成平台中；通过数据接口模块采集外部应用系统的第一数据；通过数据采集工具抽取数据库的第二数据；通过数据处理模块对第一数据和第二数据进行处理，和/或通过数据接口模块向外部应用系统提供数据服务；并通过数据库对处理后的第一数据进行存储。本专利技术能够支持多种数据接口，包括但不限于HTTP接口、MQ接口和DSS接口，以及针对数据库的数据采集工具，使得平台可以根据业务需求对数据接口进行配置、管理和监测，从而快速实现与外部应用系统的数据交互；采用挂载的方式设置数据接口模块，可以在不改变平台主框架的前提下，根据业务需求，新增和删除数据接口模块，提高平台的可扩展能力。
附图说明
[0041]图1为本专利技术实施例的数据集成分发平台的结构框图；
[0042]图2为本专利技术实施例的数据集成分发平台的架构部署图；
[0043]图3为本专利技术实施例与外部应用系统进行数据交互的流程框图。
具体实施方式
[0044]为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
...

【技术保护点】

【技术特征摘要】
1.一种数据集成分发平台，其特征在于，包括数据接口模块、数据采集工具、数据处理模块和数据库；所述数据接口模块挂载在所述数据集成平台上，所述数据采集工具嵌设在所述数据集成平台中；所述数据接口模块用于采集外部应用系统的第一数据；所述数据采集工具用于抽取所述数据库的第二数据；所述数据处理模块用于对所述第一数据和所述第二数据进行处理，和/或通过所述数据接口模块向所述外部应用系统提供数据服务；所述数据库还用于对处理后的第一数据进行存储。2.根据权利要求1所述的数据集成分发平台，其特征在于，所述数据处理模块包括消息队列服务器、消息服务单元、网关服务单元以及核心业务服务单元；所述数据接口模块将采集到的第一数据依次通过所述消息队列服务器和所述消息服务单元发送至所述核心业务服务单元；或者通过所述网关服务单元发送至所述核心业务服务单元；所述消息队列服务器用于接收所述第一数据，并基于队列机制将所述第一数据发送至所述消息服务单元；所述消息服务单元用于根据所述第一数据的订阅消息，对所述第一数据处理后转发至所述核心业务服务单元；所述网关服务单元用于接收所述第一数据，并对所述第一数据处理后转发至所述核心业务服务单元；所述核心业务服务单元用于对接收到的所述第一数据进行二次处理，并返回至所述消息队列服务器中，以及存入所述数据库中。3.根据权利要求2所述的数据集成分发平台，其特征在于，所述数据接口模块包括MQ数据接口单元、HTTP数据接口单元以及DDS数据接口单元；所述数据处理模块通过所述MQ数据接口单元、HTTP数据接口单元和/或所述DDS数据接口单元与所述外部应用系统进行数据交互。4.根据权利要求3所述的数据集成分发平台，其特征在于，当通过MQ数据接口单元采集第一数据时，所述数据处理模块具体用于：将所述第一数据转化为第一JSON格式数据，并发送至所述消息队列服务器；在所述消息服务单元中配置第一JSON适配器，接收并处理所述第一JSON格式数据，并转发至所述核心业务服务单元进行二次...

【专利技术属性】
技术研发人员：罗慧，
申请(专利权)人：罗慧，
类型：发明
国别省市：