一种应用系统接口集成系统、集成方法、设备及存储介质技术方案

本发明专利技术提出了一种应用系统接口集成系统、集成方法、设备及存储介质，从客户端获得配置信息，配置信息是关于数据目标系统数据集成规则的信息；服务器获取数据集成所需的配置信息，调用数据采集模块，并根据所述配置信息从数据源头系统中获取数据进行处理得到中间数据；数据同步推送模块注册有目标数据类型标识，调用所述数据同步推送模块，在中间数据中获取与所述目标数据类型标识对应的目标数据；基于接口单元，对目标数据进行同步，服务器将目标数据同步至数据目标系统中。本发明专利技术产生一种计算机可读的存储介质来进行系统参数和条件的配置，无需人工的二次开发参与，系统管理员或者相关的配置人员即可完成系统之间接口的集成和数据的同步。的集成和数据的同步。的集成和数据的同步。

【技术实现步骤摘要】
一种应用系统接口集成系统、集成方法、设备及存储介质


[0001]本专利技术涉及计算机
，特别涉及一种应用系统接口集成系统、集成方法、设备及存储介质。

技术介绍

[0002]不论是在做传统项目还是在做互联网项目，不论是在开发还是在实施中，都会存在系统之间数据集成的需求，在这个大的技术背景下，就很有必要开发一套普遍适用的动态接口集成方法。
[0003]在做传统项目时，系统之间的接口集成通常采用webService的方式、传递xml格式的数据来进行开发，技术相对落后且需要二次开发；同样在做互联网项目时，系统或者微服务之间的集成通常采用restful的形式、传递json格式的数据来实现，但是互联网项目需要集成的系统很多，接口数量庞大且分散，在这样的小的技术背景下，更有必要开发一套适合各种数据格式和传输方式的统一的动态接口集成方法来进行集中管理和维护。
[0004]现有技术中的应用系统集成方法中存在的缺点，一是没有提供数据实时同步的机制，存在数据在某一段时间内不一致的问题，二是没有包含数据传输的日志采集系统，没有办法监控当前系统集成和数据传输的情况。

技术实现思路

[0005]本专利技术提出一种应用系统接口集成系统、集成方法、设备及存储介质，解决了现有技术中无法提供不同系统之间数据实时同步以及无法监控当前系统集成和数据传输的问题。
[0006]本专利技术的技术方案是这样实现的：
[0007]一种数据集成系统，包括客户端和服务器端，
[0008]从客户端获得配置信息，所述配置信息是关于数据目标系统数据集成规则的信息；
[0009]服务器包括数据采集模块、数据同步推送模块和与客户端进行数据通信的接口单元；
[0010]所述服务器获取数据集成所需的配置信息，调用数据采集模块，并根据所述配置信息从数据源头系统中获取数据进行处理得到中间数据；
[0011]所述数据同步推送模块注册有目标数据类型标识，调用所述数据同步推送模块，在所述中间数据中获取与所述目标数据类型标识对应的目标数据；基于接口单元，对所述目标数据进行同步，服务器将目标数据同步至数据目标系统中。
[0012]优选的，所述配置信息，包括：
[0013]所述数据目标系统设置所述数据源头系统和数据目标系统的连接信息；
[0014]所述数据目标系统设置数据源头系统基础数据与数据目标系统基础数据的映射关系；
[0015]所述数据目标系统设置数据源头系统业务数据与数据目标系统业务数据的映射关系；
[0016]所述数据目标系统设置所述中间数据与所述目标数据转换规则；
[0017]所述数据目标系统设置调度策略，所述调度策略包括数据定时推送信息和数据实时推送信息；所述数据定时推送信息中用户设置定时推送条件，所述定时推送条件包括推送时间和推送时间间隔，在达到设定的推送时间或设定的推送时间间隔后触发数据推送动作；
[0018]所述数据目标系统基于调度策略设置数据采集规则。
[0019]优选的，所述数据同步推送模块包括根据配置信息选择调用的定时同步单元和实时同步单元，所述定时同步单元用于设定从所述数据源头系统中同步目标数据的定时同步时间和定时间隔时间，所述定时同步单元用于基于配置信息实时推送符合条件的目标数据。
[0020]优选的，所述服务器还包括监听模块，当数据同步推送模块开启时启动监听模块，监听模块监听新增或变更数据的中间结果，并检测中间数据的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统。
[0021]优选的，所述接口单元适配集成方式包括RestAPI接口、JDBC数据库连接和Mq消息队列。
[0022]优选的，所述服务器还包括日志采集模块，所述日志采集模块用于记录并存储配置信息、目标数据、数据同步推送模块所调用的定时同步单元或实时同步单元信息以及目标数据经各接口单元同步的结果信息，所述日志采集模块可查找目标数据经接口单元同步失败的目标数据并进行手动同步。
[0023]一种应用系统接口集成方法，包括如下步骤：
[0024]S1：用户在客户端界面上选择数据源头系统的类型、连接方式和用户权限信息；
[0025]S2：根据所述的连接方式连接数据源头系统，并展示数据源头系统数据结构和数据内容，用户根据具体需求选择需要采集的数据源头系统数据结构，设置对应结构的数据抽取条件，所述数据抽取条件即为配置信息，并抽取处理得到中间数据；
[0026]S3：加载数据同步策略，用户配置数据进行实时同步或者定时同步，设置数据定时同步时可设置定时同步条件，所述定时同步条件包括定时同步时间和定时同步间隔，将符合配置信息的目标数据同步到数据目标系统中；
[0027]S4：将发送的目标数据的具体内容、数据目标系统信息以及发送方式以同步日志的方式进行记录，具体信息记录到ElasticSearch中，并进行日志的查看和解析，通过分析数据同步日志可以查找到同步失败的数据并再次进行手动的数据同步。
[0028]S5：用户在客户端界面上配置数据目标系统的类型和连接方式以及用户权限信息用以接受数据。
[0029]优选的，步骤S3中用户配置数据实时同步时，当有数据审核通过时，数据同步推送模块调用实时同步单元根据之前保存的配置信息过滤该审核通过的数据，符合条件即可直接进行数据实时同步，不符合条件则不推送。
[0030]一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如应用系统接口集成方法的
步骤。
[0031]一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行应用系统接口集成方法。
[0032]本专利技术的有益效果是：
[0033](1)本专利技术增加数据同步推送模块和监听模块，通过监听模块在数据的全生命周期中进行监听，监听模块实时监听中间数据的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统，可以保证不同系统之间数据实时同步更新，无须定时的增量更新。
[0034](2)本专利技术增加日志采集模块，可以查看实时接口单元分发情况，对于分发失败的数据可以再次手动分发。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本专利技术一种数据集成系统的结构示意图；
[0037]图2为本专利技术一种数据集成方法的流程示意图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集成系统，包括客户端和服务器端，其特征在于：从客户端获得配置信息，所述配置信息是关于数据目标系统数据集成规则的信息；服务器包括数据采集模块、数据同步推送模块和与客户端进行数据通信的接口单元；所述服务器获取数据集成所需的配置信息，调用数据采集模块，并根据所述配置信息从数据源头系统中获取数据进行处理得到中间数据；所述数据同步推送模块注册有目标数据类型标识，调用所述数据同步推送模块，在所述中间数据中获取与所述目标数据类型标识对应的目标数据；基于接口单元，对所述目标数据进行同步，服务器将目标数据同步至数据目标系统中。2.根据权利要求1所述的一种数据集成系统，其特征在于：所述配置信息，包括：所述数据目标系统设置所述数据源头系统和数据目标系统的连接信息；所述数据目标系统设置数据源头系统基础数据与数据目标系统基础数据的映射关系；所述数据目标系统设置数据源头系统业务数据与数据目标系统业务数据的映射关系；所述数据目标系统设置所述中间数据与所述目标数据转换规则；所述数据目标系统设置调度策略，所述调度策略包括数据定时推送信息和数据实时推送信息；所述数据定时推送信息中用户设置定时推送条件，所述定时推送条件包括推送时间和推送时间间隔，在达到设定的推送时间或设定的推送时间间隔后触发数据推送动作；所述数据目标系统基于调度策略设置数据采集规则。3.根据权利要求2所述的一种数据集成系统，其特征在于：所述数据同步推送模块包括根据配置信息选择调用的定时同步单元和实时同步单元，所述定时同步单元用于设定从所述数据源头系统中同步目标数据的定时同步时间和定时间隔时间，所述定时同步单元用于基于配置信息实时推送符合条件的目标数据。4.根据权利要求3所述的一种数据集成系统，其特征在于：所述服务器还包括监听模块，当数据同步推送模块开启时启动监听模块，监听模块监听新增或变更数据的中间结果，并检测中间数据的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统。5.根据权利要求3所述的一种数据集成系统，其特征在于：所述接口单元适配集成方式包括RestAPI接口、JDBC数据库连接和Mq消息队列。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：杨浩东，张复生，
申请(专利权)人：陕西优百信息技术有限公司，
类型：发明
国别省市：