通用数据交换接口及其实现方法技术

本发明专利技术公开了一种通用数据交换接口及其实现方法，属于通用数据交换接口领域。所述通用数据交换接口包括线程池模块，脚本引擎模块，转化规则模块，流程节点模块，质量规则模块，流程执行器模块，数据处理层模块，调度模块，监控模块，权限模块，元数据库与元数据库管理模块以及接口层模块。本发明专利技术提供的通用数据交换接口的数据读取采用标准sql接口，保障数据传输安全和灵活性，访问者不必具体询问底层其他数据库的关系，轻易利用本系统处理后联合的完整结果，具有通用性、可靠性、高性能、扩展性、易用性等优点。

【技术实现步骤摘要】
通用数据交换接口及其实现方法
本专利技术涉及数据交换接口，尤其涉及通用数据交换接口及其实现方法，属于数据交换接口领域。
技术介绍
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。随着企业信息化建设的发展，企业内部积累了大量的业务数据。而企业的业务数据源通常分布在相互独立的各个子系统和节点中，且随着系统的增加，冗余的数据也越来越多。企业如何通过各种技术手段，并把数据转换为信息、知识，已经成为提高其核心竞争力的主要瓶颈。物联网技术，和互联网+，不断发展出现老系统接口融合和联动存在着无数跨系统的接口问题。现在往往都是通过ETL工具，或者利用二次开发来实现。往往面临接口费的问题，有时候出现厂家恶意压制，不提供接口。现在的数据为了实现交换，都是把所有数据导入到一个数据库再统一访问这个数据库，或者效率很低的进行数据整合，从一个端口查询或利用非标准的WebService的方式进行开放。
技术实现思路
本专利技术所要解决的技术问题是提供一种通用数据交换接口，解决现有技术存在的接口不统一、不能灵活应用的问题。为解决上述技术问题，本专利技术所采取的技术方案是：本专利技术首先公开了一种通用数据交换接口，包括：线程池模块：操作系统自带的多线程功能，可增加新的处理任务，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源。脚本引擎模块：用于读取和输入GBK，utf-8，其他编码的java文本类。转化规则模块：是个文本，一些用于描述对数据数据库的增、删、改、查、等操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性。流程节点模块：是个文本，用于描述需要的数据库信息，例如账号，密码，地址等。质量规则模块：是个文本，用于描述数据的质量要求、精度要求等等。流程执行器模块：是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源；将“转化规则”、“质量规则”、“节点信息”等，根据“节点信息”判断不同的数据库类型，并将“转化规则”转化为不同的数据库语言，并通过“数据处理层”分发到数据库节点当中，并等待数据库回应，再根据“转化规则”和“质量规则”重新组合数据。数据处理层模块：是一个数据库适配器，里面是封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。调度模块：调度是一个计时器，支持定时运行的功能和运行优先级的配置，既可以是系统自带的任务功能，或者时间功能，也可以是外部的能获取到时间数据的计时设备。监控模块：是一个将整个程序正在做哪一步，正在做什么，失败与否的界面。权限模块：是一个设置，是否允许用户修改，“调度”，“节点信息”，“转化规则”等一个设置。元数据库与元数据库管理模块：元数据库是用java自带的数据库，Derby数据库，保存着软件本身的配置文件，支持导出和配置分享，用于保存设置和日志，管理工具也根据原版接口实现，。接口层模块：是tcp请求入口，用于向本程序发送命令，执行某动作，获取某数据。本专利技术进一步提供了应用所述通用数据交换接口读取数据的方法，包括：用户通过数据处理流程管理接口与执行引擎连接创建回话id传入查询语句，执行引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程并根据规则去操作其他异构数据库和一些文件，读出原始数据；执行器根据加载的处理规则对原始数据进行包括加载相关脚本、加载相关规则、加载数据格式转换及执行查找在内的加工，将加工完成后的结果返回到执行引擎并最终返回到数据处理流程管理接口。数据处理流程管理接口是连接到数据整合服务器上的服务监听器进行数据管理和数据查询流程，多数据库访问关系设计工作，设计提交数据到内部存贮元数据通过元数据管理器模块接受提交的请求保存在元数。数据库中控制器控制数据处理引擎的运行；处理引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程，根据规则去操作其他异构数据库和一些文件。本专利技术进一步提供了所述通用数据交换接口的管理配置，包括：接口层，用于连接端客户端管理工具和Mysqljdbc客户端；元数据库，元数据库中保存着软件本身的配置文件，用于保存配置规则，数据处理规则；执行引擎，负责按照设定好的规则进行操作，分为调度，监控，权限管理；数据处理层，数据处理层作为适配器，可自由添加和自由扩展新的数据库支持，灵活扩展，兼容多种数据库和非结构化数据。本专利技术提供的通用数据交换接口的数据读取采用标准sql接口，保障数据传输安全和灵活性，访问者不必具体询问底层其他数据库的关系，轻易利用本系统处理后联合的完整结果，具有通用性、可靠性、高性能、扩展性、易用性等优点。附图说明图1本专利技术通用数据交换接口的结构框图；图2本专利技术通用数据交换接口的数据读取的流程图；图3本专利技术通用数据交换接口的管理配置的流程图。具体实施方式下面结合具体实施例来进一步描述本专利技术，本专利技术的优点和特点将会随着描述而更为清楚。但是应理解所述实施例仅是范例性的，不对本专利技术的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本专利技术的精神和范围下可以对本专利技术技术方案的细节和形式进行修改或替换，但这些修改或替换均落入本专利技术的保护范围。参考图1，本专利技术所提供的一种通用数据交换接口，包括：线程池模块:操作系统自带的多线程功能，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源，可增加新的处理任务。脚本引擎模块：用于读取和输入GBK，utf-8，其他编码，的java文本类。转化规则模块：是个文本，一些用于描述对数据数据库的增、删、改、查等操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性。流程节点模块：是个文本，用于描述需要的数据库信息，例如账号，密码，地址等。质量规则模块：是个文本，用于描述数据的质量要求，精度要求等。流程执行器模块：是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源；将“转化规则”、“质量规则”、“节点信息”等，根据“节点信息”判断不同的数据库类型，并将“转化规则”转化为不同的数据库语言，并通过“数据处理层”分发到数据库节点当中，并等待数据库回应，再根据“转化规则”和“质量规则”重新组合数据。数据处理层模块：是一个数据库适配器，里面是封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。调度模块：调度是一个计时器，支持定时运行的功能和运行优先级的配置，既可以是系统自带的任务功能，或者时间功能，也可以是外部的能获取到时间数据的计时设备。监控模块：是一个将整个程序正在做哪一步，正在做什么，失败与否的界面。权限模块：权限是一个设置，是否允许用户修改，“调度”，“节点信息”，“转化规则”等一个设置。元数据库与元数据库管理模块：元数据库是用java自带的数据库，Derby数据库，用于保本文档来自技高网...

【技术保护点】
一种通用数据交换接口，其特征在于，包括：线程池模块，脚本引擎模块，转化规则模块，流程节点模块，质量规则模块，流程执行器模块，数据处理层模块，调度模块，监控模块，权限模块，元数据库与元数据库管理模块以及接口层模块。

【技术特征摘要】
1.一种通用数据交换接口，其特征在于，包括：线程池模块，脚本引擎模块，转化规则模块，流程节点模块，质量规则模块，流程执行器模块，数据处理层模块，调度模块，监控模块，权限模块，元数据库与元数据库管理模块以及接口层模块。2.按照权利要求1所述的通用数据交换接口，其特征在于，所述线程池模块是操作系统自带的多线程功能，能增加新的处理任务，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源；所述脚本引擎模块是用于读取和输入GBK，utf-8其他编码的java文本类。3.按照权利要求1所述的通用数据交换接口，其特征在于，所述转化规则模块是个文本，用于描述对数据数据库的增、删、改、查的操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性；所述流程节点模块是个文本，用于描述需要的数据库信息，优选的，所述的数据库信息包括账号，密码或地址；所述质量规则模块是个文本，用于描述数据的质量要求或精度要求。4.按照权利要求1所述的通用数据交换接口，其特征在于，所述流程执行器模块是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源。5.按照权利要求1所述的通用数据交换接口，其特征在于，所述数据处理层模块是一个数据库适配器，封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。6.按照权...

【专利技术属性】
技术研发人员：吴新凯，魏凯，
申请(专利权)人：延边众生云计算科技有限公司，
类型：发明
国别省市：吉林,22