一种支持多元异构类型数据的接入配置系统技术方案

本发明专利技术提出了一种支持多元异构类型数据的接入配置系统，包括：统计模块用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果；数据源管理模块用于接入的第三方数据源，支持Restful API关系型数据库、ESB接口、WebService、Socket，支持用户登录验证；源接口管理模块用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数据加密；接口管理模块用于管理数据接口的输出，将多种格式的原始数据，按照用户的自定义的数据项标准化输出。本发明专利技术提供可视化界面，省去编码负担；提供数据的统一接口；可在可视化界面自定义清洗规则，为用户提供个性化服务。

An access configuration system supporting multiple heterogeneous types of data

【技术实现步骤摘要】
一种支持多元异构类型数据的接入配置系统
本专利技术涉及大数据处理
，特别涉及一种支持多元异构类型数据的接入配置系统。
技术介绍
目前，针对多元异构数据的接入需要进行测试对比、接入、清洗、融合到之后的应用都需要跨部门沟通和协调，这样费时费力，效率低，成本高。并且在数据清洗阶段目前的数据清洗都需要先设计清洗策略，然后通过代码编写的方式实现清洗逻辑，这样的数据清洗的方式比较繁琐。而且，接口之间可能从属于一个功能模块，彼此之间相互联系，但接口与接口之间是独立的，这样就可能会造成接口间的联系不紧密。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种支持多元异构类型数据的接入配置系统。为了实现上述目的，本专利技术的实施例提供一种支持多元异构类型数据的接入配置系统，包括：统计模块、数据源管理模块、源接口管理模块和接口管理模块，其中，所述统计模块用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果；所述数据源管理模块用于接入的第三方数据源，支持RestfulAPI关系型数据库、ESB接口、WebService、Socket，支持用户登录验证；所述源接口管理模块用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数据加密；所述接口管理模块用于管理数据接口的输出，将多种格式的原始数据，按照用户的自定义的数据项标准化输出。进一步，所述统计模块进行多维度的数据统计，包括：对当日接口调用量、页面访问量、每周访问量进行数据统计。进一步，所述数据源管理模块还用于支持连接时长控制、参数配置和json的连接方式，支持系统参数和在线联调测试。进一步，所述源接口管理模块还用于配置数据接口返回代码及代码值，支持数据接口在线热插拔，支持接口联调测试。进一步，所述源接口管理模块还用于对接入的接口响应参数，根据配置的清洗规则进行数据清理。进一步，所述配置清洗规则，包括：配置参数名、规则名称、过滤规则，通过界面配置实现数据的清洗工作，提供算子级的逻辑操作方法。进一步，所述根据配置的清洗规则进行数据清理，包括如下步骤：首先对数据进行统一格式转换，输出一维格式数据；其次根据配置的算子逻辑对转换后的数据进行逻辑运算，最终将符合逻辑的数据进行输出，得到过滤后的响应参数。进一步，所述源接口管理模块还用于提供接口聚合功能，根据配置的聚合数据源接口，后台通过java多线程进行并行异步调用，对返回的数据根据聚合规则进行合并处理，并统一输出，将聚合后的多接口定义为模板。进一步，所述源接口管理模块还用于在同一模板下对各个接口自定义优先级，包括：根据模板中配置的接口优先级，根据优先级由高到低的顺序，后台程序依次进行请求，并对结果进行解析处理。根据本专利技术实施例的支持多元异构类型数据的接入配置系统，提供多元异构数据无需开发快速接入、图形化界面呈现、通过图形化界面进行配置、针对接口响应参数可以自定义清洗规则、多接口之间实现聚合、对于聚合的接口可实现自定义优先级。本专利技术实施例的支持多元异构类型数据的接入配置系统，具有以下有益效果：1.提供可视化界面，省去编码负担。2.提供数据的统一接口。3.可在可视化界面自定义清洗规则，为用户提供个性化服务。4.实现多接口聚合成模板的优点是：对于多个数据源调用的业务场景，可以减少接口调用次数，降低网络延迟，提高业务整体性能。5.模板优先级的好处：当源接口有相似接口时，接口都可使用时，但只需要一个接口的结果时，可以通过模板的优先级实现接口优先调用，该优先级有两个好处：(1)可以将费用较低的接口优先级调高，费用较高的接口优先级调低，当费用较低的接口成功返回数据时，将不再调用费用较高的接口。(2)容错机制：当优先级较高的接口无论是网络或数据接口不稳定，在设置的规定的时间内无响应时，再顺序调用下一个，如果该接口也无响应，可以再继续顺序调用，依次类推直到最后一层接口使用优先级可以针对不同接口的成本、可靠性，可以根据低成本优先、业务无中断业务需求进行优先级配置。6.可扩展，本系统是基于微服务的模块化设计，它降低了系统耦合性，同时提供二次开发SDK。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的支持多元异构类型数据的接入配置系统的结构图；图2为根据本专利技术实施例的新增数据源的图形化界面图；图3为根据本专利技术实施例的数据过滤界面的图形化界面图；图4为根据本专利技术实施例的添加过滤规则的图形化界面图；图5为根据本专利技术实施例的接口聚合界面的图形化界面图；图6为根据本专利技术实施例的自定义优先级的图形化界面图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。本专利技术提出一种支持多元异构类型数据的接入配置系统，提供了可视化的管理界面，可以通过界面配置，无须代码编写。在对本专利技术进行详细说明前，首先对本专利技术应用的两个术语进行解释：(1)多元异构类型数据：在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，它们构成了企业的异构数据源。(2)正则表达式：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。如图1所示，本专利技术实施例的支持多元异构类型数据的接入配置系统，包括：统计模块1、数据源管理模块2、源接口管理模块3和接口管理模块4。具体的，统计模块1用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果，如图2所示。统计模块1进行多维度的数据统计，包括：对当日接口调用量、页面访问量、每周访问量等数据进行实时数据统计。然后，统计模块1每隔一段时间输出一次统计结果并展示到页面上。数据源管理模块2用于接入的第三方数据源，支持RestfulAPI关系型数据库、ESB接口、WebService、Socket，支持用户登录验证。数据源管理模块2还用于支持连接时长控制、参数配置和json多种方式连接，支持系统参数和在线联调测试。源接口管理模块3用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数本文档来自技高网...

【技术保护点】
1.一种支持多元异构类型数据的接入配置系统，其特征在于，包括：统计模块、数据源管理模块、源接口管理模块和接口管理模块，其中，/n所述统计模块用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果；/n所述数据源管理模块用于接入的第三方数据源，支持Restful API关系型数据库、ESB接口、WebService、Socket，支持用户登录验证；/n所述源接口管理模块用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数据加密；/n所述接口管理模块用于管理数据接口的输出，将多种格式的原始数据，按照用户的自定义的数据项标准化输出。/n

【技术特征摘要】
1.一种支持多元异构类型数据的接入配置系统，其特征在于，包括：统计模块、数据源管理模块、源接口管理模块和接口管理模块，其中，
所述统计模块用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果；
所述数据源管理模块用于接入的第三方数据源，支持RestfulAPI关系型数据库、ESB接口、WebService、Socket，支持用户登录验证；
所述源接口管理模块用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数据加密；
所述接口管理模块用于管理数据接口的输出，将多种格式的原始数据，按照用户的自定义的数据项标准化输出。


2.如权利要求1所述的支持多元异构类型数据的接入配置系统，其特征在于，所述统计模块进行多维度的数据统计，包括：对当日接口调用量、页面访问量、每周访问量进行数据统计。


3.如权利要求1所述的支持多元异构类型数据的接入配置系统，其特征在于，所述数据源管理模块还用于支持连接时长控制、参数配置和json的连接方式，支持系统参数和在线联调测试。


4.如权利要求1所述的支持多元异构类型数据的接入配置系统，其特征在于，所述源接口管理模块还用于配置数据接口返回代码及代码值，支持数据接口在线热插拔，支持接口联调测试。

【专利技术属性】
技术研发人员：崔晶晶，左琦，
申请(专利权)人：集奥聚合北京人工智能科技有限公司，
类型：发明
国别省市：北京;11