一种数据交互分析系统技术方案

一种数据交互分析系统，主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统进行数据接入并在流入数据存储模块存储；之后在数据分析模块进行分析，对分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入。本发明专利技术将多个数据分析需要进行统一处理，部分分析数据可重复利用而提高数据分析效率。

【技术实现步骤摘要】

本专利技术涉及结构化与非结构化数据的数据交互、数据分析
，具体涉及一种数据交互分析系统。
技术介绍
随着云时代的来临，大数据也吸引了越来越多的关注，同时很多企事业单位都搭建了许多适合业务发展信息化应用系统，这些系统由于缺乏有效的统一规划，大量有价值的信息和数据以不同方式分布在各个应用系统，无法通过数据交互快速、有效的聚集在一起，并通过分析、处理获得有用的数据。随着大数据不断的应用，利用数据交互、数据分析对大数据进行统一的加工、处理，形成有效的数据应用，提供决策依据，将分散在不同应用系统数据统一聚合，以标准化的方式集中存储、并将加工、处理后的数据送到需要的目的系统中，是目前所有领域大数据信息化领域急需解决的问题，所以需要一种基于大数据理念的数据交互、分析系统，来解决这一问题。现有多个独立系统间进行数据交互的方式基本上为通过技术人员开发数据接口根据特定模式收取或推送数据，这种方式工作量极大且复用性很差，如何通过半自动化的方式解决独立系统间数据交互的问题，并向下游系统快速提供它所需要的有效数据，并有效释放部分技术人员，使一般人员能够进行数据交互、分析的处理，是发展趋势。
技术实现思路
本专利技术提供一种数据交互分析系统，将多个数据分析需要进行统一处理，以提升数据分析效率。本专利技术所采用的技术方案是:一种数据交互分析系统，主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据属性、数据分析方法、数据分析周期、数据传输频率、数据接收方法，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。所述流入数据配置模块中配置有可视化模块；在流入数据配置模块中通过可视化模块的可视化界面配置数据交互方法、数据传输频率、数据结构信息。所述流出数据配置模块中配置有可视化模块；在流出数据配置模块中通过可视化模块的可视化界面配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法。所述数据传输频率包括间隔交互、定时交互两种。所述数据交互方法包括完整交互、时间节点交互或触发器交互模式；所述完整交互为每次交互的是数据源下所有满足交换条件的数据；时间节点交互为每次交互的是数据源下所有满足交换条件的数据，并且作为时间节点的字段新数据的时间值要比旧数据的时间值新；触发器交互模式为只要数据源数据有任何变更，数据都会同步到接收表，该触发器交互模式数据源为关系型数据库。本专利技术主要通过在数据交互端，提供流入数据接入接口配置管理，高效、快速的进行异构系统间的接口配置，实现数据流入，然后通过流出数据配置模块与数据流出接口相协作为下游异构系统提供所需要的数据及数据接口，以加密、鉴权的方式，进行安全、高效传输，实现数据流出。本专利技术将多个数据分析需要进行统一处理，部分分析数据可重复利用而提高数据分析效率。流入数据配置模块和流出数据配置模块通过可视化的配置，将原本需要由技术人员完成的内容，全部通过可视化的方式实现，由业务需求人员直接进行，避免了由于沟通不畅等原因造成的数据分析效率低下，进一步提升业务需求人员获取分析数据的效率。本专利技术可广泛应用于旅游、教育、卫生等行业的数据交互、分析。附图说明图1为本专利技术的结构框图；图2为数据流入侧的详细结构框图；图3为数据流出侧的详细结构框图。具体实施方式下面结合具体实施例及其附图对本专利技术作进一步说明。如图1-3所示，一种数据交互分析系统，主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法信息，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。上述数据流入接口，主要实现与多种异构系统的技术接入工作，通过配置方式提高数据接入效率，本专利技术适应多种数据源类型，包括数据库（Oracle、Sybase、SQLServer、DB2、MySQL），文本数据（Excel、Json、XML），webservice接口等，因此，本专利技术可以对多个独立系统的数据源进行管理。流入数据配置模块配置每个独立数据源的数据接收方法、数据传输频率、数据结构信息。配置接收数据源，根据数据源类型选择不同数据配置项，对数据源进行连通测试。其中数据传输频率包含以下两种：间隔交互任务：以秒为单位，每间隔设置的秒数，执行一次数据交互，秒数越大，系统资源占用率越低，而数据交互时效性越大，此值越小，则反之。定时交互任务：设置定时启动，定时设置有：年、月、周、日、星期几、小时、分钟或者任意组合，系统每到指定时间，自动执行交互任务。如可以设置每日0:00与12:00两个时间节点进行数据交互。所述数据交互方法包含以下几种：完整交互：每次交互的是数据源下所有满足交换条件的数据。时间节点交互：每次交互的是数据源下所有满足交换条件的数据，并且作为时间节点的字段新数据的时间值要比旧的时间值新。触发器模式：只要数据源数据有任何变更，数据都会同步到接收表，此模式数据源需要为关系型数据库。数据分析模块,根据流出数据配置模块需求对数据进行加工、处理，并对分析数据进行二次存储,存储在分析数据存储模块,以提高数据流出效率。在流出数据配置模块配置所需要的数据类型、数据分析方法、数据属性、数据分析周期、数据传输频率、数据接收方法信息，完成后回复异构系统，通过数据流出接口进行数据对称加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。所述流入数据配置模块中配置有可视化模块；在流入数据配置模块中通过可视化模块的可视化界本文档来自技高网...

【技术保护点】
一种数据交互分析系统，其特征在于：主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据属性、数据分析方法、数据分析周期、数据传输频率、数据接收方法，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。

【技术特征摘要】
1.一种数据交互分析系统，其特征在于：主要由数据流入接口、流入数据配置模块、流入数据存储模块、数据分析模块、分析数据存储模块、流出数据配置模块、数据流出接口组成；由提供数据的异构系统首先发起连接请求，要求进行数据流入传输，数据流入接口接收到请求后，通过鉴权，允许异构系统进行数据接入，在流入数据配置模块配置数据接收方法、数据传输频率、数据结构信息，完成后回复异构系统开始进行数据接入；数据接入后，在流入数据存储模块进行流入数据的存储；之后在数据分析模块进行数据初步分析，对数据初步分析结果存储于分析数据存储模块；而后由需求数据的异构系统发起数据请求接口，数据流出接口通过鉴权后，允许异构系统进行数据接入，进行数据接入配置，在流出数据配置模块配置所需要的数据类型、数据属性、数据分析方法、数据分析周期、数据传输频率、数据接收方法，完成后回复异构系统，通过数据流出接口进行数据加密传输，将多个数据分析需要进行统一处理，以提升数据分析效率。
2.根据权利要求1所述的一种数据交互分析系统，其特征在于：...

【专利技术属性】
技术研发人员：王春生，赵武，刘涛，程昊，王建立，徐茂文，陈鑫，张志东，王旭堂，
申请(专利权)人：甘肃万维信息技术有限责任公司，
类型：发明
国别省市：甘肃;62