一种云环境中数据交换与共享方法及系统技术方案

本发明专利技术提出了一种云环境中数据交换与共享方法及系统，涉及数据共享与处理技术领域。本发明专利技术基于数据交换模型实现交换数据在异构数据库和应用系统中的数据交换与共享，该数据交换模型基于可配置的方式，预定义不同数据源中的数据结构转换、数据项表达映射操作。在数据交换过程中，基于这一预定义内容进行数据的自动处理。同时，并结合数据仓库，为用户提供统计、分析等服务。通过本发明专利技术所提出的异构数据采集与交换技术可以为用户屏蔽底层不同的数据源，从而使使用不同数据库的应用系统之间能共享、交换数据和信息。这一发明专利技术在大型分布式信息系统数据集成领域具有积极的应用价值。

Method and system for exchanging and sharing data in cloud environment

The invention provides a method and a system for exchanging and sharing data in a cloud environment, relating to the technical field of data sharing and processing. The invention realizes data exchange model exchange in the heterogeneous database and application system of data sharing and data exchange based on the data exchange model can be configured based on predefined data from different data sources, data mapping expression of structural transfer operation. In data exchange, automatic processing of data is based on this predefined content. At the same time, combined with data warehouse, to provide users with statistics, analysis and other services. The heterogeneous data acquisition and exchange technology presented by the invention can shield different data sources at the bottom of the user, thereby enabling the sharing and exchange of data and information between the application systems using different databases. The invention has positive application value in the field of data integration in large-scale distributed information systems.

【技术实现步骤摘要】
一种云环境中数据交换与共享方法及系统
本专利技术涉及异构数据处理领域，具体涉及云环境中异构数据的共享、交换与集成技术。本专利技术基于数据交换模型实现交换数据在异构数据库和应用系统中的数据交换，通过数据交换模型对不同的数据源进行统一存储管理，并结合数据仓库，为用户提供统计、分析等服务。通过本专利技术所提出的云环境中数据交换与共享方法及系统可以为用户屏蔽底层不同的数据源，从而使使用不同数据库的应用系统之间能共享、交换数据和信息。
技术介绍
近年来，随着信息技术的深入发展，数据模型和各业务流程不断完善，出现了大量的不同类型的数据库系统，比如关系数据库、NoSQL数据库和JSON数据库等。这些数据库系统不仅软硬件平台各异，不同数据库之间的数据结构和存储方式也来自不同的数据库模型而各不相同，不同数据库中有相同语义的对象可能具有不同的名称，而且这些对象可能由不同的单位进行度量，致使相互的异构数据库系统之间不能进行共享，使得各个数据库系统之间的交互变得越来越复杂和困难，大大降低了数据的利用价值。在数据联通方面，典型问题就是“信息孤岛”的出现。各个信息化系统各自为战，各自拥有自己的数据存储模式，各自拥有自己的系统架构，这对企业各个部门之间、各个企业之间进行数据交换形成了巨大的障碍。同时，这种“信息孤岛”往往伴随着系统耦合性高的问题，这又造成了系统可改造性能低，既不便于自己业务的拓展，也不利于引入第三方服务，不能快速的适应互联网技术的快速发展，逐渐造成了自我封闭的困境。数据交换的目的就是消除这种信息孤岛，为用户提供一个统一的查询接口，屏蔽底层数据源的不同，使得用户不必再考虑底层数据源的数据模型、物理位置和语义异构等问题，将多个分布、异构数据源集成在一起，从而使这些使用不同数据库的应用系统之间能共享、交换数据和信息，形成一个虚拟的、统一的系统。目前针对数据交换的需求，比较成型的解决办法主要有两种：一种是传统的EDI(ElectronicDataInterchange)技术，也就是所谓的电子数据交换技术，将数据标准化和格式化，并通过计算机网络，在计算机网络系统之间进行数据交换和自动处理。EDI发送方取出要发送的数据转换成平面文件，然后将平面文件翻译为统一标准EDI报文并组成EDI信件，发送给接收方，接收方收到后将信件拆开并翻译为平面文件，转换并送到应用系统中进行处理。由于EDI是采用统一标准编制数据信息的，数据交换必须按规定程式进行，一旦目的端变了，就要做出新规定，缺少扩充性，无法满足业务系统中不同异构数据源进行数据交换的需求。另一种为建立数据仓库，其用于交换和处理数据的技术大致有三种。其一，最常用的方法就是ETL(Extract-Transform-Load)，通过ETL技术，将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后经过清洗、转换、集成，最后加载到数据仓库或数据集市中，即从数据源抽取出所需的数据，经过数据清洗并转换为一个标准的格式，最终按照预先定义好的数据仓库模型将数据加载到数据仓库中去，从而实现数据在系统间的转移；在这个过程中还可对数据顺带做一些修改，使其满足条件，最后完成整个数据交换工作。在传统行业的数据仓库项目中，大多会采用一些现成的ETL工具，如Informatica、Datastage、微软SSIS等，但专业的ETL厂商的产品(Informatica等)往往功能复杂配置繁琐，其高昂的价格也会使一般用户望而却步，而整体数据仓库方案供应商或数据库提供商(OracleWarehouseBuilder等)提供的相应的ETL工具仅对自己厂商的相关产品有很好的支持并能发挥出最大效率，但其结构相对封闭，无法支持多个异构数据源的数据进行数据交换。目前国内同类软件开发相对落后，较成熟的异构数据转换产品非常少，软件的可操作性较差，在功能、性能上都不够理想。其二，另外一个流行的方法就是ELT(Extract-Load-Transform)，与ETL不同的是，数据从数据源中的数据库被抽取出来后，装入暂存区并进行清洗和优化，而在数据仓库中则进行和数据交换与集成有关的纯粹的转换，但该方法仅适用于数据比较灵巧、结构化非常好以及数据量非常小的场合。其三，CDC(ChangeDataCapture)即增量数据采集技术，在源系统上安装一个第三方应用程序从数据库日志中提取数据来收集数据的变化，将增量数据从数据源中抽取出来，并传送到数据仓库中。在目标端，安装同样的第三方应用系统，用于处理每个抽取过来的数据，并装入数据仓库的暂存区，然后对数据进行清洗、优化并转换到其在数据仓库中的最终目的地。此种方法适用于需要以近乎实时的方式处理数据、数据的可用性非常关键的场合，但此种方法关注于动态变化的增量数据，不能适用于全量数据。所以，需要一种异构数据间进行交换和集成的方法，该方法既可以满足用户对种类繁多的异构数据源进行整合的需求，进而使它们成为对联机分析系统和数据挖掘等决策分析有用的数据，又可以通过全量/增量方式进行数据的后期更新。
技术实现思路
本专利技术的目的是针对现有异构数据源之间数据交换和集成困难的问题，提供一种云环境中数据交换与共享方法。本专利技术为实现上述目的所采用的技术方案为：一种云环境中数据交换与共享方法，其步骤包括：1)在前置区部署交换数据库和数据交换模块，在后台部署数据接入与认证管理模块、数据仓库管理模块、中间数据库、以及数据仓库；2)建立数据交换模型，该数据交换模型定义交换数据库与中间数据库中的各个数据库、数据表、数据项以及数据相互之间的对应关系；3)通过前置区的数据交换模块管理交换数据库，通过交换数据库从数据源接收采集的数据，数据交换模块依据数据交换模型中的数据转换规则进行数据转换，并将转换后的数据推送给后台的数据接入与认证管理模块；4)后台的数据接入与认证管理模块对接收到的数据进行认证和校验，然后将数据写入中间数据库；5)后台的数据仓库管理模块根据管理制度，以特定的时间周期从中间数据库中提取数据进行处理、统计与分析，将所得结果作为数据产品存储在数据仓库中。一种云环境中异构数据交换与共享系统，该系统包括：数据源、前置区、后台，该前置区包括数据交换模块、交换数据库，该后台包括数据接入与认证管理模块、数据仓库管理模块、辅助服务模块以及中间数据库、数据仓库、备份数据库，其中：所述数据交换模块在交换端的前置区中值守交换数据库，交换端的采集方根据管理要求采集数据后将其提取、推送到交换数据库中。而后给数据交换模块发送消息，提交数据交换请求，完成数据的提交与交换过程。所述“交换端”是指与其他采集系统进行交互的部分；“值守”是指数据交换模块按照预定的时间，周期性地从交换数据库中提取最新数据，并将其发送给数据接入与认证管理模块；“交换端的采集方”是指采集交换数据的线程，通过其定义的数据采集接口采集到数据后推送到本系统的交换数据库中。所述数据接入与认证管理模块中包括一个数据接入与认证服务器，用来与前置区进行通信与数据交换，前置区数据交换到系统中后，根据当前数据包的标签对数据源的标签信息进行认证，完成认证后，将数据解密。同时，根据数据标准对其中的数据进行校验，完成这一工作后，将数据写入中间数据库中，完成数据交换的基本步骤。所述数据仓库管理模本文档来自技高网...

【技术保护点】
一种云环境中数据交换与共享方法，其特征在于，包括如下步骤：1)在前置区部署交换数据库和数据交换模块，在后台部署数据接入与认证管理模块、数据仓库管理模块、中间数据库、以及数据仓库；2)建立数据交换模型，该数据交换模型定义交换数据库与中间数据库中的各个数据库、数据表、数据项以及数据相互之间的对应关系；3)通过前置区的数据交换模块管理交换数据库，通过交换数据库从数据源接收采集的数据，数据交换模块依据数据交换模型中的数据转换规则进行数据转换，并将转换后的数据推送给后台的数据接入与认证管理模块；4)后台的数据接入与认证管理模块对接收到的数据进行认证和校验，然后将数据写入中间数据库；5)后台的数据仓库管理模块根据管理制度，以特定的时间周期从中间数据库中提取数据进行处理、统计与分析，将所得结果作为数据产品存储在数据仓库中。

【技术特征摘要】
1.一种云环境中数据交换与共享方法，其特征在于，包括如下步骤：1)在前置区部署交换数据库和数据交换模块，在后台部署数据接入与认证管理模块、数据仓库管理模块、中间数据库、以及数据仓库；2)建立数据交换模型，该数据交换模型定义交换数据库与中间数据库中的各个数据库、数据表、数据项以及数据相互之间的对应关系；3)通过前置区的数据交换模块管理交换数据库，通过交换数据库从数据源接收采集的数据，数据交换模块依据数据交换模型中的数据转换规则进行数据转换，并将转换后的数据推送给后台的数据接入与认证管理模块；4)后台的数据接入与认证管理模块对接收到的数据进行认证和校验，然后将数据写入中间数据库；5)后台的数据仓库管理模块根据管理制度，以特定的时间周期从中间数据库中提取数据进行处理、统计与分析，将所得结果作为数据产品存储在数据仓库中。2.如权利要求1所述的方法，其特征在于，步骤3)的实现过程如下：S1，当数据源开始进行数据交换时，首先访问数据交换信息接口请求进行数据交换认证；S2，前置区中的数据交换模块接收到请求信息，根据当前数据包的标签对数据源的标签信息进行认证，并返回给数据源认证结果信息和基线信息；S3，数据源从返回的结果中提取出交换数据库的接入信息和此时的基线信息，将要交换的数据、认证信息和基线信息写入到前置区的交换数据库中；S4，数据源发送写入完成信息给数据交换模块中的消息接口，即通知数据写入交换数据库完成；S5，数据交换模块从交换数据库中提取出与该数据源的认证信息和基线信息对应的基线数据；S6，数据交换模块依据数据交换模型文件中该部分数据的转换规则定义，进行数据转换；S7，数据交换模块将转换后的基线数据进行加密签名打包，并封装对应的数据源与基线标签，传输给后台数据接入与认证管理服务器。3.如权利要求2所述的方法，其特征在于，步骤4)的实现过程如下：S7，后台的数据接入与认证模块对接收到的数据进行解密和一致性校验；S8，通过校验的数据，根据数据的增量模式进行本地数据合并与处理，将数据写入中间数据库中，并返回写入结果信息；S9，数据交换模块通过交换数据库管理，依据结果信息，删除交换成功的基线数据，并提示写入的结果错误信息。4.如权利要求3所述的方法，其特征在于，步骤5)的实现过程如下：S10，数据仓库管理模块根据配置好的数据仓库与统计量信息，定期启动后台数据仓库产品加工任务；S11，数据仓库管理模块获取最新的基线信息以及数据集合分区信息，提交数据处理平台分区进行各个统计量的计算处理；S12，根据最新基线的统计量配置信息，提取中间数据库中的当前基线周期内的数据集，将各个统计量的目标数据集合进行合并，形成数据产品，写入数据仓库，完成当前基线的统计量产品加工任务。5.如权利要求1所述的方法，其特征在于，在数据交换返回的结果中包含交换失败的数据记录，以该记录的数据库名、数据表名和表中能唯一标识该记录的关键字来标识该记录，数据交换模块接收到返回结果后，根据这些信息来确定交换失败数据，而删除掉交换成功的数据。6.如权利要求1所述的方法，其特征在于，采用数据模式分为增量模式和全量模式，数据交换模块定时执行增量模式数据的数据交换任务，全量模式由数据源发起数据交换请求；增量模式数据在中间库中写入数据库中对应表的末尾，而全量模式数据则在替换中间库中原来的对应数据，并记录日志，以在发生故障时进行故障恢复。7.一种采用权利...

【专利技术属性】
技术研发人员：王之欣，郭皓明，魏闫艳，庞廓，田霂，焉丽，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11