数据共享交换方法及系统技术方案

本发明专利技术实施例提供一种数据共享交换方法及系统，所述方法包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享。本发明专利技术实施例灵活实现不同系统间的数据交换、数据共享与业务协同，提高各系统信息资源的利用率，保障数据资源高效、稳定的进行共享交换。

Data Sharing and Exchange Method and System

The embodiment of the present invention provides a data sharing exchange method and system, which includes: extracting the shared exchange data requested by the user from the source database according to the shared exchange request initiated by the user; cleaning and transforming the transmitted shared exchange data according to the pre-configured parameter information of the user; and exchanging the shared exchange data after processing. The data is grouped into a resource catalogue system, and the shared exchange data is shared according to the resource catalogue of the shared exchange data. The embodiment of the invention flexibly realizes data exchange, data sharing and business cooperation among different systems, improves the utilization rate of information resources of each system, and ensures efficient and stable sharing and exchange of data resources.

【技术实现步骤摘要】
数据共享交换方法及系统
本专利技术实施例属于大数据
，更具体地，涉及一种数据共享交换方法及系统。
技术介绍
随着信息时代的飞速发展，大数据、人工智能的兴起，数据已经成为国家的核心战略资源。如何利用大数据进一步改善人民的生活水平，提升政府的管理与公共服务能力，最终实现国家的大数据战略，已经成为政府部门的共识。实现国家大数据战略的基础与关键之一，是要实现各类数据的融合共享。当前政府、企业的信息化的状况是，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，系统设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。在没有数据共享交换产品前，不同部门进行数据资源整合需要相关负责人先在线下多部门协调沟通，没有统一流程规范，沟通协调好后，数据接入也需要技术人员在后端手工操作数据库进行数据导入，出错率高，效率低下。
技术实现思路
为克服上述现有的数据共享交换方法容易出错，效率低的问题或者至少部分地解决上述问题，本专利技术实施例提供一种数据共享交换方法及系统。根据本专利技术实施例的第一方面，提供一种数据共享交换方法，包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享交换。根据本专利技术实施例第二方面提供一种数据共享交换系统，包括：采集子系统，用于根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；处理子系统，用于根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；共享子系统，用于将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享；其中，在共享过程中所述共享交换数据基于CMSP云消息服务中间件进行传输。根据本专利技术实施例的第三个方面，还提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的数据共享交换方法。根据本专利技术实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的数据共享交换方法。本专利技术实施例提供一种数据共享交换方法及系统，该方法通过根据用户的配置参数可实现对各种类型数据的共享交换，使用CMSP云消息服务中间件实现异构应用系统之间数据的高效可靠传输，灵活实现不同系统间的数据交换、数据共享与业务协同，加强信息资源管理，开展数据和应用整合，提高各系统信息资源的利用率，避免重复建设系统造成资源浪费，可以完全规范化、可视化、监控化的在线上进行操作，保障数据资源高效、稳定的进行共享交换。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的数据共享交换方法整体流程示意图；图2为本专利技术实施例提供的数据共享交换装置整体结构示意图；图3为本专利技术实施例提供的电子设备整体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的一个实施例中提供一种数据共享交换方法，图1为本专利技术实施例提供的数据共享交换方法整体流程示意图，该方法包括：S101，根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；其中，用户为业务系统中的消费者。当用户需要与外部其他系统进行数据共享交换时，在数据集市中对共享交换数据进行申请。后端由业务管理员和系统管理员审核通过后即可发放相应权限给消费者，消费者通过相应权限在集市中获取共享交换数据。将共享交换数据从源端数据库抽取出来，转换为系统设定的通用数据格式，再根据目的端数据库的类型转换为对应的数据格式进行数据交换入库，以此支撑异构数据库间的交换，整个过程由抽取、转换和入库三部分构成。可以支持基于资源目录、数据库、文件等三种方式作为数据源端，适配多种类型的关系型数据库以及Hadoop体系的数据库和文件进行交换。数据交换过程支持全量数据交换和增量数据交换，增量数据抽取过程基于数据库日志，抽取过程中对源库性能影响非常小，对源数据可实时增量同步交换。S102，根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；对抽取出的共享交换数据进行清洗和转换，用户配置完交换任务后可以进行高级配置。在数据转换方面，内置多种数据转换函数，可对源数据进行加工；在数据清洗方面，系统支持条件组过滤设置以及正则表达式匹配过滤两种方式设置，可对源数据过滤。在数据抽取后，读取用户配置信息，根据参数信息进行数据清洗和转换，实现数据质量、数据交换一站式处理。通过构建数据处理规范，建立统一完善的数据质量体系，从数据质量管理和数据服务体系两方面保障数据质量。S103，将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享；。通过资源目录的方式，充分利用业务系统已有的资源目录体系进行共享交换。通过文件的方式，解决了传统方法非结构化数据无法进行共享交换的难题。共享交换的需求由消费者在数据集市发起。在底层可以通过数据交换将数据集中化、统一化，上层可以通过数据共享将资源开放化，整个过程可以可视化监控管理。基于CMSP云消息中间件对共享交换数据进行传输。CMSP是云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务。数据共享交换基于这种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务系统，可自动对共享交换数据压缩、加密传输，保障数据可靠、高效、安全，支持随业务量、交换需求任务量动态增加或减少计算资源节点。同时，在数据交换过程中，能够动态查看数据交换任务的数据传输数据总量、实时传输速率等关键指标信息。本实施例通过根据用户的配置参数可实现对各种类型数据的共享交换，使用CMSP云消息服务中间件实现异构应用系统之间数据的高本文档来自技高网...

【技术保护点】
1.一种数据共享交换方法，其特征在于，包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享交换。

【技术特征摘要】
1.一种数据共享交换方法，其特征在于，包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享交换。2.根据权利要求1所述的方法，其特征在于，根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来的步骤之前还包括：获取用户在数据集市上发起的共享交换请求，并对所述共享交换请求进行审核；若审核通过，则获知所述用户具有访问所述共享交换数据的权限；相应地，根据所述共享交换数据的资源目录将所述共享交换数据进行共享的步骤具体包括：根据所述共享交换数据的资源目录和所述用户的访问权限将所述共享交换数据进行共享。3.根据权利要求1所述的方法，其特征在于，根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理的步骤之后还包括：将处理后的所述共享交换数据存储到中心库中；在所述中心库上层构建数据集市；相应地，将处理后的所述共享交换数据梳理成资源目录体系的步骤具体包括：将所述中心库中处理后的共享交换数据梳理成资源目录体系。4.根据权利要求1所述的方法，其特征在于，根据所述共享交换数据的资源目录将所述共享交换数据进行共享的步骤具体包括：根据所述共享交换数据的资源目录将所述共享交换数据以API、数据集、数据交换、数据报告和数据应用中的一种或多种方式进行共享。5.根据权利要求4所述的方法，其特征在于，将所述共享交换数据以API方式进行共享的步骤具体包括：根据用户配置的API参数信息进行API申请；审核通过后，将所述共享交换数据以RESTFUL接口或WEBSERVICE接口的形式提供给所述用户；将所述共享交换数据以数据...

【专利技术属性】
技术研发人员：廉明威，张宗伟，
申请(专利权)人：北京市天元网络技术股份有限公司，
类型：发明
国别省市：北京,11