一种基于元数据的数据共享方法及系统技术方案

本发明专利技术实施例提供一种基于元数据的数据共享方法及系统。该方法包括获取待上传的共享数据资源；对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。本发明专利技术实施例通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用系统的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。

A data sharing method and system based on Metadata

【技术实现步骤摘要】
一种基于元数据的数据共享方法及系统
本专利技术涉及数据共享
，尤其涉及一种基于元数据的数据共享方法及系统。
技术介绍
当前共享数据交换方式主要依托数据交换共享平台实现在不同的网络环境中、异构的数据系统、不同的操作平台，以统一的、标准的数据展现给最终使用者，并实现对不同系统和数据库进行数据抽取和清洗利用，实现不同信息系统之间数据资源的交换和共享。主流的数据交换方式为前置机交换方式和服务接口方式。前置机交换方式主要通过共享交换系统从各部门应用系统、其它的共享交换系统中采集共享数据，并可以将数据保存到数据库或提供各部门业务系统利用数据。它是不同平台信息共享交互的窗口，是数据共享交换的中转站。服务接口方式主要依托互联网传输技术，通过提供标准的共享数据接口服务，实现各部门数据的交换共享。相对前置机交换方式，无需数据共享交换系统；同时，用户实时的查询数据，数据更新保证，核验数据都得到了解决；对于业务部门来说，避免了数据层操作，数据属主风险得到了控制。上述两种数据交换方式分别存在不足，前置机交换方式不足点为：共享交换依赖于数据共享部门开放数据库权限，如可更新时间、可获取的字段等；同时，对于用户实时的查询数据，数据更新保证，核验数据这些是比较困难的；对于业务部门，由于在数据层进行操作，需开放底层数据库及其数据字典，由于开辟了数据通道，有改变数据属主的风险。服务接口方式不足点为：面对不同的需求，都需要提供接口服务，需要业务部门具有开发编程能力；再有接口方式进行数据交换共享，针对旧有业务数据和系统整合难度大，特别历史数据需要重新开发服务接口，实际工作中可操作性差。图1为数据资源平台共享框架图，如图1所示，数据资源平台包含部、省(区、市)、地三级，各级资源平台在汇集本级及以下的数据资源的同时，定期将数据同步至上级资源平台。该框架包括：数据资源建设层：是各业务部门数据生产系统；数据资源发布传输层：是负责互联网数据传输支持；数据资源共享服务平台：提供共享数据的发布服务，为第三方提供数据发现支持；数据资源共享传输层：提供数据资源获取服务规范、传输技术规范支持与校验。在框架中，前置交换平台则重于数据资源共享服务平台，平台需提供数据解析服务与数据存储，平台共享专业性强，通用性弱；服务接口方式则重于框架中的数据资源建设层，数据资源建设层需提供服务接口功能和数据解读能力，同时框架中的数据资源共享服务平台需提供服务接口分发与数据发现支持；数据资源共享服务平台实现的是数据资源发现，即数据集的注册、发布与描述信息的存储；数据资源建设层提供共享数据描述的规范化与数据资源传输服务。各地数据资源不统一，数据资源内容、描述方式及存储格式存在较大差异，系统维护能力迥异。旧有共享以文件形式存储于共享平台，数据庞大，数据格式不一，音频数据标识不统一，数据资源共享困难，不利于业务服务。分析前置机交换方式与服务接口方式数据共享在平台上的应用，两者有一个共同特点：技术系统的依赖性强，数据交换依赖于特定信息技术与系统的支持。因此，需要提出一种具备平台无关性，高可靠性的，不依赖于传输技术的数据共享方法。
技术实现思路
本专利技术实施例提供一种基于元数据的数据共享方法及系统，用以解决现有技术中数据交换共享过于依赖数据传播平台，以及特定的数据传播技术，使得数据传播可靠性不高，数据共享实现困难的问题。第一方面，本专利技术实施例提供一种基于元数据的数据共享方法，包括：获取待上传的共享数据资源；对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。优选的，所述对所述共享数据资源分别从元数据的定义信息、结构信息和分发与服务信息进行描述，得到数据集描述信息，之前还包括：按照预设规则对所述共享数据资源进行分类整理。优选的，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之前还包括：将所述数据集描述信息按照预设格式进行格式转换；按照所述预设格式，将所述共享资源发布方的发布用户身份信息添加在格式转换后的所述数据集描述信息中；对应地，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之后还包括：接收所述共享资源平台返回的预设格式状态码和规范化数据集描述信息；其中所述规范化数据集描述信息是由所述共享资源平台将所述数据集描述信息进行规范化处理后得到的。第二方面，本专利技术实施例提供一种基于元数据的数据共享方法，包括：从共享资源平台获取数据集描述信息；基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。优选的，所述从共享资源平台获取数据集描述信息，之前还包括：通过所述共享资源平台的资源发现接口，获取所述共享资源发布方提供的共享数据资源信息；按照预设格式，将请求用户身份信息添加在所述共享数据资源信息中并上传至所述共享资源平台，以供所述共享资源平台对所述请求用户身份信息进行认证，并在认证通过时返回所述数据集描述信息。优选的，所述从共享资源平台获取数据集描述信息，具体包括：调用数据获取接口，向所述共享资源平台发送共享资源下载请求，使得所述共享资源平台返回所述共享资源下载请求对应的规范化数据集描述信息；所述规范化数据集描述信息是将述共享资源下载请求对应的所述数据集描述信息按照预设格式和数据集描述信息规范进行编制得到的；对应地，所述基于所述数据集描述信息，从所述共享资源平台下载共享数据资源，具体包括：对所述规范化数据集描述信息进行解析，获得数据集存储路径；根据所述数据集存储路径下载获得所述共享数据资源。第三方面，本专利技术实施例提供一种基于元数据的数据共享系统，包括：第一获取单元，用于获取待上传的共享数据资源；描述处理单元，用于对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传单元，用于上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。第四方面，本专利技术实施例提供一种基于元数据的数据共享系统，包括：第二获取单元，用于从共享资源平台获取数据集描述信息；下载单元，用于基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。第五方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述一种基于元本文档来自技高网...

【技术保护点】
1.一种基于元数据的数据共享方法，其特征在于，包括：/n获取待上传的共享数据资源；/n对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；/n上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。/n

【技术特征摘要】
1.一种基于元数据的数据共享方法，其特征在于，包括：
获取待上传的共享数据资源；
对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；
上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。


2.根据权利要求1所述的一种基于元数据的数据共享方法，其特征在于，所述对所述共享数据资源分别从元数据的定义信息、结构信息和分发与服务信息进行描述，得到数据集描述信息，之前还包括：
按照预设规则对所述共享数据资源进行分类整理。


3.根据权利要求1所述的一种基于元数据的数据共享方法，其特征在于，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之前还包括：
将所述数据集描述信息按照预设格式进行格式转换；
按照所述预设格式，将所述共享资源发布方的发布用户身份信息添加在格式转换后的所述数据集描述信息中；
对应地，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之后还包括：
接收所述共享资源平台返回的预设格式状态码和规范化数据集描述信息；其中所述规范化数据集描述信息是由所述共享资源平台将所述数据集描述信息进行规范化处理后得到的。


4.一种基于元数据的数据共享方法，其特征在于，包括：
从共享资源平台获取数据集描述信息；
基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。


5.根据权利要求4所述的一种基于元数据的数据共享方法，其特征在于，所述从共享资源平台获取数据集描述信息，之前还包括：
通过所述共享资源平台的资源发现接口，获取所述共享资源发布方提供的共享数据资源信息；
按照预设格式，将请求用户身份信息添加在所述共享数据资源信息中并上传至所述共享资源平台，以供所述共享资源平台对所...

【专利技术属性】
技术研发人员：余军，罗长寿，魏清风，孙素芬，龚晶，郑亚明，曹承忠，王富荣，于维水，
申请(专利权)人：北京市农林科学院，
类型：发明
国别省市：北京;11