一种基于元数据的跨机构云端数字内容集成系统和方法技术方案

本发明专利技术公开了一种基于元数据的跨机构云端数字内容集成系统和方法，系统包括元数据提取模块、元数据公有云存储模块、检索排序模块、数字内容访问模块和质量评估模块；元数据提取模块扫描原始数字内容生成元数据；元数据公有云存储模块接收并存储非重复元数据；检索排序模块根据关键字和/或查询字段进行元数据查询，依据相关性程度和质量评估结果将元数据排序；数字内容访问模块对元数据进行地址解析生成数字内容地址，具有访问权限的用户根据地址查看或下载原始数字内容；质量评估模块对质量评估结果进行更新。实施本发明专利技术可将各机构的数字内容以元数据作为纽带有效整合到一起集中管理，并提供基于元数据的跨机构检索服务，安全性好，可扩展性强。

Meta mechanism and method for cross mechanism cloud digital content integration based on Metadata

The invention discloses a metadata inter agency cloud digital content integration system and method based on system including metadata extraction module, metadata of public cloud storage retrieval module, scheduling module, digital content access module and evaluation module; metadata extraction module to scan the original digital content to generate metadata; metadata of public cloud storage module to receive and store non duplicate metadata; sorting module according to the keywords and / or query metadata query field, based on the correlation degree and quality evaluation results of metadata ranking; digital content access module for generating digital content metadata to address address resolution, have access to the user according to the address to view or download the original digital content; quality evaluation module of quality assessment results update. By implementing the invention, the digital content of each institution can be effectively integrated together with metadata as a link, and centralized management is provided, and an inter agency retrieval service based on metadata is provided, which has good security and strong expandability.

【技术实现步骤摘要】
一种基于元数据的跨机构云端数字内容集成系统和方法
本专利技术属于云存储和信息检索交叉
，具体涉及一种基于元数据的跨机构云端数字内容集成系统和方法。
技术介绍
随着数字信息化革命的不断深入，数字内容也呈现指数级的增长趋势，对全球的政治、经济、文化和科技等各方面都产生了革命性影响。目前，很多机构都拥有海量的数字内容，但考虑到数据的安全性和隐私保护等问题，采取封闭方式管理各自的数据资源，从而无法从全局层面有效整合数据资源，最终导致“信息”孤岛的出现。数字内容的整合是信息产业发展的必然趋势，如何实现跨机构的数字内容云整合，将各个机构的数字内容以一个统一整体向用户展示，从而扩大数字内容的共享范围，已成为重要的研究课题。云存储通过集群应用、网格技术或分布式文件系统等功能，将网络中大量异构存储设备通过应用软件集合起来协同工作，共同提供数据存储和业务访问功能。云存储具有诸多独特优势，例如支持海量存储及动态扩展、数据备份高效、性价比高等。目前，数字内容往往孤立地保存在机构内部。目前许多机构尚不愿意把数字内容完全转移到公有的云存储平台上，将数字内容全部保存到云存储平台上，尽管可以大家带来便利，与此同时也意味着数字内容控制权的转移，数据的访问和控制权完全由公有云存储服务商掌握，这是很多企业难以接受的方案。因而很难推动用公有云存储将各个机构的数据集中存储，导致跨机构间数字内容无法共享。最终，各机构拥有的数字内容平均利用率极低，无法最大限度地发挥数字内容的潜在价值。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于元数据的跨机构云端数字内容集成系统和方法，该系统和方法可将各机构的数字内容以元数据作为纽带有效地整合到一起集中管理，并提供基于元数据的跨机构的检索服务，安全性好，可扩展性强。本专利技术解决其技术问题所采用的技术方案是，提供一种基于元数据的跨机构云端数字内容集成系统，包括元数据提取模块、元数据公有云存储模块、检索排序模块、数字内容访问模块和质量评估模块，所述元数据提取模块用于扫描各机构原始数字内容以生成元数据，并将元数据传输到元数据公有云存储模块；所述元数据公有云存储模块用于接收元数据提取模块发送的元数据，并以轮询的方式将非重复元数据存储到指定的M个存储节点；所述检索排序模块用于根据用户输入的查询关键字和/或元数据的查询字段在元数据公有云存储模块中进行元数据查询，并依据相关性程度和质量评估结果将所述元数据排序后返回给用户；所述数字内容访问模块用于对用户查询到的欲访问的元数据进行地址解析生成数字内容的在线访问地址，具有访问权限的用户根据所述数字内容的在线访问地址查看或下载对应的原始数字内容；所述质量评估模块用于根据用户在线浏览时长和是否下载对访问过的原始数字内容的元数据进行质量评估，用户访问结束后在元数据公有云存储模块中更新该元数据的质量评估结果。在本专利技术所述的基于元数据的跨机构云端数字内容集成系统中，所述元数据公有云存储模块包括初始化模块、存储记录文件生成模块、缓存模块和哈希函数值比对模块，所述初始化模块用于初始化存储节点ID为任意存储节点的唯一标示符；所述存储记录文件生成模块用于导入元数据存储记录文件，若该文件不存在则新建空的元数据存储记录文件；所述缓存模块用于收集元数据提取模块传送的元数据并暂存于缓冲池中；所述哈希函数值比对模块用于从缓冲池中任取t条元数据并生成对应的哈希函数值；将所述t条元数据的哈希函数值依次与存储记录文件中每条记录中的哈希函数值进行比对，如果存储记录文件中不存在与之相同的哈希函数值，则向存储记录文件末尾添加新记录并将元数据存储至存储节点ID指定的存储节点，更新存储节点ID为下一个存储节点的唯一标示符；如果存储记录文件中存在与之相同的哈希函数值，则忽略当前元数据并进行下一条元数据的哈希函数值比对，直至存储完所有非重复元数据。在本专利技术所述的基于元数据的跨机构云端数字内容集成系统中，所述检索排序模块包括检索请求模块、分布式元数据检索模块和元数据综合排序模块，所述检索请求模块用于接收用户输入的查询关键字和/或元数据的查询字段，并传送给分布式元数据检索模块；接收元数据综合排序模块生成的相关元数据列表，将相关元数据列表中的元数据呈现给用户，以供用户选择感兴趣的元数据并请求访问对应的数字内容；所述分布式元数据检索模块用于根据用户输入的查询关键字和/或元数据的查询字段并行地在M个存储节点上存储的元数据集合中搜索相关的元数据，并按照相关度进行排序后分别为M个存储节点生成元数据列表；所述元数据综合排序模块用于结合各元数据的质量评估结果对M个元数据列表中相关度较大的元数据进行整体排序后生成相关元数据列表。在本专利技术所述的基于元数据的跨机构云端数字内容集成系统中，所述数字内容访问模块包括元数据地址解析模块、权限管理模块、在线浏览和下载模块，所述元数据地址解析模块用于对用户查询到的欲访问的元数据进行地址解析生成数字内容的在线访问地址；所述权限管理模块用于确认和保存用户对非免费的数字内容的访问权限；所述在线浏览和下载模块，用于在用户被确定具有访问权限后，依据所述数字内容的在线访问地址在线浏览和下载对应的原始数字内容。在本专利技术所述的基于元数据的跨机构云端数字内容集成系统中，所述原始数字内容的元数据为XML格式文件，所述元数据的字段为数字内容文件名、创建者、创建时间、文件主题、文件格式信息、文件描述、文件的URL、机构名称、机构业务范围、数字内容的访问价格、访问计数、质量评估结果和备用字段中的一种或多种。相应地，本专利技术还提供了一种基于元数据的跨机构云端数字内容集成方法，所述方法包括以下步骤：S1、扫描各机构原始数字内容并生成元数据；S2、以轮询的方式将非重复元数据存储到指定的M个存储节点；S3、根据用户输入的查询关键字和/或元数据的查询字段进行元数据查询，并依据相关性程度和质量评估结果将所述元数据排序后返回给用户；S4、对用户查询到的欲访问的元数据进行地址解析生成数字内容的在线访问地址，具有访问权限的用户根据所述数字内容的在线访问地址查看或下载对应的原始数字内容；S5、根据用户在线浏览时长和是否下载对访问过的原始数字内容的元数据的质量评估结果进行更新。在本专利技术所述的基于元数据的跨机构云端数字内容集成方法中，所述步骤S2包括以下子步骤：S21、初始化存储节点ID为任意存储节点的唯一标示符；S22、导入元数据存储记录文件，若该文件不存在则新建空记录文件并存储；S23、收集元数据提取模块传送过来的所有元数据并暂存于缓冲池中；S24、从缓冲池中任取t条元数据并生成对应的哈希函数值；S25、将所述t条元数据的哈希函数值依次与存储记录文件中每条记录中的哈希函数值进行比对，如果存储记录文件中不存在与之相同的哈希函数值，则向存储记录文件末尾添加新记录并将元数据存储至存储节点ID指定的存储节点，更新存储节点ID为下一个存储节点的唯一标示符；如果存储记录文件中存在与之相同的哈希函数值，则忽略当前元数据并进行下一条元数据的哈希函数值比对，直至存储完所有非重复元数据。在本专利技术所述的基于元数据的跨机构云端数字内容集成方法中，所述步骤S3包括以下子步骤：S31、根据用户输入的查询关键字和/或元数据的查询字段并行地在M个存储节点上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元数据的跨机构云端数字内容集成系统，包括元数据提取模块、元数据公有云存储模块、检索排序模块、数字内容访问模块和质量评估模块，其特征在于，所述元数据提取模块用于扫描各机构原始数字内容以生成元数据，并将元数据传输到元数据公有云存储模块；所述元数据公有云存储模块用于接收元数据提取模块发送的元数据，并以轮询的方式将非重复元数据存储到指定的M个存储节点；所述检索排序模块用于根据用户输入的查询关键字和/或元数据的查询字段在元数据公有云存储模块中的M个存储节点并行进行元数据查询，生成与M个存储节点对应的M个元数据列表，并依据相关性程度和质量评估结果对M个元数据列表中相关度较大的元数据进行整体排序后生成相关元数据列表，将所述相关元数据列表中的元数据从上到下展现给用户；所述数字内容访问模块用于对用户查询到的欲访问的元数据进行地址解析生成数字内容的在线访问地址，具有访问权限的用户根据所述数字内容的在线访问地址查看或下载对应的原始数字内容；所述质量评估模块用于根据用户在线浏览时长和是否下载对访问过的原始数字内容的元数据进行质量评估，用户访问结束后在元数据公有云存储模块中更新该元数据的质量评估结果。2.如权利要求1所述的基于元数据的跨机构云端数字内容集成系统，其特征在于，所述元数据公有云存储模块包括初始化模块、存储记录文件生成模块、缓存模块和哈希函数值比对模块，所述初始化模块用于初始化存储节点ID为任意存储节点的唯一标示符；所述存储记录文件生成模块用于导入元数据存储记录文件，若该文件不存在则新建空的元数据存储记录文件；所述缓存模块用于收集元数据提取模块传送的元数据并暂存于缓冲池中；所述哈希函数值比对模块用于从缓冲池中任取t条元数据并生成对应的哈希函数值；将所述t条元数据的哈希函数值依次与存储记录文件中每条记录中的哈希函数值进行比对，如果存储记录文件中不存在与之相同的哈希函数值，则向存储记录文件末尾添加新记录并将元数据存储至存储节点ID指定的存储节点，更新存储节点ID为下一个存储节点的唯一标示符；如果存储记录文件中存在与之相同的哈希函数值，则忽略当前元数据并进行下一条元数据的哈希函数值比对，直至存储完所有非重复元数据。3.如权利要求2所述的基于元数据的跨机构云端数字内容集成系统，其特征在于，所述检索排序模块包括检索请求模块、分布式元数据检索模块和元数据综合排序模块，所述检索请求模块用于接收用户输入的查询关键字和/或元数据的查询字段，并传送给分布式元数据检索模块；接收元数据综合排序模块生成的相关元数据列表，将相关元数据列表中的元数据呈现给用户，以供用户选择感兴趣的元数据并请求访问对应的数字内容；所述分布式元数据检索模块用于根据用户输入的查询关键字和/或元数据的查询字段并行地在M个存储节点上存储的元数据集合中搜索相关的元数据，并按照相关度进行排序后分别为M个存储节点生成元数据列表；所述元数据综合排序模块用于结合各元数据的质量评估结果对M个元数据列表中相关度较大的元数据进行整体排序后生成相关元数据列表。4.如权利要求3所述的基于元数据的跨机构云端数字内容集成系统，其特征在于，所述数字内容访问模块包括元数据地址解析模块、权限管理模块、在线浏览和下载模块，所述元数据地址解析模块用于对用户查询到的欲访问的元数据进行地址解析生成数字内容的在线访问地址；所述权限管理模块用于确认和保存用户对非免费的数字内容的访问权限；所述在线浏览和下载模块，用于在用户被确定具有访问权限后，依据所...

【专利技术属性】
技术研发人员：邹复好，王云飞，周可，郑胜，李春花，王桦，张胜，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42