多源异构数据整合系统技术方案

本公开涉及一种多源异构数据整合系统。其中，多源异构数据整合系统包括：数据适配器、数据采集模块、数据管理模块和数据发布模块；数据适配器用于获取不同来源的原始数据；数据采集模块用于提取原始数据对应的第一元数据，并对原始数据和第一元数据进行第一处理，得到第一目标数据和第二元数据，并将第一目标数据和第二元数据存储至发布数据库；数据管理模块用于对发布数据库中的第一目标数据和第二元数据进行预设管理；数据发布模块用于对发布数据库中的待发布数据进行发布，根据本公开实施例，能够提高多源异构数据的管理效率和数据处理的准确性，同时进一步方便用户更好的使用多源异构数据。源异构数据。源异构数据。

【技术实现步骤摘要】
多源异构数据整合系统


[0001]本公开涉及数据处理
，尤其涉及一种多源异构数据整合系统。

技术介绍

[0002]从20世纪60年代开始，经过60年的发展，遥感、全球定位系统和地理信息系统等应用领域变得越来越广泛，随着国产卫星在轨数量不断增加,自然资源、农业、林业、水利、矿产等不同政府部门和行业已经积累了大量的数据资源，数据量的剧增，大大减少了传统的野外作业工作量，实现了时空地理信息的快速获取以及快速应用。
[0003]然而，大量的数据资源的来源不同、数据格式等也不同，随之出现了大量的数据资源的存储和管理问题，即多源异构数据的存储和管理的问题，给多源异构数据整合系统带来了巨大的挑战。

技术实现思路

[0004]为了解决上述技术问题，本公开提供了一种多源异构数据整合系统。
[0005]本公开实施例提供了一种多源异构数据整合系统，该系统包括数据适配器、数据采集模块、数据管理模块和数据发布模块；
[0006]数据适配器用于获取不同来源的原始数据；
[0007]数据采集模块用于提取原始数据对应的第一元数据，并对原始数据和第一元数据进行第一处理，得到第一目标数据和第二元数据，并将第一目标数据和第二元数据存储至发布数据库；
[0008]数据管理模块用于对发布数据库中的第一目标数据和第二元数据进行预设管理，预设管理包括实体管理、血缘管理和标签管理；
[0009]数据发布模块用于对发布数据库中的待发布数据进行发布。
[0010]在本公开一些实施例中，数据采集模块包括第一路径获取单元、数据下载单元、第二路径获取单元和处理单元；
[0011]第一路径获取单元用于获取原始数据的第一下载路径，并将第一下载路径进行记录，将第一下载路径和原始数据放入采集任务列表中；
[0012]数据下载单元用于从采集任务列表中获取原始数据，并基于预设下载技术将原始数据下载至本地磁盘，并从原始数据中提取出第一元数据；
[0013]第二路径获取单元用于确定原始数据、第一元数据在本地磁盘的第二下载路径；
[0014]处理单元用于对原始数据和第一元数据进行第一处理，其中，第一处理包括坐标转换处理、格式标准化处理。
[0015]在本公开一些实施例中，原始数据为原始影像数据；
[0016]数据下载单元还用于在原始数据为原始影像数据时，从原始影像数据中提取出原始影像数据对应的元数据和落图；
[0017]处理单元还用于对原始影像数据对应的元数据和落图进行第一处理。
[0018]在本公开一些实施例中，该系统还包括缓存数据库和预检模块；
[0019]缓存数据库用于在将第一目标数据和第二元数据存储至发布数据库之前，存储第一目标数据和第二元数据；
[0020]预检模块用于对缓存数据库中的第一目标数据和第二元数据进行预检查处理，确定第一目标数据和第二元数据是否完整，在确定第一目标数据和第二元数据完整时，将第一目标数据和第二元数据从缓存数据库迁移至发布数据库。
[0021]在本公开一些实施例中，该系统还包括数据处理模块；
[0022]数据处理模块用于对第一目标数据和第二元数据进行第二处理，得到第二目标数据和第三元数据，将第二目标数据和第三元数据存储至发布数据库；
[0023]缓存数据库还用于在将第二目标数据和第三元数据存储至发布数据库之前，存储第二目标数据和第三元数据；
[0024]预检模块用于对缓存数据库中的第二目标数据和第三元数据进行预检查处理，确定第二目标数据和第三元数据是否完整，在确定第二目标数据和第三元数据完整时，将第二目标数据和第三元数据从缓存数据库迁移至发布数据库。
[0025]在本公开一些实施例中，数据管理模块包括实体管理单元、血缘管理单元和标签管理单元；
[0026]实体管理单元用于对发布数据库中的待发布数据对应的实体进行创建、更新、删除；
[0027]血缘管理单元用于对发布数据库中的待发布数据对应的实体进行血缘关系的建立、更新、删除；
[0028]标签管理单元用于对发布数据库中的待发布数据对应的实体进行标签的创建、更新、删除。
[0029]在本公开一些实施例中，数据发布模块包括数据形式确定单元；
[0030]数据形式确定单元用于确定发布数据库中的待发布数据的数据形式，其中数据形式包括栅格形式和矢量形式。
[0031]在本公开一些实施例中，数据发布模块还包括第一发布单元和第二发布单元；
[0032]第一发布单元用于在待发布数据的形式为栅格形式时，基于镶嵌数据集技术对待发布数据进行发布；
[0033]第二发布单元用于在待发布数据的形式为矢量形式时，基于矢量瓦片技术对待发布数据进行发布。
[0034]在本公开一些实施例中，第一发布单元具体用于采用金字塔式多级缓存的方式，按照第一预设显示比例对待发布数据进行发布，在原始数据为原始影像数据时，对待发布数据进行渲染后发布；
[0035]第二发布单元具体用于获取第二预设显示比例，基于第二预设显示比例对待发布数据进行预处理，对预处理后的待发布数据进行发布，在原始数据为原始影像数据时，对预处理后的待发布数据进行渲染后发布。
[0036]在本公开一些实施例中，第一元数据包括原始数据的基本描述信息、来源描述信息、空间信息描述、数据质量描述。
[0037]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0038]本公开实施例提供的多源异构数据整合系统，包括数据适配器、数据采集模块、数据管理模块和数据发布模块，数据适配器用于获取不同来源的原始数据，数据采集模块用于提取原始数据对应的第一元数据，并对原始数据和第一元数据进行第一处理，得到第一目标数据和第二元数据，并将第一目标数据和第二元数据存储至发布数据库，数据管理模块用于对发布数据库中的第一目标数据和第二元数据进行预设管理，预设管理包括实体管理、血缘管理和标签管理，数据发布模块用于对发布数据库中的待发布数据进行发布，由此，能够通过数据适配器获取到不同来源的原始数据，并对不同来源的原始数据进行元数据提取、第一处理，存储至发布数据库，并对发布数据库中的数据进行发布，实现了多源异构数据的管理和整合，提高了多源异构数据的管理效率和数据处理的准确性，同时进一步方便用户更好的使用多源异构数据。
附图说明
[0039]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0040]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本公开实施例提供的一种多源异构数据整合系统的结构示意图；
[0042]图2是本公开实施例提供的另一种多源异构数据整合系统的结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构数据整合系统，其特征在于，所述系统包括数据适配器、数据采集模块、数据管理模块和数据发布模块；所述数据适配器用于获取不同来源的原始数据；所述数据采集模块用于提取所述原始数据对应的第一元数据，并对所述原始数据和所述第一元数据进行第一处理，得到第一目标数据和第二元数据，并将所述第一目标数据和所述第二元数据存储至发布数据库；所述数据管理模块用于对所述发布数据库中的所述第一目标数据和所述第二元数据进行预设管理，所述预设管理包括实体管理、血缘管理和标签管理；所述数据发布模块用于对所述发布数据库中的待发布数据进行发布。2.根据权利要求1所述的多源异构数据整合系统，其特征在于，所述数据采集模块包括第一路径获取单元、数据下载单元、第二路径获取单元和处理单元；所述第一路径获取单元用于获取所述原始数据的第一下载路径，并将所述第一下载路径进行记录，将所述第一下载路径和所述原始数据放入采集任务列表中；所述数据下载单元用于从所述采集任务列表中获取所述原始数据，并基于预设下载技术将所述原始数据下载至本地磁盘，并从所述原始数据中提取出所述第一元数据；所述第二路径获取单元用于确定所述原始数据、所述第一元数据在所述本地磁盘的第二下载路径；所述处理单元用于对所述原始数据和所述第一元数据进行所述第一处理，其中，所述第一处理包括坐标转换处理、格式标准化处理。3.根据权利要求2所述的多源异构数据整合系统，其特征在于，所述原始数据为原始影像数据；所述数据下载单元还用于在所述原始数据为所述原始影像数据时，从所述原始影像数据中提取出所述原始影像数据对应的元数据和落图；所述处理单元还用于对所述原始影像数据对应的元数据和落图进行所述第一处理。4.根据权利要求1所述的多源异构数据整合系统，其特征在于，所述系统还包括缓存数据库和预检模块；所述缓存数据库用于在将所述第一目标数据和所述第二元数据存储至所述发布数据库之前，存储所述第一目标数据和所述第二元数据；所述预检模块用于对所述缓存数据库中的所述第一目标数据和所述第二元数据进行预检查处理，确定所述第一目标数据和所述第二元数据是否完整，在确定所述第一目标数据和所述第二元数据完整时，将所述第一目标数据和所述第二元数据从所述缓存数据库迁移至所述发布数据库。5.根据权利要求4所述的多源异构数据整合系统，其特征在于，所述系统还包括数据处理模块；所述数据处理模块用...

【专利技术属性】
技术研发人员：付垒，谢涛，杨九荣，
申请(专利权)人：天图软件科技有限公司，
类型：发明
国别省市：