一种基于分布式系统和关系数据库的数据存储方法，属于空间数据分布式存储领域，其特征在于：通过空间化遥感影像元数据快速访问存储于分布式文件系统中的遥感影像数据文件。通过建立空间化元数据信息与分布式文件系统文件的关联关系，以空间元数据作为访问分布式文件系统中影像数据文件的索引，实现了对大量影像数据文件直观、便捷的访问。采用模板匹配技术实现多源遥感影像元数据信息提取，通过动态配置模板文件的手段，为应对不同来源、不同格式、不同标准，且持续变化的遥感影像元数据信息提取提供解决办法。本方法能够适应多源遥感影像元数据文件格式、标准多而复杂的实际情况和不断变化的技术发展趋势，有效提升影像元数据解析程序的扩展性。据解析程序的扩展性。据解析程序的扩展性。
【技术实现步骤摘要】
一种基于分布式系统和关系数据库的数据存储方法及装置
[0001]本专利技术属于空间数据分布式存储领域，尤其涉及一种基于分布式系统和关系数据库的数据存储方法及装置。
技术介绍
[0002]近年来，随着航空航天科技的飞速发展，我国高分专项稳步推进，从航天卫星、航空摄影、低空无人机系统到地面移动观测系统，形成了空天地一体化的感知系统，实现了全天候、全天时、多种卫星相辅相成的观测模式，它们为人们提供了多种类型、高频次的对地观测数据，且不同成像方式、不同波段、不同分辨率的遥感数据呈现爆发式增长，具有海量、多源、异构、多尺度的特点，随着数据处理技术自动化程度的提高和人工智能技术在影像解译方面的应用，需要管理和处理的影像数据量一直在高速增加。这对遥感数据的管理提出了更高的要求，需要能够按照数据量的增加动态扩容；需要在较少人工干预的前提下实现多源遥感数据的自动化入库；需要基于索引机制实现遥感数据的快速查询检索；需要实现数据入库、数据提取的多线程数据读取与写入以节约时间。
[0003]目前在多源遥感数据管理方面主要有如下四种方式，基于传统文件系统配备磁盘阵列、基于文档型数据库（MongoDB、CouchDB等）、基于列存储数据库（Cassandra、HBase等）、基于分布式文件系统（HDFS、MFS等）。基于文件系统的管理模式主要依赖文件目录进行文件检索效率低下，且在单个文件夹文件数量超过2000时效率变的低下；文档型数据库内部将大型文件拆分成小块存储于各个节点，对于单景影像大小超过8G的大型文件来说其数据入库和提取的效率会受到影像，且不支持空间查询，不利于影像数据的快速检索；列族数据库难以实现复杂的多条件查询，很难支持按空间范围查询数据的需求；基于分布式文件系统的影像存储模式，支持在普通机器上组建分布式存储系统，且能够根据数据量增加动态扩容，在数据分布存储过程中将数据文件拆分为较大数据分块进行存储，较文档型数据库来说更为适合遥感影像数据文件的存储，但由于缺乏文件索引机制在影像数据的快速检索方面难以满足简单、快捷的需要。
技术实现思路
[0004]本专利技术旨在解决上述问题，提供一种可实现多源影像数据快速、高效的管理的基于分布式系统和关系数据库的数据存储方法及装置。
[0005]第一方面，本专利技术提供一种基于分布式系统和关系数据库的数据存储方法，包括：将遥感影像数据存储于分布式文件系统；提取遥感影像数据的元数据；对遥感影像元数据进行空间化处理，建立遥感影像元数据与存储于分布式文件系统中的遥感影像数据之间的关联关系；将空间化处理后的遥感影像元数据存储于关系型数据库中，通过空间化遥感影像元数据快速访问存储于分布式文件系统中的遥感影像数据文件。
[0006]优选地，本专利技术所述基于分布式系统和关系数据库的数据存储方法，所述提取遥感影像数据的元数据采用模板匹配提取；所述模板匹配包括对遥感影像数据构建元数据提
取模板，建立影像元数据文件中元数据属性项与标准元数据属性项之间的对应关系，自动解析元数据文件、提取元数据信息。
[0007]优选地，本专利技术所述基于分布式系统和关系数据库的数据存储方法，所述对遥感影像元数据进行空间化处理包括将文本形式记录的遥感影像覆盖范围，转换成空间几何多边形的形式，并与属性信息一起组合形成影像元数据记录统一进行存储。
[0008]优选地，本专利技术所述基于分布式系统和关系数据库的数据存储方法，所述提取遥感影像数据的元数据过程包括：根据待入库遥感影像数据选择元数据模板文件；验证元数据模板文件有效性，若有效则继续执行下一步流程；若模板文件无效则返回重新读取模板文件；根据元数据模板文件中定义的元数据文件类型，循环从影像数据文件列表中读取影像元数据；所述读取过程首先根据模板文件标识信息识别元数据文件类型，根据模板文件和元数据文件类型启动元数据信息提取流程；遍历模板文件中定义的属性项以及数据类型，从元数据文件中寻找与属性项对应的元数据属性项；根据模板文件中属性项的数据类型，将元数据文件中属性项的属性值从文本类型转换成对应数据类型；元数据空间化处理；将影像元数据中的影像覆盖范围，从以文本形式描述的坐标字符转换成符合空间数据规范的几何多边形的形式；影像元数据入库，将同一影像数据文件对应的元数据属性项和几何信息组合成统一的空间要素数据记录，采用属性和空间信息一体化的方式存储于空间数据库，通过空间数据库入库接口完成数据入库；待所有影像数据文件列表中所有元数据文件处理完毕，所有元数据入库完成。
[0009]优选地，本专利技术所述基于分布式系统和关系数据库的数据存储方法，所述根据待入库遥感影像数据选择元数据模板文件，若没有与当前影像数据对应的模板文件，则启动模板文件创建流程。
[0010]优选地，本专利技术所述基于分布式系统和关系数据库的数据存储方法，所述元数据文件类型包括xml、txt、xls。
[0011]优选地，本专利技术所述基于分布式系统和关系数据库的数据存储方法，所述元数据包括存储数据标识、数据格式、采集平台、传感器、分辨率、轨道编号、获取时间、大地基准、高程基准、波段数、存储路径、中心点坐标及覆盖范围空间信息。
[0012]第二方面，本专利技术提供一种基于分布式系统和关系数据库的数据存储装置，包括：影像数据存储单元，用于将遥感影像数据存储于分布式文件系统；影像数据元数据提取单元，用于提取遥感影像数据的遥感影像元数据；对遥感影像元数据进行空间化处理，建立遥感影像元数据与存储于分布式文件系统中的遥感影像数据之间的关联关系；影像元数据存储单元，用于将空间化处理后的遥感影像元数据存储于关系型数据库中。
[0013]第三方面，本专利技术提供一种基于分布式系统和关系数据库的数据电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1
‑
7任一项所述的基于分布式系统和关系数据库的数据存储方法。
[0014]第四方面，本专利技术提供一种计算机可读存储介质，所述存储介质上存储有计算机
程序，当所述计算机程序被处理器执行时，实现如权利要求1
‑
7任一项所述的基于分布式系统和关系数据库的数据存储方法。
[0015]本专利技术所述的基于分布式系统和关系数据库的数据存储方法及装置包括如下技术优点：基于分布式文件系统和关系型空间数据库相结合进行多源遥感数据存储，结合了分布式文件系统动态扩容、高吞吐量的特性，和关系空间数据库支持空间、属性高效数据检索的优势，通过建立空间化元数据信息与分布式文件系统文件的关联关系，以空间元数据作为访问分布式文件系统中影像数据文件的索引，实现了对大量影像数据文件直观、便捷的访问。采用模板匹配技术实现多源遥感影像元数据信息提取，通过动态配置模板文件的手段，为应对不同来源、不同格式、不同标准，且持续变化的遥感影像元数据信息提取提供解决办法。本方法能够适应多源遥感影像元数据文件格式、标准多而复杂的实际情况和不断变化的技术发展趋势，有效提升影像元数据解析程序的扩展性。
附图说明...
【技术保护点】
【技术特征摘要】
1.一种基于分布式系统和关系数据库的数据存储方法，其特征在于：将遥感影像数据存储于分布式文件系统；提取遥感影像数据的元数据；对遥感影像元数据进行空间化处理，建立遥感影像元数据与存储于分布式文件系统中的遥感影像数据之间的关联关系；将空间化处理后的遥感影像元数据存储于关系型数据库中，通过空间化遥感影像元数据快速访问存储于分布式文件系统中的遥感影像数据文件。2.根据权利要求1所述基于分布式系统和关系数据库的数据存储方法，其特征在于，所述提取遥感影像数据的元数据采用模板匹配提取；所述模板匹配包括对遥感影像数据构建元数据提取模板，建立影像元数据文件中元数据属性项与标准元数据属性项之间的对应关系，自动解析元数据文件、提取元数据信息。3.根据权利要求2所述基于分布式系统和关系数据库的数据存储方法，其特征在于，所述对遥感影像元数据进行空间化处理包括将文本形式记录的遥感影像覆盖范围，转换成空间几何多边形的形式，并与属性信息一起组合形成影像元数据记录统一进行存储。4.根据权利要求2所述基于分布式系统和关系数据库的数据存储方法，其特征在于，所述提取遥感影像数据的元数据过程包括：根据待入库遥感影像数据选择元数据模板文件；验证元数据模板文件有效性，若有效则继续执行下一步流程；若模板文件无效则返回重新读取模板文件；根据元数据模板文件中定义的元数据文件类型，循环从影像数据文件列表中读取影像元数据；所述读取过程首先根据模板文件标识信息识别元数据文件类型，根据模板文件和元数据文件类型启动元数据信息提取流程；遍历模板文件中定义的属性项以及数据类型，从元数据文件中寻找与属性项对应的元数据属性项；根据模板文件中属性项的数据类型，将元数据文件中属性项的属性值从文本类型转换成对应数据类型；元数据空间化处理；将影像元数据中的影像覆盖范围，从文本形式描述的坐标字符转换成符合空间数据规范的几何多边形的形式；影像元数据入库，将同一影像数...
【专利技术属性】
技术研发人员：李儒，金群峰，张蕾蕾，马光辉，孙林，陈天颐，
申请(专利权)人：西安中科星图空间数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。