一种基于自适应元数据模板的多源异构空间数据归档方法技术

本发明专利技术公开了一种基于自适应元数据模板的多源异构空间数据归档方法，属于空间数据管理技术领域。该方法通过构建元数据解析模板，在进行数据归档入库的过程中从数据库实时读取模板信息，完成对空间数据元数据编目信息的动态解析；利用线程池的工作机制，实现数据归档线程的并发启动和回收，使软件可以多线程、高效率运行；设计数据归档任务管理的机制，综合考虑数据归档入库的元数据解析、规范化处理、编目入库、归档存储等过程，实现数据归档入库任务的批量化、高并发、高可靠运行。本发明专利技术根据各类空间数据的特点，定制生成元数据解析模板，并规避现有数据归档过程中的各项问题，可实现动态自适应、高可靠、高效率的多源异构空间数据归档。

【技术实现步骤摘要】
一种基于自适应元数据模板的多源异构空间数据归档方法
本专利技术涉及空间数据管理
，特别是指一种基于自适应元数据模板的多源异构空间数据归档方法，可应用于对遥感数据、海洋数据、气象数据和地理信息数据进行归档处理。
技术介绍
目前，卫星遥感技术已经在军、民、商各领域得到广泛应用，卫星系列众多。各类空间数据在经过处理之后都需要进行存储，在获取到数据文件后需要对其中的元数据文件（一般为XML文件）进行解析，然后将解析出的元数据编目信息存储到数据库中，同时将数据文件按照规则存放到指定的位置。目前，主流的数据归档方法大致都分为数据解析、元数据入库和数据归档等步骤。其中，数据解析中的元数据解析模块通过不同的函数在软件程序中直接进行定义，由于不同卫星/级别/传感器/类型的元数据信息结构各异，如果后期有新的空间数据需要进行解析处理，或者原有的数据格式发生了变化，就需要为其定制开发新的元数据解析模块，以实现数据解析的适配。在新增数据很多的情况下需要频繁修改软件。而且，在空间数据量变得很大时，往往归档入库的效率都会大幅减弱，对后续的数据处理、数据共享等操作都会产本文档来自技高网...

【技术保护点】
1.一种基于自适应元数据模板的多源异构空间数据归档方法，其特征在于，包括以下步骤：/n（1）针对一种新的数据类型，通过上传元数据文件，自动解析抽取元数据文件的树结构信息；/n（2）根据元数据文件的树结构获取所有叶子节点的元素信息，配置其对应的数据库字段和中文含义信息，/n（3）联合抽取元素信息和对应的数据库字段、中文含义信息，将信息分类汇总，自动生成元数据解析模板并保存到数据库中；所述元数据解析模板包含元素路径、数据库字段、字段类型以及中文含义；/n（4）启动数据扫描线程读取空间数据存放的监视目录信息，根据监视目录对应的元数据命名标识确定要进行归档处理的数据集合；/n（5）遍历符合命名标识的数...

【技术特征摘要】
1.一种基于自适应元数据模板的多源异构空间数据归档方法，其特征在于，包括以下步骤：
（1）针对一种新的数据类型，通过上传元数据文件，自动解析抽取元数据文件的树结构信息；
（2）根据元数据文件的树结构获取所有叶子节点的元素信息，配置其对应的数据库字段和中文含义信息，
（3）联合抽取元素信息和对应的数据库字段、中文含义信息，将信息分类汇总，自动生成元数据解析模板并保存到数据库中；所述元数据解析模板包含元素路径、数据库字段、字段类型以及中文含义；
（4）启动数据扫描线程读取空间数据存放的监视目录信息，根据监视目录对应的元数据命名标识确定要进行归档处理的数...

【专利技术属性】
技术研发人员：汪家瑞，赵汝哲，李峰，田小玲，王士成，徐小刚，徐炎，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：河北;13