【技术实现步骤摘要】
基于FTP的遥感影像数据自动规范化处理方法、装置及介质
本专利技术属于遥感数据管理领域，具体而言是一种基于FTP的遥感影像数据自动规范化处理方法、装置及介质。
技术介绍
随着商业航天应用的快速发展，获取的遥感数据越来越多。在海量的遥感数据中，对数据进行编目、归档，实现数据的快速查询调用，具有重要的意义。面对海量的遥感影像数据，对数据进行编目、归档，实现数据的规范化处理，传统的方法是先下载影像数据，然后以人工的方式对每组数据进行校验，将符合要求的数据进行归档存储。传统的方法需要人工对每组数据进行校验，效率比较低，难以满足海量遥感数据的快速归档要求，一般只用于少量遥感影像数据的处理。目前自动进行规范化处理的方法大多采用先下载后处理的方式，只有等所有文件都下载完毕，才能进行处理，在海量影像处理场景下，容易堆积大量文件，无法满足处理的时效性要求。传统的方法需要人工对每组数据进行校验，效率比较低，而且容易出错，无法满足海量遥感数据归档管理的实时性和准确性要求。目前已有的自动处理方法在遇到文件为空以及数据组文件不...
【技术保护点】
1.基于FTP的遥感影像数据自动规范化处理方法，其特征在于：/n初始化步骤：创建下载线程和处理线程；/n数据下载步骤：在下载线程中，从FTP服务器的文件暂存区中下载遥感影像数据，存放到本地下载文件缓存区中，遥感影像数据进行分组下载；/n完整性校验步骤：在处理线程中，从本地缓存目录中读取文件信息，对数据进行完整性校验，要求每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图，不符合要求的数据组都移除到本地的异常文件路径中，从而保证数据组是完整的；/n数据内容校验步骤：对遥感影像数据中的xml格式元数据文件内容进行校验，要求元数据内容必须包含产品ID、卫星I...
【技术特征摘要】
1.基于FTP的遥感影像数据自动规范化处理方法，其特征在于：
初始化步骤：创建下载线程和处理线程；
数据下载步骤：在下载线程中，从FTP服务器的文件暂存区中下载遥感影像数据，存放到本地下载文件缓存区中，遥感影像数据进行分组下载；
完整性校验步骤：在处理线程中，从本地缓存目录中读取文件信息，对数据进行完整性校验，要求每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图，不符合要求的数据组都移除到本地的异常文件路径中，从而保证数据组是完整的；
数据内容校验步骤：对遥感影像数据中的xml格式元数据文件内容进行校验，要求元数据内容必须包含产品ID、卫星ID、传感器ID、产品等级、产品格式、产品时间、图像数量、产品文件名称、缩略图文件名、图像分辨率、图像宽、图像高、景中心经纬度以及四角点经纬度，不符合要求的数据以及对应数据组都移除到本地的异常文件路径中，从而保证数据内容是有效的；
数据归档存储步骤：将校验合格的数据上传到FTP服务器的数据存储目录下，将校验合格的数据对应元数据内容以及数据在FTP服务器上的存储路径保存到数据库中。
2.根据权利要求1所述的基于FTP的遥感影像数据自动规范化处理方法，其特征在于：遥感数据的下载和处理并行处理。
3.根据权利要求1所述的基于FTP的遥感影像数据自动规范化处理方法，其特征在于：遥感影像数据进行分组下载时，每组遥感影像数据包含zip格式数据包和xml格式元数据和jpg格式缩略图。
4.根据权利要求1所述的基于FTP的遥感影像数据自动规范化处理方法，其特征在于：采用字典数据结构mapNull<string，int>存储下载过程中文件内容为空的文件名称及该文件检测为空的次数，采用字典数据结构mapNotFull<string，int>存储不完整的数据组名称及该组数据被检测为不完整的次数，对mapNull和mapNotFull进行判断，达到阈值条件的文件则作为异常文件移除到本地异常文件路径中，从而保证单组数据中每类文件都是完整的。
5.基于FTP的遥感影像数据自动规范化处理装置，其特征在于，所述装置包括：
初始化模块：...
【专利技术属性】
技术研发人员：姚明明，黄珍梅，杨超，张桂铭，罗李焱，朱婷萼，
申请(专利权)人：中国电子科技集团公司第二十九研究所，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。