一种快速响应式遥感大数据处理系统技术方案

一种快速响应式遥感大数据处理系统，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；本发明专利技术对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。

【技术实现步骤摘要】
【专利摘要】一种快速响应式遥感大数据处理系统，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；本专利技术对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。【专利说明】一种快速响应式遥感大数据处理系统
本专利技术涉及遥感信息和计算机领域，特别是一种用于遥感大数据处理的系统。
技术介绍
遥感大数据处理系统是由人和计算机设备或其他信息处理手段组成并用于管理遥感数据的系统。遥感数据管理系统涉及到大量遥感数据信息的采集、传递、储存、加工、和维护等方面的操作。随着全球观测时代的到来，卫星遥感信息正对人类社会发展的各个领域发挥着重大作用。高分辨率遥感卫星的升空使得每天产生的遥感影像也急剧增长。遥感影像作为一种特殊的大数据，以其快速获取高分辨率影像的特点占有着越来越重要的地位，海量遥感数据的快速处理成为了最大的需求，而目前的遥感处理软件无法满足快速实时性的要求，造成了海量的遥感数据得不到及时的处理，延误了遥感数据的应用，造成了巨大的损失。当前遥感大数据处理系统在实时性上的问题主要表现为响应时间长和计算速度慢，原因有以下几点:集群节点间的通信存在带宽和延迟问题，系统的通信响应时间未达到3秒以内的标准，原因归结为使用TCP通讯容易造成资源的浪费，可尝试使用其他的协议；计算节点在初始化时，任务的发送速度及计算节电能力估计值不稳定，系统运行一段时间后才趋于稳定，未达到控制并行计算节点的每个子任务计算时间不超过10秒的技术指标；影响的计算速度与时间未达到理想目标，原因为GPU处理时数据传输时间占据了GPU处理总时间的一半以上，以至于未达到提高40倍以上的性能指标的要求；系统在运行时CPU与内存的占用率偏高,数据传输速率偏低,系统利用率和吞吐率不闻;由此可见，遥感大数据处理系统的架构并不完善，在响应时间和计算速度上存在着很大问题。为了遥感应用的推广和遥感大数据的处理，需要提出一种新的遥感大数据处理系统的架构方法，可以对海量大数据遥感影像数据进行快速的处理，以免延误遥感数据的应用和造成巨大的损失。
技术实现思路
本专利技术的目的就是提供一种快速响应式遥感大数据处理系统，它将系统分为数据整编子系统、数据管理子系统和用户服务子系统，对遥感图像原始数据进行系统的处理和管理，显著提高了数据的处理效率，操作简单。本专利技术的目的是通过这样的技术方案实现的，所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。进一步，所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块；导入影像模块，导入来自集群节点的遥感图像原始数据；影像纠正模块，纠正导入影像模块的遥感图像原始数据；影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分；系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。进一步，所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块；数据入库模块，调取数据整编子系统处理后的数据信息；任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理；存储站点监控模块，监控存储内存的容易状态；工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。进一步，所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块；本地检索模块，用户通过该模块输入检索信息；展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来；数据下载模块，根据本地检索模块输入的检索信息,从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。进一步，所述系统包括具有大内存的主控服务器，具有快速读写和热备份功能的磁盘阵列，具备多个可扩展功能的单机磁盘，且主控服务器分别与InfiniBand架构交换机和光纤交换机连接。进一步，所述主控服务器包括有I个CPU和2个GPU，CPU读取遥感图像原始数据后，内两个GPU对遥感图像原始数据进行并行处理。进一步，所述GPU选用型号为Tesla C2050，显存为3G。由于采用了上述技术方案，本专利技术具有如下的优点:本专利技术对原有的遥感数据系统进行了优化，提高了系统的响应速度和计算速度，可以对海量的遥感图像原始数据进行快速处理，避免了数据延误造成的巨大损失。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。【专利附图】【附图说明】本专利技术的【专利附图】【附图说明】如下。图1为本专利技术的结构示意图。【具体实施方式】下面结合附图和实施例对本专利技术作进一步说明。一种快速响应式遥感大数据处理系统，其特征在于:所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。所述数据整编子系统包括有导入影像模块、影像纠正模块、影像切分模块、大气纠正模块和系统自动模块；导入影像模块，导入来自集群节点的遥感图像原始数据；影像纠正模块，纠正导入影像模块的遥感图像原始数据；影像切分板块，对经过影像纠正模块纠正后的图像数据进行影像切分；系统自动模块，用户通过该模块输入遥感图像原始数据的处理参数。所述数据管理子系统包括有数据入库模块、任务单监控模块、存储站点监控模块和工作日志生成模块；数据入库模块，调取数据整编子系统处理后的数据信息；任务单监控模块，对用户输入的控制指令进行排序管理，并对数据整编子系统的数据处理流程进行任务管理；存储站点监控模块，监控存储内存的容易状态；工作日志生成模块，根据任务单监控模块所监控的任务信息，自动生成工作日志。所述用户服务子系统包括有本地检索模块、展示模块和数据下载模块；本地检索模块，用户通过该模块输入检索信息；展示模块，根据本地检索模块输入的检索信息，从数据入库模块和任务单监控模块中调取对应信息，并展示出来；数据下载模块，根据本地检索模块输入的检索信息,从数据入库模块和任务单监控模块中调取对应信息，并提供下载服务。所述主控服务器的内存要求不低于16G，建议为24G，磁盘阵列本文档来自技高网...

【技术保护点】
一种快速响应式遥感大数据处理系统，其特征在于：所述系统硬件层包括有与集群节点连接的主控服务器，软件包括有数据整编子系统、数据管理子系统和用户服务子系统；数据整编子系统，接收来自集群节点的遥感图像原始数据，对原始数据进行影像纠正、影像切分和大气纠正处理；数据管理子系统，调取并储存数据整编子系统处理后的数据，对用户输入的控制指令以及数据整编子系统的数据处理任务进行统一管理，并生成工作日志；用户服务子系统，用户通过服务子系统输入检索信息，并展示检索结果，提供信息下载服务和工作日志查看服务。

【技术特征摘要】

【专利技术属性】
技术研发人员：张可，柴毅，刘建环，田甜，钱锟，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;85