一种遥感数据处理方法、系统、电子设备和介质技术方案

本发明专利技术提供了一种遥感数据处理方法、系统、电子设备和介质。所述方法包括：构建N个计算节点，计算节点之间通过高速网络连接，通过数据总线进行数据传递，其中，N≥1；当有一轨遥感原始码流数据待处理时，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对原始码流数据进行数据处理，同时将处理得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。本发明专利技术基于数据驱动自动发起数据处理任务，数据处理结果在每个处理任务环节之间利用数据总线进行流式传递，提高了处理速度，也保证了时效性。

A Data Processing Method, System, Electronic Equipment and Media for Remote Sensing

The invention provides a remote sensing data processing method, a system, an electronic device and a medium. The method includes: constructing N computing nodes, connecting them through high-speed network and transferring data through data bus, in which N is more than 1; when there is a track remote sensing raw bitstream data to be processed, according to the data processing flow, processing tasks of different links are scheduled on different computing nodes at the same time, and at least one computing node is paired according to the processing task. The original bitstream data is processed, and the processed data is transmitted to the computing node of the processing task in the next step through the data bus to process the data until the remote sensing data processing task is completed. The invention automatically initiates data processing tasks based on data drive, and the data processing results are transmitted by data bus between each processing task link, which improves processing speed and ensures timeliness.

【技术实现步骤摘要】
一种遥感数据处理方法、系统、电子设备和介质
本专利技术涉及一种遥感数据处理方法、系统、电子设备和介质。
技术介绍
随着遥感技术的发展，遥感数据应用于越来越多的领域，例如环境监测、灾害预警、测绘等。因此对遥感数据处理的时效性提出了更高的要求。现有遥感数据的处理通常采用外部(外部系统或人工)指令的方式驱动数据处理流程，系统响应时效性比较低。现有技术对遥感数据的处理通常为基于批处理框架实现，各个数据处理模块之间通过磁盘等存储设备将上一个数据处理模块已处理完成的数据存储至磁盘中，下一个数据处理模块从磁盘中取出待处理的数据，再进行数据处理。这样的处理模式需要上一个处理模块将数据全部处理完成后，下一个处理模块再开始处理数据。同时，处理模块通过磁盘将数据一批一批的通过多次存储和多次取出实现数据的处理。批处理框架下的数据处理过程慢，时效性低。
技术实现思路
(一)要解决的技术问题现有遥感数据的处理通常采用外部(外部系统或人工)指令的方式驱动数据处理流程，系统响应时效性比较低。现有技术对遥感数据的处理通常为基于批处理框架实现，需要上一个处理模块将数据全部处理完成后，下一个处理模块再开始处理数据。同时，处理模块通过磁盘将数据一批一批的通过多次存储和多次取出实现数据的处理。批处理框架下的数据处理过程慢，时效性低。(二)技术方案本专利技术一方面提供了一种遥感数据处理方法，所述方法包括：步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。可选地，所述步骤102包括：步骤1021，对所述N个计算节点进行分组，至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组，其中，每个计算节点组至少包括一个计算节点；步骤1022，检测到一轨新的原始码流数据时，所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据，同时将所述帧数据通过数据总线传递至所述解压缩计算节点组；步骤1023，所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理，同时将解压缩处理后的格式化数据通过数据总线传递至所述分景编目计算节点组；步骤1024，所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景，得到分景数据，当数据够一景时，在至少一个产品生产计算节点组上启动产品生产软件，将所述分景数据通过数据总线传递至产品生产计算节点组；步骤1025，所述产品生产计算节点组根据所述分景数据，生成遥感影像和元数据；步骤1026，将所述遥感影像和元数据存储在高速缓存设备中。可选地，所述方法还包括：根据遥感数据处理任务对N个计算节点进行调度和监控。可选地，对N个计算节点进行调度，包括：获取新的处理任务，依据任务类型获取其所属的计算节点组；判断所述计算节点组是否有满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，对数据进行处理。可选地，对N个计算节点进行调度，还包括：对所述计算节点处理任务的数据处理时间进行预估，判断所述数据处理时间是否超过预设数值，若是，所述计算节点任务执行失败；判断同组计算节点内是否存在满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算节点，将任务调度到所述空闲计算节点上，对数据进行处理。可选地，对N个计算节点进行监控，包括：监听N个计算节点是否存活，若否，将该计算节点从所属计算节点组中删除，并重启死亡的计算节点，判断所述计算节点是否重启成功，若否，则发出报警信息，提示系统故障，若是，将所述计算节点重新添加到所属组内，并对其分配处理任务。可选地，对N个计算节点进行监控，还包括：当重启死亡的计算节点后，所述计算节点仍无法进行数据处理，将所述计算节点中待处理的任务均衡调度至组内其余计算节点进行数据处理，并将该计算节点从所属组中删除，同时，发出报警信息，提示系统故障。本专利技术再一方面提供了一种电子设备，所述设备包括：处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器实现如上文所述的遥感数据处理方法。本专利技术又一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上文所述的遥感数据处理方法。(三)有益效果本专利技术通过数据驱动方式，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述任务对原始码流数据进行数据处理，一边处理一边将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。处理结果实时通过数据总线进行传递，实现多个处理任务环节并行执行，避免了现有技术中数据处理任务串行执行，以及需要通过磁盘等物理设备将这些中间数据进行多次存储和多次取出才能实现数据处理的问题。提高了处理速度，也保证了时效性，极大地缩短了从获取原始码流数据到生产出第一景产品数据的时间，在救灾应急、环境监测等方面具有重大应用价值。附图说明为了更完整地理解本专利技术及其优势，现在将参考结合附图的以下描述，其中：图1示意性示出了本专利技术实施例提供的遥感数据处理方法流程图；图2示意性示出了图1中本专利技术实施例提供的遥感数据处理方法中步骤102的方法流程图；图3示意性示出了本专利技术实施例提供的遥感数据处理系统框图；图4示意性示出了根据本公开实施例提供的电子设备框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本专利技术实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本专利技术。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。本专利技术的一个实施例提供了一种遥感数据处理方法，所述方法包括步骤101-102的内容，参见图1，具体地：步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1。其中，数据总线(DataBus，DB)用于传送数据信息，通常情况下，基于数据总线的数据传输方式至少包括三种：一种是基于TCP/IP协议的数据传输。二是基于Redis数据库的数据交换，三是基于高速缓存设备的高效数据总线传输。本专利技术中，数据接入与解压缩之间、解压缩与分景编目之间通过TCP/IP协议完成数据流式传输。分景编目软件在检测到数据够一景时，通过Redis发送产品生产任务，后台任务调度从Redis获取产品生产任务后，启动产品生产软件。产品生产软件通过高速缓存设备本文档来自技高网...

【技术保护点】
1.一种遥感数据处理方法，其特征在于，所述方法包括：步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。

【技术特征摘要】
1.一种遥感数据处理方法，其特征在于，所述方法包括：步骤101：构建N个计算节点，所述N个计算节点之间通过高速网络连接，通过数据总线实现数据传递，其中，N≥1；步骤102：获取待处理的一轨遥感原始码流数据，按照数据处理流程，不同环节的处理任务在不同的计算节点上同时被调度，至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理，同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理，直至完成遥感数据处理任务。2.根据权利要求1所述的方法，其特征在于，所述步骤102包括：步骤1021，对所述N个计算节点进行分组，至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组，其中，每个计算节点组至少包括一个计算节点；步骤1022，检测到一轨新的原始码流数据时，所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据，同时将所述帧数据通过数据总线传递至所述解压缩计算节点组；步骤1023，所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理，同时将解压缩处理后的格式化数据通过数据总线传递至所述分景编目计算节点组；步骤1024，所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景，得到分景数据，当数据够一景时，在至少一个产品生产计算节点组上启动产品生产软件，将所述分景数据通过数据总线传递至产品生产计算节点组；步骤1025，所述产品生产计算节点组根据所述分景数据，生成遥感影像和元数据；步骤1026，将所述遥感影像和元数据存储在高速缓存设备中。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据遥感数据处理任务对所述N个计算节点进行调度和监控。4.根据权利要求3所述的方法，其特征在于，所述对所述N个计算节点进行调度，包括：获取新的处理任务，依据任务类型获取其所属的计算节点组；判断所述计算节点组是否有满足处理任务需求的空闲计算节点，若是，获取至少一个所述空闲计算...

【专利技术属性】
技术研发人员：白鹤峰，毛秀华，胡玉新，温双燕，林精敦，关耀文，李建忠，洪海昆，李倩倩，余伟，张凯，
申请(专利权)人：中国人民解放军六三九二一部队，中国科学院电子学研究所，
类型：发明
国别省市：北京,11