一种基于OpenMP多核并行机制的数据处理与验证方法技术

一种基于OpenMP多核并行机制的数据处理与验证方法，首先根据数据的来源前端及连接后端获取并配置数据处理所需配置文件，然后根据外部指令接收前端传输的原始压缩码流数据，并读取配置文件进行数据解析、判读，把不符合的数据进行丢弃或者告警，最后对解析、判读后的数据进行并行化的解压缩处理，得到图像数据，将图像数据并行化送至后端接收软件，完成对图像数据的优化处理或者图像显示，另外采用真实遥感图片，分别测试在4:1模式和无损模式下并行化设计前后的性能，完成方法验证。通过试验可以得到本发明专利技术通过多核调度、多核指定、并行处理机制来完成数据处理，大幅度提高了数据处理速度，为整个数据处理过程节约了时间。

A Data Processing and Verification Method Based on OpenMP Multi-core Parallel Mechanism

【技术实现步骤摘要】
一种基于OpenMP多核并行机制的数据处理与验证方法
本专利技术涉及一种基于OpenMP多核并行机制的算法设计，并进行了验证，涉及遥感卫星数据处理
，具体属于数传地面数据处理领域，是指一种基于OpenMP的数传地面基带数据处理方法。
技术介绍
随着遥感卫星业务日益增多和复杂化，时间分辨率和空间分辨率越来越高，信息传输的实时性和全天候要求不断提高，对数传地面基带处理系统的能力带来了很大的挑战。目前，随着商业航天的飞速发展，实时性、高速率、低耗时成为未来遥感卫星的一个重要发展方向。与此同时，对应的数传地面基带处理系统也在朝着实时性和高速率方向发展。因此需要提出一种满足未来数传地面基带处理实时性的高效算法机制。OpenMP是串行编程语言上的一种扩展，是为在多核处理器上能够编写并行程序而设计的一种API，其目标是具有统一地址空间的并行系统提供可移植、可扩展的开发接口。OpenMP比较适合单机多核上的并行计算,而且程序并行化简单,可以把更多的精力投入到并行算法本身,而非其具体实现细节。在共享存储平台上工作，采用Open具有简单易行、移植性好等特点，是共享存储系统并行编程的工业标准，提供对并行区域、工作区间共享、同步等处理的支持。随着计算机技术的发展和多核处理器的普及，OpenMP作为多核结构编程模型的有力竞争者，在众多领域得到了越来越多的应用。
技术实现思路
本专利技术解决的技术问题为：解决了遥感卫星数传地面基带处理系统的处理实时性等难题，提出一种基于OpenMP多核并行机制的算法实现，并对该算法进行了验证，通过在系统平台上建立多个线程，并将数据处理分解到多个线程中进行并行处理，解决了卫星处理的实时性、高效率、低耗时、高可靠性、稳定性等问题，符合当前卫星的快响发展理念，有效提升了卫星处理的实时性。本专利技术解决的技术方案为：一种基于OpenMP多核并行机制的数据处理方法，包括如下步骤：(1)根据数据的来源前端及连接后端获取并配置数据处理所需配置文件；(2)根据外部指令接收前端传输的原始压缩码流数据，并读取配置文件进行数据解析、判读，把不符合的数据进行丢弃或者告警；(3)对解析、判读后的数据进行并行化的解压缩处理，得到图像数据；(4)将图像数据并行化送至后端接收软件，完成对图像数据的优化处理或者图像显示。所述的步骤(2)中读取配置文件进行数据解析，得到包括当前数据的下传卫星、下传数据时间点、下传数据轨道、下传数据放入数传通道。所述的步骤(2)中的数据判读，包括数据格式判读、有效标识符判读、压缩码流长度判读、计数器连续性判读。所述的步骤(3)中的并行化的解压缩处理包括首先对原始压缩码数据流进行图像分块，然后进行并行化的解压缩，最后对并行化解压缩后的图像数据进行图像拼接。所述的步骤(4)中将图像数据并行化送至后端接收软件为通过将多路数据分配到不同发送线程，实现实时发送至后端接收设备。所述的步骤(3)、步骤(4)中的并行化为通过OpenMP共享内存模型实现，为通过建立多个线程，将数据处理分解到多个线程中进行并行化，其中，多个线程独立处理各自的任务，且共享地址空间，多个线程的地址空间分布是系统根据需要自动分配的。一种基于OpenMP多核并行机制的数据验证方法，包括如下步骤：(1)选择机架式服务器搭建试验环境，选择包括城市+山川+河流的遥感数据采用4：1压缩模式和无损压缩模式进行试验；(2)对4：1压缩模式下对遥感数据进行并行化解压缩处理，并计算出该数据在并行化解压缩处理后的指标；(3)对4：1模式下对遥感数据进行常规未并行化解压缩处理，并计算出该数据在常规未并行化解压缩处理后的指标；(4)对无损模式下对遥感数据进行并行化解压缩处理，并计算出该数据在并行化解压缩处理后的指标；(5)对无损模式下对遥感数据进行常规未并行化解压缩处理，并计算出该数据在常规未并行化解压缩处理后的指标；(6)对步骤(2)、(3)、(4)、(5)的试验结果进行对比，完成验证过程。所述的步骤(2)、(3)、步骤(4)、步骤(5)中的指标包括解压缩使用的时间、解压缩速率、均方差差值、所占用的CPU百分比、所占用的内存、所占用的设备资源利用率。本专利技术与现有技术相比的优点在于：(1)本专利技术设计了一种基于OpenMP多核并行机制的算法设计，实现了数据处理的实时性；(2)本专利技术充分利用CPU多核并行调度的设备数据处理能力，提高了数据处理的速度；(3)本专利技术运用了多核调度、多核指定、并行处理机制来完成数据处理，大幅度提高了数据处理速度，为整个数据处理过程节约了时间；(4)本专利技术采用了双缓存机制，保证数据的有效性、稳定性以及可靠性；(5)本专利技术采用乒乓缓存控制处理机制，解决数据的突发性以及集中性给软件系统带来的阻塞，并有效的控制数据在处理和传输过程中的流畅性。附图说明图1为并行化解压缩算法软件的流程图；图2为OpenMP共享内存模型；图3为并行前设备资源利用率；图4为并行后设备资源利用率。具体实施方式本专利技术针对遥感卫星数传地面基带处理系统的处理实时性的难题，提出一种基于OpenMP多核并行机制的数据处理方法，并对该方法进行了验证，通过在系统平台上建立多个线程，并将数据处理分解到多个线程中进行并行处理，解决了卫星处理的实时性、高效率、低耗时、高可靠性、稳定性等问题，符合当前卫星的快响发展理念，有效提升了卫星处理的实时性。下面结合附图对本专利技术方法进行更详细的解释和说明。如图1所示为本专利技术设计的并行化解压缩算法的流程图，即基于OpenMP多核并行机制的数据处理方法流程图，具体流程说明如下：(1)并行化解压缩算法软件首先读取配置文件，根据配置文件里面的内容对软件进行初始化设置同时启动该软件；(2)该软件一旦启动，即开始连接集群软件，等待集群软件下发命令(比如，包括启动某一项处理任务、是否连接前端发送软件、是否连接后端接收软件、终止任务等等)；(3)若并行化解压缩算法软件收到的是任务终止命令，那么，该软件立即终止本次任务，等待集群下发下一次任务；(4)若并行化解压缩算法软件收到的是启动任务命令，该软件立即开始执行本次任务，具体的处理过程如下：a)首先，并行化解压缩算法软件接收前端发送软件传输过来的原始压缩码流数据。b)根据读取配置参数进行数据解析，包括本次任务是哪颗卫星下传的数据、哪个时间点下传的数据、哪个轨道下传的数据、哪个数传通道下传的数据等等，因为对于不同的卫星、轨道、通道等参数，并行化解压缩算法软件的算法会有所不同。c)对接收到的原始压缩码流数据进行判读，包括数据格式正确与否的判读、有效标识符的判读、压缩码流长度的判读、计数器连续性的判读等。把不符合的数据(比如数据格式不正确、标识符错误、压缩码流长度过短或者过长、计数器不连续)进行丢弃或者告警处理，丢弃无效的帧数据可以使得并行化解压缩算法软件的解压缩效率更高，不必再对无效的数据进行处理，告警处理可以方便用户知悉本次任务的数据本身就有异常的帧数据。d)对数据进行并行化的解压缩处理，对不同的卫星不同虚拟信道的数据使用的解压缩算法不一样，我们都对算法进行了并行化的处理，通过并行化的解压缩，就可以把原始的压缩码流数据解压出图像数据，针对不同的卫星型号，可能还需要在解压缩算法里面增加相应的辅助处理，比如首先对原始压缩码流进本文档来自技高网...

【技术保护点】
1.一种基于OpenMP多核并行机制的数据处理方法，其特征在于包括如下步骤：(1)根据数据的来源前端及连接后端获取并配置数据处理所需配置文件；(2)根据外部指令接收前端传输的原始压缩码流数据，并读取配置文件进行数据解析、判读，把不符合的数据进行丢弃或者告警；(3)对解析、判读后的数据进行并行化的解压缩处理，得到图像数据；(4)将图像数据并行化送至后端接收软件，完成对图像数据的优化处理或者图像显示。

【技术特征摘要】
1.一种基于OpenMP多核并行机制的数据处理方法，其特征在于包括如下步骤：(1)根据数据的来源前端及连接后端获取并配置数据处理所需配置文件；(2)根据外部指令接收前端传输的原始压缩码流数据，并读取配置文件进行数据解析、判读，把不符合的数据进行丢弃或者告警；(3)对解析、判读后的数据进行并行化的解压缩处理，得到图像数据；(4)将图像数据并行化送至后端接收软件，完成对图像数据的优化处理或者图像显示。2.根据权利要求1所述的一种基于OpenMP多核并行机制的数据处理方法，其特征在于：所述的步骤(2)中读取配置文件进行数据解析，得到包括当前数据的下传卫星、下传数据时间点、下传数据轨道、下传数据放入数传通道。3.根据权利要求1所述的一种基于OpenMP多核并行机制的数据处理方法，其特征在于：所述的步骤(2)中的数据判读，包括数据格式判读、有效标识符判读、压缩码流长度判读、计数器连续性判读。4.根据权利要求1所述的一种基于OpenMP多核并行机制的数据处理方法，其特征在于：所述的步骤(3)中的并行化的解压缩处理包括首先对原始压缩码数据流进行图像分块，然后进行并行化的解压缩，最后对并行化解压缩后的图像数据进行图像拼接。5.根据权利要求1所述的一种基于OpenMP多核并行机制的数据处理方法，其特征在于：所述的步骤(4)中将图像数据并行化送至后端接收软件为通过将多路数据分配到不同发送线程，实现实时发送至后端接收设备。6....

【专利技术属性】
技术研发人员：党妮，卞敏杰，毛双兰，汤昊，靳一，张锐，彭亮，毛智航，周月恒，
申请(专利权)人：西安空间无线电技术研究所，
类型：发明
国别省市：陕西,61