一种面向地质灾害预警的最优算法并行数计算方法及系统技术方案

本申请属于数据处理的技术领域，公开了一种面向地质灾害预警的最优算法并行数计算方法及系统，所述方法包括：获取地质监测数据

【技术实现步骤摘要】
一种面向地质灾害预警的最优算法并行数计算方法及系统


[0001]本申请属于数据处理
，尤其是涉及一种面向地质灾害预警的最优算法并行数计算方法及系统
。

技术介绍

[0002]地质灾害预警是一种基于多种地质监测数据进行汇总分析后并进行警报的技术，现有的地质监测数据处理方法，受地质监测数据特性影响
(
地质监测数据的频率较高且数据量较大
)
，计算机程序主要将数据分别分配至预设的处理器线程后再进行并行处理以提高计算数据，然后再通过数据累加的方式对地质监测数据进行汇总分析；受每一个处理器线程性能差异性的影响，不同的线程处理相同的数据量速率存在差异，采用上述方法容易造成线程空闲
。
[0003]因此，现有的地质监测数据处理方法，存在地质监测数据的处理速率的较低问题
。

技术实现思路

[0004]本申请提供一种面向地质灾害预警的最优算法并行数计算方法及系统，用于提高地质监测数据的处理速率
。
[0005]本申请的专利技术目的一采用如下技术方案实现：一种面向地质灾害预警的最优算法并行数计算方法，包括：获取地质监测数据
、
数据特征识别模型
、
数据传输速率和
IO
读取最大速率；基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测数据进行取样得到取样数据；基于所述取样数据和预设的仿真模型配置表，配置仿真模型，拟合得到地质监测仿真数据；基于设备的最大线程数和每个线程的利用率，将所述地质监测仿真数据进行分段后分配至对应的线程进行并行计算
。
[0006]通过上述技术方案，先获取地质监测数据
、
数据特征识别模型
、
数据传输速率和
IO
读取最大速率，其中，地质监测数据为初始数据，数据传输速率为地质监测数据由监测端发送至处理器外围
IO
接口的速率，
IO
读取最大速率为处理器
IO
接口处的最大读取速率；相较于现有技术，本申请方法针对
IO
读取接口自身的特性
(IO
读取速率远低于处理器内核的处理速率
)
，在地质监测数据被
IO
读取前先根据地质监测数据
、
数据传输速率
、IO
读取最大速率
、
数据特征识别模型和预设的取样配置表，配置取样参数再对地质监测数据进行取样，以减少限定时段内的数据量传输量，在确保地质监测数据精度的前提下，尽可能让
IO
接口保持
IO
读取最大速率，减少了地质监测数据从监测端发送至处理器
IO
接口处的等待时间，取样数据进入处理器内核后再根据仿真模型配置表，给取样数据配置对应的仿真模型，拟合得到对应的地质监测仿真数据，最后再将地质监测仿真数据进行分段和分配，使设备处理器内核的所有线程进行并行计算，从而进一步提高了地质监测数据的处理速率
。
[0007]本申请进一步设置为：基于设备的最大线程数和每个线程的利用率，将所述地质监测仿真数据进行分段后分配至对应的线程进行并行计算，包括：基于所述最大线程数，将地质监测仿真数据进行分段，所述地质监测仿真数据的分段数等于所述最大线程数；基于每个线程的利用率，获取每个线程的最大承载量；基于每个线程的最大承载量，将分段后数据量不高于对应线程的最大承载量的地质监测仿真数据分配至对应的线程进行并行计算
。
[0008]通过上述技术方案，根据最大线程数，将地质监测仿真数据进行分段，并保持分段数等于最大线程数，使每个线程均有对应段的地质监测仿真数据，再根据每个线程的利用率，计算得到每个线程的最大承载量，即每个线程还能够承载的数据处理量，最后将分段后的不高于对应线程的最大承载量的地质检测仿真数据分配至对应的线程进行并行计算，以降低因分段后的数据量过多而无法同时置入对应的线程的可能性
。
[0009]本申请进一步设置为：基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测数据进行取样得到取样数据，包括：基于所述地质监测数据和预设的取样配置表，若所述数据传输速率超出
IO
读取最大速率，配置第一取样周期和第一步长，得到第一取样数据，以使第一取样数据的数据传输速率低于且趋近于所述
IO
读取最大速率；所述取样参数包括所述第一取样周期和所述第一步长，所述取样数据包括所述第一取样数据
。
[0010]通过上述技术方案，当数据传输速率超出
IO
读取速率时，配置第一取样周期选择取样时段，配置第一步长选择取样频率，在第一取样周期内以第一步长对地质监测数据进行取样，使第一取样数据的数据传输速率低于且趋近于
IO
读取最大速率，第一取样数据能够及时地被设备的
IO
口读取，从而减少了地质监测数据从监测端发送至处理器
IO
接口处的等待时间，从而提高了地质监测数据的处理速率
。
[0011]本申请进一步设置为：所述基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测数据进行取样得到取样数据，包括：基于所述地质监测数据和预设的取样配置表，若所述数据传输速率低于
IO
读取最大速率，配置第二取样周期和第二步长，得到第二取样数据，以使第二取样数据的数据传输速率趋近于所述
IO
读取最大速率；所述取样参数包括所述第二取样周期和所述第二步长，所述取样数据包括所述第二取样数据
。
[0012]通过上述技术方案，当数据传输速率低于
IO
读取最大速率时，配置第二取样周期选择取样时段，配置第二步长选择取样频率，在第二取样周期内以第二步长对地质监测数据进行取样，使第二取样数据趋近于
IO
读取最大速率，以最大程度保留地质监测数据的完整性，降低地质监测数据的失真率
。
[0013]本申请进一步设置为：所述基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测
数据进行取样得到取样数据，包括：基于所述地质监测数据，提取所述地质监测数据的数据特征；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向地质灾害预警的最优算法并行数计算方法，其特征在于，包括：获取地质监测数据
、
数据特征识别模型
、
数据传输速率和
IO
读取最大速率；基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测数据进行取样得到取样数据；基于所述取样数据和预设的仿真模型配置表，配置仿真模型，拟合得到地质监测仿真数据；基于设备的最大线程数和每个线程的利用率，将所述地质监测仿真数据进行分段后分配至对应的线程进行并行计算
。2.
根据权利要求1所述的一种面向地质灾害预警的最优算法并行数计算方法，其特征在于，所述基于设备的最大线程数和每个线程的利用率，将所述地质监测仿真数据进行分段后分配至对应的线程进行并行计算，包括：基于所述最大线程数，将地质监测仿真数据进行分段，所述地质监测仿真数据的分段数等于所述最大线程数；基于每个线程的利用率，获取每个线程的最大承载量；基于每个线程的最大承载量，将分段后数据量不高于对应线程的最大承载量的地质监测仿真数据分配至对应的线程进行并行计算
。3.
根据权利要求1所述的一种面向地质灾害预警的最优算法并行数计算方法，其特征在于，所述基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测数据进行取样得到取样数据，包括：基于所述地质监测数据和预设的取样配置表，若所述数据传输速率超出
IO
读取最大速率，配置第一取样周期和第一步长，得到第一取样数据，以使第一取样数据的数据传输速率低于且趋近于所述
IO
读取最大速率；所述取样参数包括所述第一取样周期和所述第一步长，所述取样数据包括所述第一取样数据
。4.
根据权利要求1所述的一种面向地质灾害预警的最优算法并行数计算方法，其特征在于，所述基于所述地质监测数据
、
所述数据传输速率
、
所述
IO
读取最大速率
、
所述数据特征识别模型和预设的取样配置表，配置取样参数，对所述地质监测数据进行取样得到取样数据，包括：基于所述地质监测数据和预设的取样配置表，若所述数据传输速率低于
IO
读取最大速率，配置第二取样周期和第二步长，得到第二取样数据，以使第二取样数据的数据传输速率趋近于所述
IO
读取最大速率；所述取样参数包括所述第二取样周期和所述第二步长，所述取样数据包括所述第二取样数据
。5.
根据权利要求1所述的一种面向地质灾害预警的最优算法并行数计算方...

【专利技术属性】
技术研发人员：冯耀栋，许先雄，李春茂，孙羽健，李凤兰，
申请(专利权)人：广东省有色矿山地质灾害防治中心，
类型：发明
国别省市：