一种基于Ray并行框架的单脉冲搜索方法技术

本发明专利技术公开了一种基于Ray并行框架的单脉冲搜索方法，包括以下步骤：步骤S1、对脉冲星时间序列数据文件进行读取；步骤S2、创建DM列表、candlist列表以及num_v_DMstr列表；步骤S3、创建局部调度器并根据CPU进程状态分配单脉冲搜索任务；步骤S4、在各个CPU上生成Worker进程进行单脉冲搜索任务；步骤S5、将各个CPU上搜索得到的脉冲星候选体信息记录保存。本发明专利技术并行策略仅基于CPU，无需依赖CUDA和GPU，无需修改代码，即可实现在CPU环境下高性能单脉冲搜索。即可实现在CPU环境下高性能单脉冲搜索。即可实现在CPU环境下高性能单脉冲搜索。

【技术实现步骤摘要】
一种基于Ray并行框架的单脉冲搜索方法


[0001]本专利技术涉及脉冲星数据处理
，具体为一种基于Ray并行框架的单脉冲搜索方法。

技术介绍

[0002]脉冲星是一类特殊的中子星，具有极强的磁场以及极其稳定的旋转周期。基于脉冲星稳定的周期性，目前脉冲星探测主要使用快速傅里叶变换和快速折叠算法在时域上周期性搜索。然而，在实际探测研究过程中发现，有一些脉冲星并没有呈现出明显周期性，如零脉冲星、间歇性脉冲星，以及Lorimer等发现的特殊天文脉冲信号快速射电暴与McLaughlin等发现的旋转射电暂现源，这一类天体不能使用上述周期性搜索方法搜寻，需要通过单脉冲搜索进行搜寻。
[0003]目前常用单脉冲搜索工具有PRESTO加速的单脉冲搜索专用软件HEIMDALL。PRESTO是由ScottRansom开发的大型脉冲星搜索和分析软件套件，是开展脉冲星搜索最常用软件之一，该软件已参与发现超过700颗脉冲星。FAST观测数据主要使用PRESTO进行脉冲星搜索，但PRESTO开发历史较早，搜索流程大多采用单核串行方式，面对海量脉冲星观测数据，PRESTO搜索速度仍有所欠缺的问题，为此，我们提出一种实用性更高的基于Ray并行框架的单脉冲搜索方法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于Ray并行框架的单脉冲搜索方法，解决了现有的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于Ray并行框架的单脉冲搜索方法，包括以下步骤：步骤S1、对脉冲星时间序列数据文件进行读取；步骤S2、创建DM列表、candlist列表以及num_v_DMstr列表；步骤S3、创建局部调度器并根据CPU进程状态分配单脉冲搜索任务；步骤S4、在各个CPU上生成Worker进程进行单脉冲搜索任务；步骤S5、将各个CPU上搜索得到的脉冲星候选体信息记录保存。
[0006]一种基于Ray并行框架的单脉冲搜索方法，具体包括以下步骤：步骤S1、对脉冲星时间序列数据文件进行读取：将消色散之后得到的脉冲星时间序列数据dat文件及不同dat数据文件所对应的参数信息读取保存作为args参数；步骤S2、创建DM列表、candlist列表以及num_v_DMstr列表：创建DM列表用来记录不同dat数据文件消色散时所对应使用的色散值，创建candlist列表用来记录保存最后单脉冲搜索得到的候选体信息，创建num_v_DMstr列表用来记录不同DM值下所对应搜索得到的候选体数量；
步骤S3、创建局部调度器并根据CPU进程状态分配单脉冲搜索任务：按照当前平台中CPU的数目及各CPU进程状态，均衡分配单脉冲搜索任务；步骤S4、在各个CPU上生成Worker进程进行单脉冲搜索任务；步骤S5、将各个CPU上搜索得到的脉冲星候选体信息记录保存：接收各进程中单脉冲搜索任务得到的候选体信息并保存在singlepulse文件。
[0007]与现有技术相比，本专利技术的有益效果如下：本专利技术并行策略仅基于CPU，无需依赖CUDA和GPU，无需修改代码，即可实现在CPU环境下高性能单脉冲搜索。
[0008]本专利技术相较于原PRESTO单脉冲搜索中去趋势算法，本专利技术重新设计的优化去趋势算法能有效提升原程序去趋势算法性能。
[0009]本专利技术相较于原PRESTO单脉冲搜索程序，本专利技术通过使用Ray并行框架对PRESTO中原单脉冲搜索程序进行优化，显著提高了单脉冲搜索程序性能。
[0010]本专利技术首先对PRESTO单脉冲搜索中的去趋势算法进行优化，之后结合结合单脉冲搜索算法在对不同dat数据文件进行搜索时，不存在数据耦合情况的特点，使用Ray并行框架对PRESTO中原单脉冲搜索程序进行优化，在保证搜索效果的基础上，显著提高了单脉冲搜索程序性能。
[0011]本专利技术中算法优化及并行化的工作都是基于纯CPU环境，无需依赖CUDA和GPU，无需修改代码，即可实现在CPU环境下高性能单脉冲搜索，极大提高对脉冲星数据处理的速度。
附图说明
[0012]图1为本专利技术优化后去趋势算法流程图；图2为本专利技术单脉冲搜索并行化示意图；图3为本专利技术优化去趋势算法后与原程序加速情况对比图；图4为本专利技术单脉冲搜索并行化后与原程序加速情况对比图；图5为本专利技术优化去趋势算法后、单脉冲搜索并行化后与原程序得到的搜索结果对比图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0014]如图1和图2所示，一种基于Ray并行框架的单脉冲搜索方法，用于加快脉冲星数据处理速度，首先提出了一种优化的去趋势算法，将望远镜接收到的原始array类型的时间序列数据转换成list类型，接着通过最小二乘法方式对list类型的数据进行去趋势；然后，采用高性能的并行框架Ray实现单脉冲搜索的并行化；最后，在真实的FAST脉冲星数据上，验证本方法的有效性；一种基于Ray并行框架的单脉冲搜索方法，包括以下步骤：步骤S1、对脉冲星时间序列数据文件进行读取：将消色散之后得到的脉冲星时间序列数据dat文件及不同dat数据文件所对应的
参数信息读取保存作为args参数；步骤S2、创建DM列表、candlist列表以及num_v_DMstr列表：创建DM列表用来记录不同dat数据文件消色散时所对应使用的色散值，创建candlist列表用来记录保存最后单脉冲搜索得到的候选体信息，创建num_v_DMstr列表用来记录不同DM值下所对应搜索得到的候选体数量；步骤S3、创建局部调度器并根据CPU进程状态分配单脉冲搜索任务：按照当前平台中CPU的数目及各CPU进程状态，均衡分配单脉冲搜索任务；步骤S4、在各个CPU上生成Worker进程进行单脉冲搜索任务；步骤S5、将各个CPU上搜索得到的脉冲星候选体信息记录保存：接收各进程中单脉冲搜索任务得到的候选体信息并保存在singlepulse文件。
[0015]本专利技术首先使用FAST观测数据文件FH20201014_00C10.fits对PRESTO中单脉冲搜索程序single_pulse_search.py进行性能分析，可以发现去趋势算法部分约占single_pulse_search.py程序总时间开销的60%左右。single_pulse_search.py程序各部分耗时情况如表1所示。
[0016]表1 读取文件去趋势卷积操作阈值过滤记录候选体其它总耗时（秒）耗时（秒）0.6192.6518.019.310.6128.07149.28时间占比0.41%62.07%12.07%6.24%0.41%18.81%100.00%
去趋势就是抑制信号在采集过程中由于长时间观测导致的功率谱波动，以得到最佳检测效果。原程序中去趋势算法是调用Python数学计算库Scipy中信号处理模块signal中的detrend方法来实现的，该方法的核心是使用最小二乘法计算求得拟合直线的参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Ray并行框架的单脉冲搜索方法，其特征在于，包括以下步骤：步骤S1、对脉冲星时间序列数据文件进行读取；步骤S2、创建DM列表、candlist列表以及num_v_DMstr列表；步骤S3、创建局部调度器并根据CPU进程状态分配单脉冲搜索任务；步骤S4、在各个CPU上生成Worker进程进行单脉冲搜索任务；步骤S5、将各个CPU上搜索得到的脉冲星候选体信息记录保存。2.根据权利要求1所述的一种基于Ray并行框架的单脉冲搜索方法，其特征在于，具体包括以下步骤：步骤S1、对脉冲星时间序列数据文件进行读取：将消色散之后得到的脉冲星时间序列数据dat文件及不同dat数据文件所对应的参数信息读取保存作为args参数；步骤S...

【专利技术属性】
技术研发人员：傅志明，于徐红，谢晓尧，
申请(专利权)人：贵州师范大学，
类型：发明
国别省市：