一种基于集群的脉冲星并行搜索优化方法及系统技术方案

本发明专利技术提供了一种基于集群的脉冲星并行搜索优化方法及系统，所述脉冲星并行搜索优化方法包括以下步骤：S1：将从FAST申请到的原始数据按照预设划分方式进行划分，获得若干分块数据；S2：将集群资源按照预设满足条件进行申请，获得一个主节点和若干计算节点；S3：将若干分块数据分别对应分配若干计算节点，进行并行脉冲星并行搜索计算；S4：将S3中计算结果进行资源释放，汇总至主节点；S5：将主节点中的结果进行合并处理，获取最终的搜索结果，本发明专利技术旨在提高脉冲星搜索的计算速度和精度，本发明专利技术通过一种高效、可靠的并行计算方式，解决了大规模数据情况下的瓶颈问题，保证了整体计算的可行性和效率。行性和效率。行性和效率。

【技术实现步骤摘要】
一种基于集群的脉冲星并行搜索优化方法及系统


[0001]本专利技术涉及计算机软件
，尤其涉及一种基于集群的脉冲星并行搜索优化方法及系统。

技术介绍

[0002]脉冲星是宇宙中高密度物质体的一种，其稳定性和较高的旋转速度及电磁辐射能力使得其成为天文学研究的重要天体之一，对于深入研究宇宙学、天体物理学等领域具有重要作用。而脉冲星搜索是目前主要的脉冲星探测方法之一，其基于射电望远镜接收到的信号，通过分析与处理数据来实现脉冲星检测。然而，在处理大规模脉冲星数据时，传统个体计算机或集群计算技术存在的计算速度缓慢、并行性不足等问题已成为瓶颈所在，难以实现高效计算。
[0003]因此，有必要研究一种基于集群的脉冲星并行搜索优化方法及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于集群的脉冲星并行搜索优化方法及系统，旨在提高脉冲星搜索的计算速度和精度，本专利技术基于数据划分，将数据划分为多个子集并分配到不同的节点中进行处理，减小了单个计算节点的计算复杂度，并通过并行计算提高了整体的计算效率，本专利技术通过一种高效、可靠的并行计算方式，解决了大规模数据情况下的瓶颈问题，保证了整体计算的可行性和效率。
[0005]一方面，本专利技术提供一种基于集群的脉冲星并行搜索优化方法，包括以下步骤：
[0006]S1：将原始数据按照预设划分方式进行划分，获得若干分块数据；所述预设划分方式为：首先将总的数据按照观测批次划分为块数据，将整个数据集划分为多个较小的分段，每个分段对应一个观测批次，然后，利用多条命令行进行并行处理；命令行使用了presto软件中的三个命令，prepdata、realfft和accelsearch；首先，使用prepdata命令对每个观测批次的块数据进行预处理，该命令负责读取数据，进行基本的数据清理和校准操作；接下来，使用realfft命令将预处理后的数据进行快速傅里叶变换，将时域数据转换为频域数据；最后，使用accelsearch命令对频域数据进行快速累积搜寻，以探测脉冲信号，这个命令会根据预设的色散范围和步长，在频域中搜索不同的色散值，以寻找可能存在的脉冲信号；
[0007]S2：将集群资源按照预设满足条件进行申请，获得一个主节点和若干计算节点，所述预设满足条件为同时满足：
[0008]集群中存在足够的空闲资源；
[0009]作业的资源需求与集群中的资源分配策略互相匹配；
[0010]当前调度策略允许该作业提交并执行；
[0011]S3：将若干分块数据分别对应分配若干计算节点，进行并行脉冲星并行搜索计算；
[0012]S4：将S3中计算结果进行资源释放，汇总至主节点；
[0013]S5：将主节点中的结果进行合并处理，获取最终的搜索结果，所述将主节点中的结果进行合并处理，具体为：在并行计算的过程中，通过MPI通信机制将各个计算节点的计算结果实时地上传到主节点进行结果的合并，从而得到最终的搜索结果。
[0014]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中原始数据为从FAST申请到的脉冲星观测数据，所述原始数据以.fits文件的形式存储，包括但不限于脉冲星的观测参数、信号强度和频率信息。
[0015]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中若干计算节点包括但不限于20个核心的资源节点。
[0016]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中集群资源申请通过Slurm调度器完成。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中将若干分块数据分别对应分配若干计算节点，具体为：
[0018]S31：使用slurm的sbatch命令提交作业，并指定作业所需的总资源数量，包括节点数和CPU核心数；
[0019]S32：sbatch命令将作业加入到等待的作业队列中，一旦作业等待队列中的作业能够满足资源需求并到达队列头部时，slurm为作业分配可用的资源，并将资源分配给各个数据块。
[0020]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4中资源释放过程具体为：当一个命令行运行完毕后，释放占用的CPU核心和内存资源，该命令行不再占用所分配的CPU核心和内存，并将其归还给集群系统，在资源释放的过程中，并行任务所产生的结果或中间数据按需存储，在每个命令行执行完成后，将结果写入到指定的储存介质中。
[0021]如上所述的方面和任一可能的实现方式，进一步提供一种基于集群的脉冲星并行搜索优化系统，基于所述的一种基于集群的脉冲星并行搜索优化方法，所述脉冲星并行搜索优化系统包括：
[0022]数据划分模块，用于将原始数据按照预设划分方式进行划分，获得若干分块数据；所述预设划分方式为：首先将总的数据按照观测批次划分为块数据，将整个数据集划分为多个较小的分段，每个分段对应一个观测批次，然后，利用多条命令行进行并行处理；命令行使用了presto软件中的三个命令，prepdata、realfft和accelsearch；首先，使用prepdata命令对每个观测批次的块数据进行预处理，该命令负责读取数据，进行基本的数据清理和校准操作；接下来，使用realfft命令将预处理后的数据进行快速傅里叶变换，将时域数据转换为频域数据；最后，使用accelsearch命令对频域数据进行快速累积搜寻，以探测脉冲信号，这个命令会根据预设的色散范围和步长，在频域中搜索不同的色散值，以寻找可能存在的脉冲信号；
[0023]资源申请模块，用于将集群资源按照预设满足条件进行申请，获得一个主节点和若干计算节点，所述预设满足条件为同时满足：
[0024]集群中存在足够的空闲资源；
[0025]作业的资源需求与集群中的资源分配策略互相匹配；
[0026]当前调度策略允许该作业提交并执行；
[0027]数据分配计算模块，用于将若干分块数据分别对应分配若干计算节点，进行并行脉冲星并行搜索计算；
[0028]数据汇总模块，用于将计算结果进行资源释放，汇总至主节点；
[0029]数据合并模块，用于将主节点中的结果进行合并处理，获取最终的搜索结果；合并处理具体为：在并行计算的过程中，通过MPI通信机制将各个计算节点的计算结果实时地上传到主节点进行结果的合并，从而得到最终的搜索结果。
[0030]与现有技术相比，本专利技术可以获得包括以下技术效果：
[0031]综上，本专利技术的技术方案通过实现资源动态申请、任务并行排队式运算的功能，为脉冲星搜索算法在大规模集群环境下的高效计算提供了可靠保障。该方案具有实现简便、资源利用率高和易于扩展等优点，已通过代码实现验证，在大规模数据的处理和分析等领域具有广泛应用前景。
[0032]当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有技术效果。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于集群的脉冲星并行搜索优化方法，其特征在于，包括以下步骤：S1：将原始数据按照预设划分方式进行划分，获得若干分块数据；所述预设划分方式为：首先将总的数据按照观测批次划分为块数据，将整个数据集划分为多个较小的分段，每个分段对应一个观测批次，然后，利用多条命令行进行并行处理；命令行使用了presto软件中的三个命令，prepdata、realfft和accelsearch；首先，使用prepdata命令对每个观测批次的块数据进行预处理，该命令负责读取数据，进行基本的数据清理和校准操作；接下来，使用realfft命令将预处理后的数据进行快速傅里叶变换，将时域数据转换为频域数据；最后，使用accelsearch命令对频域数据进行快速累积搜寻，以探测脉冲信号，这个命令会根据预设的色散范围和步长，在频域中搜索不同的色散值，以寻找可能存在的脉冲信号；S2：将集群资源按照预设满足条件进行申请，获得一个主节点和若干计算节点，所述预设满足条件为同时满足：集群中存在足够的空闲资源；作业的资源需求与集群中的资源分配策略互相匹配；当前调度策略允许该作业提交并执行；S3：将若干分块数据分别对应分配若干计算节点，进行脉冲星并行搜索计算；S4：将S3中计算结果进行资源释放，汇总至主节点；S5：将主节点中的结果进行合并处理，获取最终的搜索结果，所述将主节点中的结果进行合并处理，具体为：在并行计算的过程中，通过MPI通信机制将各个计算节点的计算结果实时地上传到主节点进行结果的合并，从而得到最终的搜索结果。2.根据权利要求1所述的一种基于集群的脉冲星并行搜索优化方法，其特征在于，所述S1中原始数据为从FAST申请到的脉冲星观测数据，所述原始数据以.fits文件的形式存储，包括但不限于脉冲星的观测参数、信号强度和频率信息。3.根据权利要求1所述的一种基于集群的脉冲星并行搜索优化方法，其特征在于，所述S2中若干计算节点包括但不限于20个核心的资源节点。4.根据权利要求3所述的一种基于集群的脉冲星并行搜索优化方法，其特征在于，所述S2中将集群资源按照预设满足条件进行申请，具体为通过Slurm调度器完成。5.根据权利要求1所述的一种基于集群的脉冲星并行搜索优化方法，其特征在于，所述S3中将若干分块数据分别对应分配若干计算节点，具体为：S31：使用slurm的sbatch命令提...

【专利技术属性】
技术研发人员：李明辉，张幸楠，潘之辰，张立云，
申请(专利权)人：贵州大学，
类型：发明
国别省市：