一种数据处理方法、装置及超算系统制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置及超算系统包括：在多个维度上将预设空间内的数据平均切分，每个维度切分为F个单元，确定每个单元与计算节点的映射关系；并将每个单元内的数据点存储到相对应的计算节点上；在进行任意一个维度的空间变换域之前，将目标维度上坐标连续的F个计算节点作为一组；针对任意一组计算节点，将该组内的M

【技术实现步骤摘要】
一种数据处理方法、装置及超算系统


[0001]本专利技术涉及分子动力徐学领域，尤其涉及一种数据处理方法、装置及超 算系统。

技术介绍

[0002]在分子动力学模拟中，将待测体系放入一个物理空间立方体中，体系中 的粒子受多种作用影响而发生运动。其中静电作用是周期性边界条件下的 N
‑
body问题，计算量巨大，成为限制分子动力学模拟计算速度的重要因素。 针对静电作用计算，学术界和产业界专利技术了PPPM(Particle
‑
ParticleParticle
‑
Mesh Method)，PME(Particle Mesh Ewald)，GSE(Gaussian Split Ewald) 等算法，都是利用FFT(Fast Fourier Transform Algorithm)技术对静电作用计算 的改进。这些算法的发展推进了分子动力学模拟在大规模计算系统上的实现。
[0003]分子动力学中的静电作用是粒子在三维立体空间中的相互作用，所含的 FFT(Fast Fourier Transformation，即为快速傅氏变换)计算也是立体空间变 换域计算，需要依次完成各维度上的FFT计算。现有技术中通常采用大规模计 算系统实现上述提到的FFT运算，但是通常使用的大规模计算系统都是分布式 计算系统，每一维度FFT计算都由多个计算节点并行完成，在一个维度计算之 后，需要将FFT点从各计算节点全部传回主存储，主存储对数据重排完成维度 转换后，再次下发到各计算节点进行下一个维度的计算。这样的方案数据传 输量巨大，导致在大规模三维FFT计算中，数据通信成为影响整体计算效率的 瓶颈，这也是导致分子动力学模拟在常规超算系统上计算效率受限的重要因 素。

技术实现思路

[0004]有鉴于此，本专利技术实施例公开了一种数据处理方法，降低了大规模计算 系统在进行FFT运算的过程中的数传输量，提高了数据处理效率。
[0005]本专利技术实施例公开了一种数据处理方法，包括：
[0006]在多个维度上将预设空间内的数据平均切分，每个维度切分为F个单元， 并确定每个单元与计算节点的映射关系；每个单元在单个维度上包括M个数 据点，M＝N/F，N表示预设空间内一个维度上包含的数据点的数量，且F 为大于0的正整数，N为大于0的正整数；
[0007]基于每个单元与计算节点的映射关系，将每个单元内的数据点存储到相 对应的计算节点上；
[0008]在进行任意一个维度的空间变换域之前，将目标维度上坐标连续的F个 计算节点作为一组，并以此将所有的计算节点划分为F
n
‑1组；所述目标维度 为当前进行空间变换域运算的方向，n表示空间变换域运算包含的维度；
[0009]针对任意一组计算节点，将该组内的M
n
‑1个计算任务平均分配给该组内 的F个计算节点；每个计算任务表示对一组计算节点内在目标维度上连续的N 个数据点进行空间变换域运算；
[0010]基于对每个计算节点分配的计算任务，将参与目标维度的空间变换域运 算的数
据点发送到相对应的计算节点；
[0011]每个计算节点基于被分配的计算任务和存储的计算节点进行空间变换域 运算。
[0012]可选的，F与实际参与空间变换域运算的计算节点的数量有关。
[0013]可选的，将目标维度上坐标连续的F个计算节点作为一组，并以此将所 有的计算节点划分为F
n
‑1组，包括：
[0014]在进行第一维度的空间变换域之前，将第一维度上坐标连续的F个计算 节点作为一组，并以此将所有的计算节点在第一维度上划分为F
n
‑1组；
[0015]在进行第二维度的空间变换域之前，将第二维度上坐标连续的F个计算 节点作为一组，并以此将所有的计算节点在第二维度上划分为F
n
‑1组；
[0016]在进行第三维度的空间变换域之前，将第三维度上坐标连续的F个计算节 点作为一组，并以此将所有的计算节点在第三维度上划分为F
n
‑1组。
[0017]可选的，将该组内的M
n
‑1个计算任务平均分配给该组内的F个计算节点， 包括：
[0018]若需要进行三个维度的空间变换域运算，在进行第一维度的空间变换域 运算之前，对于第一维度上任意一组计算节点，在第二维度和第三维度构成 的截面上选取a
×
b个计算任务分配给一个计算节点；所述a表示从第三维度上 选取的计算任务的数量，所述b表示从第二维度上选取的计算任务的数量，且 所述a
×
b个计算任务在第二维度和第三维度构成的截面上构成一个封闭的区 域，且所述a
×
b＝M^(n
‑
1)/F；
[0019]在进行第二维度的空间变换域运算之前，对于第二维度上任意一组计算 节点，在第一维度和第三维度构成的截面上选取c
×
d个计算任务在第一维度和 第三维度构成的截面上分配给一个计算节点；所述c表示从第三维度上选取的 计算任务的数量，d表示从第一维度上选取的计算任务的数量，所述c
×
d个计 算任务构成一个封闭的区域，且所述c与所述a相等，所述d与所述b相等，且 c
×
d＝M^(n
‑
1)/F；
[0020]在进行第三维度的空间按变换域运算之前，对于第三维度上任意一组计 算节点，在第二维度和第一维度构成的截面上选取e
×
f个计算任务分配给一个 计算节点，所述e表示从第二维度上选取的计算任务的数量，所述f表示从第一 维度上选取的计算任务的数量，所述e
×
f个计算任务在第二维度和第一维度构 成的截面上构成一个封闭的区域，且所述e等于所述a，所述f等于所述b，且 e
×
f＝M^(n
‑
1)/F；
[0021]所述a、b、c、d、e、f均为大于零的正整数。
[0022]可选的，所述针对任意一组计算节点，将该组内的M
n
‑1个计算任务平均 分配给该组内的F个计算节点，包括
[0023]在进行第一维度的空间变换域运算前，将第一维度上M
n
‑1个计算任务平 均分配给一组内的每一个计算节点；
[0024]在进行第二维度的空间变换域运算前，将第二维度上M
n
‑1个计算任务平 均分配给一组内的每一个计算节点；
[0025]在进行第三维度的空间变换域运算前，将第三维度上M
n
‑1个计算任务平 均分配给一组内的每一个计算节点。
[0026]可选的，所述基于对每个计算节点分配的计算任务，将参与目标维度的 空间变换域运算的数据点发送到相对应的计算节点，包括：
[0027]通过各个计算任务和计算节点的关系，确定需要传输的数据点和目的计 算节点
的对应关系；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在多个维度上将预设空间内的数据平均切分，每个维度切分为F个单元，并确定每个单元与计算节点的映射关系；每个单元在单个维度上包括M个数据点，M＝N/F，N表示预设空间内一个维度上包含的数据点的数量，且F为大于0的正整数，N为大于0的正整数；基于每个单元与计算节点的映射关系，将每个单元内的数据点存储到相对应的计算节点上；在进行任意一个维度的空间变换域之前，将目标维度上坐标连续的F个计算节点作为一组，并以此将所有的计算节点划分为F
n
‑1组；所述目标维度为当前进行空间变换域运算的方向，n表示空间变换域运算包含的维度；针对任意一组计算节点，将该组内的M
n
‑1个计算任务平均分配给该组内的F个计算节点；每个计算任务表示对一组计算节点内在目标维度上连续的N个数据点进行空间变换域运算；基于对每个计算节点分配的计算任务，将参与目标维度的空间变换域运算的数据点发送到相对应的计算节点；每个计算节点基于被分配的计算任务和存储的计算节点进行空间变换域运算。2.根据权利要求1所述的方法，其特征在于，F与实际参与空间变换域运算的计算节点的数量有关。3.根据权利要求1所述的方法，其特征在于，将目标维度上坐标连续的F个计算节点作为一组，并以此将所有的计算节点划分为F
n
‑1组，包括：在进行第一维度的空间变换域之前，将第一维度上坐标连续的F个计算节点作为一组，并以此将所有的计算节点在第一维度上划分为F
n
‑1组；在进行第二维度的空间变换域之前，将第二维度上坐标连续的F个计算节点作为一组，并以此将所有的计算节点在第二维度上划分为F
n
‑1组；在进行第三维度的空间变换域之前，将第三维度上坐标连续的F个计算节点作为一组，并以此将所有的计算节点在第三维度上划分为F
n
‑1组。4.根据权利要求1所述的方法，其特征在于，所述针对任意一组计算节点，将该组内的M
n
‑1个计算任务平均分配给该组内的F个计算节点，包括：若需要进行三个维度的空间变换域运算：在进行第一维度的空间变换域运算之前，对于第一维度上任意一组计算节点，在第二维度和第三维度构成的截面上选取a
×
b个计算任务分配给一个计算节点；所述a表示从第三维度上选取的计算任务的数量，所述b表示从第二维度上选取的计算任务的数量，所述a
×
b个计算任务在第二维度和第三维度构成的截面上构成一个封闭的区域，且所述a
×
b＝M^(n
‑
1)/F；在进行第二维度的空间变换域运算之前，对于第二维度上任意一组计算节点，在第一维度和第三维度构成的截面上选取c
×
d个计算任务分配给一个计算节点；所述c表示从第三维度上选取的计算任务的数量，d表示从第一维度上选取的计算任务的数量，所述c
×
d个计算任务在第一维度和第三维度构成的截面上构成一个封闭的区域，且所述c与所述a相等，所述d与所述b相等，且c
×
d＝M^(n
‑
1)/F；在进行第三维度的空间按变换域运算之前，对于第三维度上任意一组计算节点，在第
二维度和第一维度构成的截面上选取e
×
f个计算任务分配给一个计算节点，所述e表示从第二维度上选取的计算任务的数量，所述f表示从第一维度上选取的计算任务的数量，所述e
×
f个计算任务在第二维度和第一维度构成的截面上构成一个封闭的区域，且所述e等于所述a，所述f等于所述b，且e
×
f＝M^(n
‑
1)/F；所述a、b、c、d、e、f均为大于零的正整数。5.根据权利要求1所述的方法，其特征在于，所述针对任意一组计算节点，将该组内的M
n
‑1个计算任务平均分配给该组内的F个计算节点，包括在进行第一维度的空间变换域运算前，将第一维度上M
n
‑1个计算任务平均分配给一组内的每一个计算节点；在进行第二维度的空间变换域运算前，将第二维度上M
n
‑1个计算任务平均分配给一组内的每一个计算节点；在进行第三维度的空间变换域运算前，将第三维度上M
n
‑1个计算任务平均分配给一组内的每一个计算节点。6.根据权利要求1所述的方法，其特征在于，所述基于对每个计算节点分配的计算任务，将参与目标维度的空间...

【专利技术属性】
技术研发人员：郭璟，李京会，李桓，郭晨，张欣瑜，郭振江，柳宇驰，
申请(专利权)人：北京思朗科技有限责任公司，
类型：发明
国别省市：