一种数据处理系统、方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理系统、方法及装置，该系统包括：多个计算节点和管理节点，多个计算节点之间在多个维度上存在连接关系。计算节点接收管理节点发送的数据传输表，在执行每个维度的空间变换域运算之前，基于数据传输表，通过计算节点中的连接关系将计算节点中需要传输的数据传输到目的计算节点的相应位置上，在接收到其它计算节点发送的数据后存储到相应的位置上，并在满足进行空间变换域运算的条件后，基于计算节点上存储的数据进行空间变换域运算。由此，在进行每个维度的空间变换域之前，可以通过各个计算节点在多个维度的连接关系进行数据传输，从而缩短了数据传输的路径，提高了数据传输效率。提高了数据传输效率。提高了数据传输效率。

【技术实现步骤摘要】
一种数据处理系统、方法及装置


[0001]本专利技术涉及分子动力学模拟领域，尤其涉及一种数据处理系统、方法及装置。

技术介绍

[0002]在分子动力学模拟中，将待测体系放入到一个物理空间立方体中，体系中的粒子受多种作用影响而发生运动，其中静电作用是周期性边界条件下的N
‑
body问题，计算量巨大，成为限制分子动力学模拟计算速度的重要因素。针对静电作用计算，学术界和产业界专利技术了PPPM(Particle
‑
Particle Particle
‑
Mesh Method)，PME(Particle Mesh Ewald)，GSE(Gaussian Split Ewald)等算法，都是利用FFT(Fast Fourier Transform Algorithm)技术对静电作用计算的改进。这些算法的发展推进了分子动力学模拟在大规模计算系统，尤其是使用了GPU(Graphics Processing Uni，图形处理器)加速卡、FPGA(现场可编程门阵列)加速卡、甚至ASIC(Application Specific Integrated Circuit，专用集成电路)加速卡的分布式超级计算系统上的实现。
[0003]虽然常规的分布式大规模计算系统可以高效率的实现单独的各组FFT(Fast Fourier Transformation，快速傅氏变换)计算，但是分子动力学模拟的静电作用计算效率依然受限，这主要是由常规分布式计算系统的互联方式所致。分子动力学中的静电作用是粒子在三维立体空间中的相互作用，所含的FFT和IFFT计算也是立体空间变换域计算，需要依次完成各维度上的FFT/IFFT计算。通常使用的大规模计算系统都是分布式计算系统，每一维度FFT/IFFT计算都由多个计算节点并行完成，但由于各维度计算的是不同组的FFT/IFFT，所以各维度计算之间需要数据交互。常规分布式计算系统在互联方式上没有维度的概念(可以认为是一维)，在一个维度计算之后，需要将FFT/IFFT点从各计算节点全部传回主存储，主存储对数据重排完成维度转换后，再次下发到各计算节点进行下一个维度的计算。这样的方式数据传输量巨大，导致在大规模三维FFT/IFFT计算中，数据通信成为影响整体计算效率的瓶颈，这也是导致分子动力学模拟在常规超算系统上计算效率受限的重要因素。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种数据处理系统、方法及装置，通过预先构建的各个计算节点之间在多个维度的连接关系，缩短了数据的传输路径，降低了数据传输量，提升了数据处理效率。
[0005]本专利技术实施例公开了一种数据处理系统，包括：
[0006]多个计算节点和管理节点，所述多个计算节点在多个维度上存在连接关系；
[0007]所述管理节点用于存储每个计算节点在每个维度的数据传输表，并将数据传输表发送给相对应的计算节点；所述数据传输表包括：计算节点需要传输的数据的源地址和目的地址；
[0008]所述计算节点，用于接收管理节点发送的数据传输表，在执行每个维度的空间变
换域运算之前，基于所述数据传输表，通过各个计算节点在多个维度的连接关系将计算节点中需要传输的数据通过传输到目的计算节点的相应位置上，在接收到其它计算节点发送的数据后存储到相应的位置上，并在满足进行空间变换域运算的条件后，进行空间变换域运算。
[0009]可选的，针对任意一个第一目标计算节点，所述第一目标计算节点与每一个维度上的两个第二目标计算节点直接相连，任意一个维度的两个第二目标计算节点的编号与所述第一目标计算节点的编号是相邻的。
[0010]可选的，所述数据传输表中，源地址表征需要传输的数据在计算节点中的位置；
[0011]所述目的地址表示源地址上数据需要被传输到的目的计算节点以及所述目的计算节点中存放的源地址上的数据的具体位置。
[0012]可选的，所述计算节点还用于：检测接收到目标数据的计算节点是否为所述目标数据的目的地址；
[0013]若接收到目标数据的计算节点不是目标数据的目的地址，基于所述目标数据的源地址和目的地址，将所述目标数据发送到下一个计算节点。
[0014]可选的，所述计算节点还用于：
[0015]在完成了每一个维度的空间变换域运算后，将计算节点中每个维度对应的数据传输表中的源地址和目的地址进行互换；
[0016]在进行每个维度的空间变换域逆运算之前，依据互换了源地址和目的地址的数据传输表，将需要传输的数据传输到目的计算节点相应位置上；
[0017]进行空间变换域逆运算。
[0018]本专利技术实施例公开了一种数据处理方法，包括：
[0019]各个计算节点接收管理节点发送的数据传输表；所述数据传输表包括：计算节点中需要传输的数据的源地址和目的地址；所述各个计算节点在多个维度上存在连接关系；
[0020]在进行每个维度的空间变换域之前，基于所述数据传输表，将各个计算节点中需要传输的数据传输到目的计算节点的相应位置上；每个计算节点预先存储了预设空间上的数据；
[0021]接收其它计算节点发送的数据，并进行存储；
[0022]在满足了进行目标维度的空间变换域运算的条件后，各个计算节点进行空间变换域运算。
[0023]可选的，所述数据传输表中，源地址表征需要传输的数据在计算节点中的位置；
[0024]所述目的地址表示源地址上数据需要被传输到的目的计算节点以及所述目的计算节点中存放源地址上的数据的具体位置。
[0025]可选的，还包括：
[0026]第三目标计算节点接收到其它计算节点发送的目标数据后，检测所述第三目标计算节点是否为所述目标数据的目的地址；
[0027]若所述第三目标计算节点不是所述目标数据的目的地址，基于目标数据的源地址和目的地址，将所述目标数据发送到下一个计算节点；所述第三目标计算节点为任意一个计算节点。
[0028]可选的，还包括：
[0029]在完成了所有维度的空间变换域运算后，将计算节点中每个维度对应的数据传输表中的源地址和目的地址进行互换；
[0030]各个计算节点进行空间变换域逆运算；
[0031]在完成了每一个维度的空间变换域逆运算后，各个计算节点按照转换了源地址和目的地址的数据传输表，将源地址的数据传输到目的地址对应的计算节点相应的位置上。
[0032]本专利技术实施例公开了一种数据处理装置，包括：
[0033]第一接收单元，用于各个计算节点接收管理节点发送的数据传输表；所述数据传输表包括：计算节点中需要传输的数据的源地址和目的地址；所述各个计算节点在多个维度上存在连接关系；
[0034]传输单元，用于在进行每个维度的空间变换域之前，基于所述数据传输表，将各个计算节点中需要传输的数据传输到目的计算节点的相应位置上；每个计算节点预先存储了预设空间上的数据；
[0035]第二接收单元，用于接收其它计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：多个计算节点和管理节点，所述多个计算节点在多个维度上存在连接关系；所述管理节点用于存储每个计算节点在每个维度的数据传输表，并将数据传输表发送给相对应的计算节点；所述数据传输表包括：计算节点需要传输的数据的源地址和目的地址；所述计算节点，用于接收管理节点发送的数据传输表，在执行每个维度的空间变换域运算之前，基于所述数据传输表，通过各个计算节点在多个维度的连接关系将计算节点中需要传输的数据通过传输到目的计算节点的相应位置上，在接收到其它计算节点发送的数据后存储到相应的位置上，并在满足进行空间变换域运算的条件后，进行空间变换域运算。2.根据权利要求1所述的数据处理系统，其特征在于，针对任意一个第一目标计算节点，所述第一目标计算节点与每一个维度上的两个第二目标计算节点直接相连，任意一个维度的两个第二目标计算节点的编号与所述第一目标计算节点的编号是相邻的。3.根据权利要求1所述的数据处理系统，其特征在于，所述数据传输表中，源地址表征需要传输的数据在计算节点中的位置；所述目的地址表示源地址上数据需要被传输到的目的计算节点以及所述目的计算节点中存放的源地址上的数据的具体位置。4.根据权利要求1所述的数据处理系统，其特征在于，所述计算节点还用于：检测接收到目标数据的计算节点是否为所述目标数据的目的地址；若接收到目标数据的计算节点不是目标数据的目的地址，基于所述目标数据的源地址和目的地址，将所述目标数据发送到下一个计算节点。5.根据权利要求1所述的数据处理系统，其特征在于，所述计算节点还用于：在完成了所有维度的空间变换域运算后，将计算节点中每个维度对应的数据传输表中的源地址和目的地址进行互换；各个计算节点进行空间变换域逆运算；在完成了每一个维度的空间变换域逆运算后，各个计算节点按照转换了源地址和目的地址的数据传输表，将源地址的数据传输到目的地址对应的计算节点相应的位置上。6.一种数据处理方法，其特征在于，包括：各个计算节点接收管理节点发送的数据传输表；所述数据传输表包括：计算节点中需要传输...

【专利技术属性】
技术研发人员：郭璟，郭晨，刘子君，李桓，郭振江，柳宇驰，李京会，张欣瑜，
申请(专利权)人：北京思朗科技有限责任公司，
类型：发明
国别省市：