网格数据分布式存储服务系统、方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种网格数据分布式存储服务方法、装置、设备及介质，该方法包括：基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储；根据网格上已有分布式存储中源并行剖分，对网格数据进行重分布，构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储；根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储，构建分布式存储服务模型；根据所述分布式存储服务模型，执行服务功能；可以有效降低网格数据在一个进程上的运行内存，提升计算机的计算处理能力，解决耦合模式等数值程序发展和应用中面临的存储大规模网格的性能瓶颈。

【技术实现步骤摘要】
网格数据分布式存储服务系统、方法、装置、设备及介质
本专利技术涉及计算机虚拟存储技术领
，尤其涉及一种网格分布式存储服务系统、方法、装置、设备及介质。
技术介绍
用于模拟仿真计算的数值程序通常需要将被模拟仿真的对象离散表示为一定维度和分辨率的网格及其上的数据，例如该一定维度可以为一维、二维、三维、四维、甚至更多维，该数据包括表示各网格点坐标等信息的网格数据，以及各网格点上用于表征模拟仿真对象属性的数据；然后在网格上对相应数学模型进行数值积分求解。数值程序的计算量通常很大，需要利用MPI(messagepassinginterface，消息传递接口)等把数值程序并行化为多进程协同计算的并行程序，以利用高性能计算机的众多处理器核来加速计算，其中数值程序一个网格上的网格点集会被分解为若干子集，每个进程负责一个子集对应的数值计算，进程间基于MPI等交换部分网格点上的数据。后续把网格点集在不同进程间的分派称为并行剖分，并行剖分中由一个进程负责计算的网格点称为该进程的局部网格点。用于气候研究和气象海洋预报的地球系统模式和耦合数值预报模式(统称耦合模式)是典型的数值程序，由大气、陆面、海洋等分量模式通过耦合器耦合集成而来。随着科学与技术的快速发展、对模拟与预报精度要求的不断提高，地球系统模式及其各分量模式正朝着高分辨率方向不断发展，网格规模越来越大。现有地球系统模式耦合器如法国的OASIS[10-12]，美国的MCT[13]、CPL[14,15]、ESMF[16]和FMS[17]等采用全局存储方式来管理网格信息，即每个进程都会把同一网格所有格点的信息存放在内存中。这一全局存储方式虽然极大的简化了耦合器中在线计算插值权重、获取所需网格点上信息、输出耦合变量所在网格信息等功能的程序实现；但是严重增加了内存需求，特别是当模式分辨率很高(网格点数很多)时，会导致整个耦合模式无法并行运行。例如，当模式分辨率达到全球3公里时，会有超过5千万个网格点，一个进程存储整个水平网格信息的内存用量就能超过4GB，而通常有数十个处理器核但内存容量通常不超过64GB，这会使得当前高性能计算机的一个计算节点只能运行至多十几个进程；当试图运行更多进程时，计算机系统会因内存容量不够而强制中断模式的运行，因而无法充分使用高性能计算机的计算能力。因此，现有技术有待进一步改进。
技术实现思路
基于此，有必要针对上述技术问题，提供一种网格数据分布式存储服务方法、装置、计算机设备及存储介质。例如，提供一种网格数据分布式存储服务方法，该方法包括：基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储；根据网格上已有分布式存储中源并行剖分，对网格数据进行重分布，构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储；根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储，构建分布式存储服务模型；根据所述分布式存储服务模型，执行服务功能；其中，所述服务功能包括数据查询、网格比对、网格数据读入及网格数据写出中的至少一个。在其中一个实施例中，所述基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储的步骤，包括：基于基础并行剖分的原则，将所述网格数据平均分散存储到各进程的内存中，构建所述网格在一组进程的分布式存储。在其中一个实施例中，所述基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储的步骤，包括：对所述网格数据的网格点进行编号，得到编号后的网格数据；将基于并行剖分的原则，将所述编号后的网格数据分散存储到各进程的内存中，构建所述网格在一组进程的分布式存储。在其中一个实施例中，所述数据查询步骤包括：获取待查询网格点编号；根据所述待查询网格点编号及所述分布式存储服务模型，获取指定网格点上的数据。在其中一个实施例中，所述根据所述待查询网格点编号及所述分布式存储服务模型，获取指定网格点上的数据的步骤，包括：根据所述待查询网格点编号及所述分布式存储服务模型，确定指定网格点的存储进程；判断所述存储进程是否为当前进程；当所述存储进程为所述当前进程时，根据所述网格点编号，在所述当前进程中获取指定网格点数据；当所述存储进程不为所述当前进程时，根据所述网格点编号，从所述存储进程获取指定网格点数据。在其中一个实施例中，所述数据查询步骤包括：获取待查询网格及指定区域范围；基于分布式存储服务模型，根据所述待查询网格及所述指定区域范围，确定所述指定区域范围内网格点所对应的存储进程，从所述存储进程获取指定区域范围的数据。在其中一个实施例中，所述网格比对步骤包括：获取第一网格及第二网格；根据所述分布式存储服务模型，对所述第一网格及所述第二网格进行比对。在其中一个实施例中，一种网格数据分布式存储服务装置，该装置包括：分布式存储构建模块，用于基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储；重分布模块，用于根据网格上已有分布式存储中源并行剖分，对网格数据进行重分布，构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储；服务模型构建模块，用于根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储，构建分布式存储服务模型；服务模块，用于根据所述分布式存储服务模型，执行服务功能；其中，所述服务功能包括数据查询、网格比对、网格数据读入及网格数据写出中的至少一个。在其中一个实施例中，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。在其中一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。上述网格数据分布式存储服务方法、装置、计算机设备及存储介质，通过对网格上的数据按照并行剖分的原则，分散存储到各个进程中，构建分布式存储，以降低每个进程的工作负荷，并对网格上已有的分布式存储进行重分布，实现网格数据在不同进程上的数据传输，进而构建分布式存储服务模型；通过分布式存储服务模型执行服务操作；如此，可以有效降低网格数据在一个进程上的运行内存，提升计算机的计算处理能力，解决耦合模式等数值程序发展和应用中面临的存储大规模网格的性能瓶颈。附图说明图1为本专利技术一个实施例中网格数据分布式存储服务方法的流程示意图；图2为本专利技术又一个实施例中网格数据分布式存储服务方法的流程示图；图3为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供了本文档来自技高网...

【技术保护点】
1.一种网格数据分布式存储服务方法，其特征在于，包括：/n基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储；/n根据网格上已有分布式存储中源并行剖分，对网格数据进行重分布，构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储；/n根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储，构建分布式存储服务模型；/n根据所述分布式存储服务模型，执行服务功能；其中，所述服务功能包括数据查询、网格比对、网格数据读入及网格数据写出中的至少一个。/n

【技术特征摘要】
1.一种网格数据分布式存储服务方法，其特征在于，包括：
基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储；
根据网格上已有分布式存储中源并行剖分，对网格数据进行重分布，构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储；
根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储，构建分布式存储服务模型；
根据所述分布式存储服务模型，执行服务功能；其中，所述服务功能包括数据查询、网格比对、网格数据读入及网格数据写出中的至少一个。


2.根据权利要求1所述的网格数据分布式存储服务方法，其特征在于，所述基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储的步骤，包括：
基于基础并行剖分的原则，将所述网格数据平均分散存储到各进程的内存中，构建所述网格在一组进程的分布式存储。


3.根据权利要求1所述的网格数据分布式存储服务方法，其特征在于，所述基于并行剖分的原则，将网格数据分散存储到各进程的内存中，构建网格在一组进程的分布式存储的步骤，包括：
对所述网格数据的网格点进行编号，得到编号后的网格数据；
将基于并行剖分的原则，将所述编号后的网格数据分散存储到各进程的内存中，构建所述网格在一组进程的分布式存储。


4.根据权利要求1所述的网格数据分布式存储服务方法，其特征在于，所述数据查询步骤包括：
获取待查询网格点编号；
根据所述待查询网格点编号及所述分布式存储服务模型，获取指定网格点上的数据。


5.根据权利要求4所述的网格数据分布式存储服务方法，其特征在于，所述根据所述待查询网格点编号及所述分布式存储服务模型，获取指定网格点上的数据的步骤，包括：
根据所述待查询网格点编号及所述分布式存储服务模型，确定指定网格点的存储进程；
判断所...

【专利技术属性】
技术研发人员：刘利，于灏，于馨竹，孙超，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11