一种天文数据并行处理装置和方法制造方法及图纸

本发明专利技术公开了一种天文数据并行处理装置和方法，其中处理装置计算集群，包括：管理服务器、存储服务器和多个计算服务器，存储服务器用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器同时执行。所述方法包括：管理服务器运行启动模块；启动模块将并行模块分配于多个计算服务器运行，并为天文数据处理程序分配一个任务号；并行模块启动天文数据处理程序，同时根据任务号从存储服务器内的参数文件中提取参数并将其输入至天文数据处理程序；天文数据处理程序根据参数处理存储服务器内的天文数据文件，并将结果保存于存储服务器。

A parallel processing device and method for astronomical data

The invention discloses an astronomical data parallel processing device and method, wherein the processing device computing cluster includes: a management server, a storage server and a plurality of computing servers, the storage server is used for storing a plurality of astronomical data files, parameter files and astronomical data processing instructions, which are executed simultaneously by a plurality of computing servers. The method comprises the following steps: the management server runs the startup module; the startup module allocates the parallel module to multiple computing servers to run, and assigns a task number to the astronomical data processing program; the parallel module starts the astronomical data processing program, and extracts the parameters from the parameter file in the storage server according to the task number and inputs them to the astronomical data processing program; the astronomical number According to the processing program, the astronomical data files in the storage server are processed according to the parameters, and the results are saved in the storage server.

【技术实现步骤摘要】
一种天文数据并行处理装置和方法
本专利技术涉及天文数据处理领域，尤其涉及一种天文数据并行处理的装置和方法。
技术介绍
随着天文观测设备的不断建设与精度升级，天文数据的采集能力大大增强，天文研究进入到了大数据时代，原有的天文数据处理程序无法满足大数据处理的时间要求，大规模并行成为了加速天文数据处理的必备手段。HPC(HighPerformanceComputingSystem，高性能计算系统)是并行计算的主要环境，其核心是由多台相同架构的计算服务器，通过高速网络组成计算集群，再由并行处理软件将计算任务分布于不同的计算服务器上，从而实现计算任务的并行执行。因此，实现并行计算任务，除了必需的计算硬件外，并行计算的软件是重要的组成部分，目前，HPC环境下的并行软件的开发都是基于MPI(MessagePassingInterface，消息传递接口)来进行的。MPI是用于HPC环境下进行并行程序开发的标准协议接口，设计了并行程序开发的基本框架及子进程之间的数据交互方式，目前有openMPI，IntelMPI，MPICH等多种实现形式，但是实现的原理都是一致的但是，在大规模的数据处理环境下，需要让不同的进程执行不同的计算任务或对应不同的输入数据，此时，通常的做法需要在原有程序基础上根据MPI的框架来重新进行并行设计，让不同的进程根据不同的进程编号执行不一样的动作，从而在HPC环境下正确的并行执行。否则虽然启动了多进程，但由于执行的命令都是一样的，无法达到并行处理数据的目的。对原有串行程序的并行化改造是一个非常复杂的技术工作，一方面，对于程序的使用来来讲，由于缺乏源代码或对源代码不熟悉的情况下，这种改造都无法开展，另一方面，即使在有源代码的情况下，并行化改造后，将造成原有程序流程的改变，不便于程序在不同计算环境下的移值。
技术实现思路
(一)要解决的技术问题本专利技术一种天文数据并行处理的装置和方法，以至少部分解决现有方法中天文数据串行处理速度慢、效率低的缺点。(二)技术方案根据本专利技术的一方面，提供了一种天文数据并行处理的装置，包括：一计算集群，包括一管理服务器、一存储服务器和多个计算服务器；所述存储服务器用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器同时执行，执行时包括如下步骤：同时从参数文件中提取参数；发起天文数据处理任务，将所述天文数据并行分配于多个所述计算服务器中运行。在进一步的方案中，所述管理服务器、存储服务器和计算服务器为通过以太网络连接且工作于同一网段内。根据本专利技术的另一方面，还提供了一种天文数据并行处理的方法，包括：运行启动模块；将并行模块分配于多个计算服务器运行，并为天文数据处理程序分配一个任务号；启动天文数据处理程序，同时根据任务号从存储服务器内的参数文件中提取参数并将其输入至天文数据处理程序；根据参数处理存储服务器内的天文数据文件，并保存结果。在进一步的方案中，所述天文数据处理程序同时运行于所述多个计算服务器中。在进一步的方案中，所述并行模块同时运行于所述多个所述计算服务器中，从参数文件中提取参数并启动天文数据处理程序，该并行模块遵从MPI标准规范。在进一步的方案中，所述启动模块，运行于所述管理服务器，发起天文数据处理任务并将所述并行模块分配于多个所述计算服务器中运行。在进一步的方案中，所述的参数文件为文本文件格式，每一行包括一任务号及为该任务号对应的天文数据处理程序所分配的天文数据文件。(三)有益效果本专利技术对并行架构的流程重新进行了设计，增加了并行模块作为MPI框架和天文数据处理程序的中间件，为天文数据处理程序在不同的计算服务器中输入不同的参数，使其具备了并行计算的能力，同时用户无需对原有天文数据处理程序的串行代码进行修改，即可实现大规模的并行执行，提高了数据处理效率。此外，还解决了天文数据处理程序为无源代码或代码复杂无法进行并行化修改的天文数据处理程序的并行化问题。附图说明图1为本专利技术实施例的一种天文数据并行处理装置的计算集群结构图。图2为本专利技术实施例的一种天文数据并行处理方法的流程图。【附图标记说明】1、管理服务器；2、存储服务器；3、计算服务器具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。在本专利技术中，“设置于...上”或“贴附至...上”用于包括与单一或多个组件间的直接接触关系。而且，说明书与权利要求书所使用的序数例如“第一”、“第二”、“一号”或“二号”等用词，以修饰请求保护的部件，其本身并不包含及代表该部件有任何之前的序数，也不代表某一部件与另一部件的顺序或是制造方法上的顺序，这些序数的使用仅用来使具有某命名的一部件得以和另一具有相同命名的部件能做出清楚区分。在大规模的数据处理环境下，需要让不同的进程执行不同的计算任务或对应不同的输入数据，此时，通常的做法需要在原有程序基础上根据MPI的框架来重新进行并行设计，让不同的进程根据不同的进程编号执行不一样的动作，从而在HPC环境下正确的并行执行，否则虽然启动了多进程，但由于执行的命令都是一样的，无法达到并行处理数据的目的。本专利技术提供了一种天文数据并行处理装置，图1为本专利技术实施例的一种天文数据并行处理装置的计算集群结构图，如图1所示，包括一管理服务器1、一存储服务器2和多个计算服务器3。所述存储服务器2用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器3同时执行，执行时包括如下步骤：同时从参数文件中提取参数；发起天文数据处理任务，将所述天文数据并行分配于多个所述计算服务器3中运行。在本实施例中，所述管理服务器1、存储服务器2和计算服务器3为通过以太网络连接且工作于同一网段内。本专利技术还提供了一种天文数据并行处理的方法，图2为本专利技术实施例的一种天文数据并行处理方法的流程图，如图2所示，包括：运行启动模块；将并行模块分配于多个计算服务器3运行，并为天文数据处理程序分配一个任务号；启动天文数据处理程序，同时根据任务号从存储服务器2内的参数文件中提取参数并将其输入至天文数据处理程序；根据参数处理存储服务器内的天文数据文件，并保持结果。在本实施例中，所述天文数据处理程序同时运行于所述多个计算服务器中3中；所述并行模块也同时运行于所述多个所述计算服务器3中，该并行模块从参数文件中提取参数并启动天文数据处理程序，同时，该并行模块遵从MPI标准规范；所述启动模块，运行于所述管理服务器1，该启动模块发起天文数据处理任务并将所述并行模块分配于多个所述计算服务器3中运行。此外，所述的参数文件为文本文件格式，每一行包括一任务号及为该任务号对应的天文数据处理程序所分配的天文数据文件。以下将结合具体实施例来进一步描述本专利技术的一种天文数据并行处理方法，在下面的详细描述本文档来自技高网...

【技术保护点】
1.一种天文数据并行处理装置，包括：/n一计算集群，包括一管理服务器、一存储服务器和多个计算服务器；/n所述存储服务器用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器同时执行，执行时包括如下步骤：/n同时从参数文件中提取参数；发起天文数据处理任务，将所述天文数据并行分配于多个所述计算服务器中运行。/n

【技术特征摘要】
1.一种天文数据并行处理装置，包括：
一计算集群，包括一管理服务器、一存储服务器和多个计算服务器；
所述存储服务器用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器同时执行，执行时包括如下步骤：
同时从参数文件中提取参数；发起天文数据处理任务，将所述天文数据并行分配于多个所述计算服务器中运行。


2.根据权利要求1所述的装置，其中所述管理服务器、存储服务器和计算服务器为通过以太网络连接且工作于同一网段内。


3.一种应用权利要求1所述的装置对天文数据并行处理的方法，包括：
运行启动模块；
将并行模块分配于多个计算服务器运行，并为天文数据处理程序分配一个任务号；
启动天文数据处理程序，同时根据任务号从存储服务器内的参数文件中提取参数并将其输入至天文数据处...

【专利技术属性】
技术研发人员：李长华，崔辰州，李正，韩叙，和兰，
申请(专利权)人：中国科学院国家天文台，
类型：发明
国别省市：北京;11