一种分布式并行计算方法、计算设备及存储介质技术

本申请适用于计算机技术领域，提供一种分布式并行计算方法、计算设备及存储介质，通过主机与多台从机建立套接字连接，主机将预设任务分解为多个子任务，然后将多个子任务的描述信息同步分发至多台从机，将多个子任务的输入参数同步分发至多台从机，每台从机根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给主机，主机接收多台从机发送的多个子任务的执行结果；使得主机无需对从机进行环境配置并提前配置确定各从机的计算任务，支持动态发送复杂多样的并行计算任务并获取并行计算结果，从而可以实现高效、快捷的分布式计算机并行计算方法。快捷的分布式计算机并行计算方法。快捷的分布式计算机并行计算方法。

【技术实现步骤摘要】
一种分布式并行计算方法、计算设备及存储介质


[0001]本申请属于计算机
，尤其涉及一种分布式并行计算方法、计算设备及存储介质。

技术介绍

[0002]在计算机
，计算机的硬件算力是一个重要指标。为了满足大数据、高复杂度的快速计算要求，单纯地提高计算机自身的硬件性能，在成本和提升程度上都会受限，为此计算机集群并行计算需求油然而生。要做到计算机集群并行计算，需要计算机集群中的各计算机能够相互配合，共享计算任务的输入数据、分担执行计算任务、汇总计算结果，以实现并行计算效果。计算机集群并行计算能力理论上可以做到数倍于单个计算机的计算算力。
[0003]目前，比较常见的分布式计算机并行计算方法为多点接口(Multi Point Interface，MPI)，具有高性能、大规模性和可移植性。然而，MPI的缺点是需要提前为计算机集群中的各计算机配置相同的工作环境，各计算机之间基于安全外壳协议(Secure Shell，SSH)免密登录，各计算机的计算任务需要提前确定好，在大规模且复杂多变的并行任务场景下难以配置。

技术实现思路

[0004]本申请实施例提供了一种分布式并行计算方法、主机、从机、计算设备及存储介质，以解决现有的基于MPI的分布式计算机并行计算方法，在大规模且复杂多变的并行任务场景下难以配置的问题。
[0005]本申请实施例的第一方面提供一种分布式并行计算方法，应用于主机，所述主机与m台从机建立套接字连接，所述方法包括：
[0006]将预设任务分解为m个子任务；r/>[0007]将所述m个子任务的描述信息同步分发至所述m台从机；
[0008]将所述m个子任务的输入参数同步分发至所述m台从机；
[0009]接收所述m台从机发送的m个子任务的执行结果；
[0010]其中，m为大于或等于2的整数，每台从机根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给所述主机。
[0011]本申请实施例的第二方面提供一种分布式并行计算方法，应用于从机，所述从机与主机建立套接字连接，所述方法包括：
[0012]接收所述主机发送的子任务的描述信息；
[0013]接收所述主机发送的所述子任务的输入参数；
[0014]根据所述描述信息和所述输入参数，执行所述子任务并生成执行结果；
[0015]将所述执行结果发送至所述主机。
[0016]本申请实施例的第三方面提供一种主机，所述主机与m台从机建立套接字连接，所
述主机包括：
[0017]任务分解单元，用于将预设任务分解为m个子任务；
[0018]描述信息分发单元，用于将所述m个子任务的描述信息同步分发至所述m台从机；
[0019]输入参数分发单元，用于将所述m个子任务的输入参数同步分发至所述m台从机；
[0020]执行结果接收单元，用于接收所述m台从机发送的m个子任务的执行结果；
[0021]其中，m为大于或等于2的整数，每台从机根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给所述主机。
[0022]本申请实施例的第四方面提供一种从机，所述从机与主机建立套接字连接，所述从机包括：
[0023]描述信息接收单元，用于接收所述主机发送的子任务的描述信息；
[0024]输入参数接收单元，用于接收所述主机发送的所述子任务的输入参数；
[0025]任务执行单元，用于根据所述描述信息和所述输入参数，执行所述子任务并生成执行结果；
[0026]执行结果发送单元，用于将所述执行结果发送至所述主机。
[0027]本申请实施例的第五方面提供一种计算设备，包括通信模块、处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序；
[0028]所述计算设备为主机时，所述处理器执行所述计算机程序时实现本申请实施例的第一方面提供的分布式并行计算方法的步骤；
[0029]所述计算设备为从机时，所述处理器执行所述计算机程序时实现本申请实施例的第二方面提供的分布式并行计算方法的步骤。
[0030]本申请实施例的第六方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例的第一方面或第二方面提供的分布式并行计算方法的步骤。
[0031]本申请实施例的第一方面提供的分布式并行计算方法，应用于主机，主机通过与多台从机建立套接字连接，将预设任务分解为多个子任务，然后将多个子任务的描述信息同步分发至多台从机，将多个子任务的输入参数同步分发至多台从机，每台从机根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给主机，最后主机接可接收到多台从机发送的多个子任务的执行结果；使得主机无需对从机进行环境配置并提前配置确定各从机的计算任务，支持动态发送复杂多样的并行计算任务并获取并行计算结果，从而可以实现高效、快捷的分布式计算机并行计算方法。
[0032]本申请实施例的第二方面提供的分布式并行计算方法，应用于从机，从机通过与主机建立套接字连接，接收主机发送的子任务的描述信息，接收主机发送的子任务的输入参数，然后根据描述信息和输入参数，执行子任务并生成执行结果，最后将执行结果发送至主机，使得从机无需经由主机进行环境配置并提前配置确定计算任务，支持动态接收主机发送的复杂多样的计算任务并将计算结果发送给主机，从而可以配合主机实现高效、快捷的分布式计算机并行计算方法。
[0033]可以理解的是，上述第三方面至第六方面的有益效果可以参见上述第一方面或第二方面中的相关描述，在此不再赘述。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本申请实施例提供的第一种分布式并行计算方法的第一种流程示意图；
[0036]图2是本申请实施例提供的分布式并行计算系统的结构示意图；
[0037]图3是本申请实施例提供的第一种分布式并行计算方法的第二种流程示意图；
[0038]图4是本申请实施例提供的第二种分布式并行计算方法的第一种流程示意图；
[0039]图5是本申请实施例提供的第二种分布式并行计算方法的第二种流程示意图；
[0040]图6是本申请实施例提供的主机的结构示意图；
[0041]图7是本申请实施例提供的从机的结构示意图；
[0042]图8是本申请实施例提供的计算设备的结构示意图。
具体实施方式
[0043]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式并行计算方法，其特征在于，应用于主机，所述主机与m台从机建立套接字连接，所述方法包括：将预设任务分解为m个子任务；将所述m个子任务的描述信息同步分发至所述m台从机；将所述m个子任务的输入参数同步分发至所述m台从机；接收所述m台从机发送的m个子任务的执行结果；其中，m为大于或等于2的整数，每台从机根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给所述主机。2.如权利要求1所述的分布式并行计算方法，其特征在于，所述将所述m个子任务的描述信息同步分发至所述m台从机之前，包括：向所述m台从机同步发送任务开始通知；所述接收所述m台从机发送的m个子任务的执行结果之前，包括：向所述m台从机同步发送任务结束通知；其中，每台从机在接收到任务开始通知后，等待接收一个子任务的描述信息，在接收到任务结束通知后，根据接到的一个子任务的描述信息和输入参数执行对应的子任务，生成执行结果并发送给所述主机。3.如权利要求1所述的分布式并行计算方法，其特征在于，所述接收所述m台从机发送的m个子任务的执行结果之前，包括：将所述m个子任务的输出参数同步分发至所述m台从机；其中，每台从机根据接收到的一个子任务的输出参数，创建用于保存对应的子任务的执行结果的内存空间。4.如权利要求1至3任一项所述的分布式并行计算方法，其特征在于，所述预设任务为对m个图像数据进行处理，所述子任务为对一个图像数据进行处理，所述描述信息为图像数据处理程序的程序名，所述输入参数为一个图像数据。5.一种分布式并行计算方法，其特征在于，应用于从机，所述从机与主机建立套接字连接，所述方法包括：接收所述主机发送的子任务的描述信息；接收所述主机发送的所述子任务的输入参数；根据所述描述信息和所述输入参数，执行所述子任务并生成...

【专利技术属性】
技术研发人员：蒋永俊，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：