一种分布式计算系统及计算方法技术方案

本发明专利技术公开了一种分布式计算系统及计算方法，所述系统包括：一个主机，若干个从机；所述主机与所述从机通过有线或无线传输通信连接；所述从机为单级从机或多级从机；所述方法包括：步骤1：大任务拆分；步骤2：分发单位任务；步骤3：计算和反馈结果；步骤4：汇总计算。本发明专利技术的分布式计算系统及计算方法，支持多种类型的计算机参与组建，支持在各种复杂的网络环境下工作，具有构建环境条件要求低、组建方式灵活等特点，根据从机上一次完成任务的效率，实时动态调整下一次任务的分配量，能够较好地提高分布式计算的效率。

【技术实现步骤摘要】
一种分布式计算系统及计算方法
本专利技术涉及计算机技术，尤其涉及一种分布式计算系统及计算方法。
技术介绍
随着计算机技术的不断发展以及计算规模的日益增大，分布式计算技术正越来越受到人们的重视。分布式计算的方法是通过将一个需要非常巨大的计算能力才能处理的大任务拆分成许多个单位任务，然后把拆分的各个单位任务分配给许多计算机节点进行平行处理，最终把各个节点的计算结果综合起来得到最终的任务结果。由于分布式计算具有超强的计算能力、高速访存带宽、支持大规模数据级并行程序设计等特点，其在大规模、高性能的计算领域已得到了较好地应用，并体现出成本廉价、高效、维护方便等优点。目前，分布式计算多集中在一些特定的计算机集群内，例如某一研究机构、集团公司、学校等团体，各计算节点通常通过局域网连接，而在跨领域、跨集团的应用研究尚少，现有技术中采用的分布式计算方法，应用的计算机种类及网络应用环境都较为单一，对任务的拆分较为随意，对任务的分配也较为固定和单一，未能根据各从属计算机的当前的实际计算承载能力进行合理地分配与实时调整，从而在很大程度上影响了分布式计算的效率。由于以上一些技术问题的存在，在一定程度上影响了分布式计算技术的使用和普及。
技术实现思路
针对上述现有技术的不足，本专利技术提供一种分布式计算系统及计算方法，具有构建环境条件要求低、组建方式灵活等特点，普适性强，注重任务的分配合理与适时调整，能够较好地提高分布式计算的效率，有利于加快分布式计算技术的推广和普及。为实现上述技术目的，采用的技术方案如下：一种分布式计算系统，包括：一个主机；若干个从机；所述主机与所述从机通过有线或无线传输通信连接；所述从机为单级从机或多级从机，所述单级从机为单独的计算机，只能独自完成所述主机分配的任务，所述多级从机具有同构扩展能力，能够将所述主机分配的任务分发给与其连接的次从机执行，所述多级从机与所述次从机通过有线或无线传输通信连接。进一步的，所述主机为台式电脑、笔记本电脑、平板电脑、上网本、超极本、智能手机、服务器中的一种。进一步的，所述从机或次从机为台式电脑、笔记本电脑、平板电脑、上网本、超极本、智能手机、服务器中的一种。进一步的，所述次从机为一个或一个以上。进一步的，所述有线或无线传输通信包括互联网、广域网、局域网、WiFi、蓝牙、NFC。本专利技术还提供一种分布式计算方法，包括以下步骤：步骤1：大任务拆分，主机将一个大任务按数据可拆分的最小单位，拆分成N个单位任务，所述N个单位任务之间相互独立；步骤2：分发单位任务，主机将所述N个单位任务动态分配给多个从机执行计算；所述动态分配是指通过对比上一次所有从机平均完成单个单位任务的时间来调整下一次的任务分配；步骤3：计算和反馈结果，从机接收主机分配的任务数据，根据数据处理程序完成计算任务，并反馈计算结果给主机；步骤4：汇总计算，主机获得从机反馈的所有单位任务的计算结果后，汇总完成大任务的计算。进一步的，所述通过对比上一次所有从机平均完成单个单位任务的时间来调整下一次的任务分配，具体方法如下：首先，根据上一次从机完成的任务情况，统计上一次每个从机平均完成单个单位任务的时间，对比找出所有从机中平均完成单个单位任务时间的最大值Tmax和最小值Tmin，并计算出平均值Ta=（Tmax+Tmin）/2；其次，比较所有从机中平均完成单个单位任务时间与Ta的大小，确定下一次任务分配量：若从机平均完成单个单位任务时间大于或等于Ta，则该从机下一次的任务分配量与上一次相同；若从机平均完成单个单位任务时间小于Ta，则该从机下一次的任务分配量相比于上一次增加一倍。进一步的，所述从机为单级从机或多级从机，所述单级从机为单独的计算机，只能独自完成所述主机分配的任务，所述多级从机具有同构扩展能力，能够将所述主机分配的任务分发给与其连接的次从机执行。进一步的，首次分配任务时，每个单级从机只分配一个单位任务，每个多级从机分配的单位任务数量为：与其连接的次从机数量+1。进一步的，所述步骤3从机反馈计算结果给主机可采用以下两种方式之一：（1）每个单位任务执行结果结束后及时反馈给主机；（2）所有单位任务完成后一次汇总反馈给主机。本专利技术具有以下有益效果：（1）本专利技术的一种分布式计算系统及计算方法，支持多种类型的计算机参与组建，支持在各种复杂的网络环境下工作，具有构建环境条件要求低、组建方式灵活等特点。（2）本专利技术的一种分布式计算系统及计算方法，根据从机上一次完成任务的效率，实时动态调整下一次任务的分配量，能够较好地提高分布式计算的效率。（3）本专利技术系统及方法易于实现，应用简单，普适性强，且成本低廉、效率高，有助于扩大分布式计算的适用领域，有利于加快分布式计算技术的推广和普及。附图说明图1是本专利技术一实施例分布式计算系统架构示意图。图2是本专利技术一实施例分布式计算方法流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，图1为本专利技术一实施例分布式计算系统架构示意图。一种分布式计算系统，包括：一个主机M；四个从机，分别是从机A、从机B、从机C和从机D。本实施例中，主机M为刀片式服务器，从机A为台式电脑，从机B为智能手机，从机C为笔记本电脑，从机D为上网本。在另一实施例中，从机可以为平板电脑、超极本、服务器中的一种，主机也可以为台式电脑、笔记本电脑、平板电脑、上网本、超极本、智能手机中的一种，但不限于此。本实施例中，从机B、C、D均为单级从机，没有与其连接的次从机，只能独自完成主机M分配的任务；从机A则为多级从机，具备同构扩展能力，具有2个与其连接的次从机，分别是次从机E和次从机F，从机A能够将主机M分配的任务分发给与其连接的次从机E、F执行。本实施例中，次从机为E为笔记本电脑，次从机为F为台式电脑。在另一实施例中，次从机的数量可以是一个或多个，次从机也可以为平板电脑、上网本、超极本、智能手机中、服务器中的一种，但不限于此。主机M与从机A、B、C、D可通过有线或无线传输通信连接；多级从机A与次从机E、F可通过有线或无线传输通信连接。具体地，有线或无线传输通信包括互联网、广域网、局域网、WiFi、蓝牙、NFC，但不限于此。本实施例主机M与从机A、B、C和D构成上级分布式网络；以从机A作为次主机M1与次从机E、F则同构扩展成下级分布式网络。当然，次从机E或F也可以作为再次主机与其连接的再次从机构成下下级分布式网络，由此，分布式网络可以从机为边界无限扩展。图2是本专利技术一实施例分布式计算方法流程图。以下结合图1和图2，对本专利技术的分布式计算方法步骤详细说明如下：一种分布式计算方法，包括以下步骤：步骤1：大任务拆分，主机将一个大任务按数据可拆分的最小单位，拆分成N个单位任务，N个单位任务之间相互独立；本专利技术方案针对的大任务需满足以下三个方面的条件：1）可以拆分为多个同类单位任务；2）拆分后的单位任务不能有相互依赖；3）可通过处理单位任务的结果，来最终完成大任务。比如，对手机相册中的图片进行分类作为一个大任务，分类方法：按照图片中包含的可识别物体来划分，例如：一张照片有人、车，山，公路，这照片就划归的类就有：人、本文档来自技高网...

【技术保护点】
1.一种分布式计算系统，其特征在于，包括：一个主机；若干个从机；所述主机与所述从机通过有线或无线传输通信连接；所述从机为单级从机或多级从机，所述单级从机为单独的计算机，只能独自完成所述主机分配的任务，所述多级从机具有同构扩展能力，能够将所述主机分配的任务分发给与其连接的次从机执行，所述多级从机与所述次从机通过有线或无线传输通信连接。

【技术特征摘要】
1.一种分布式计算系统，其特征在于，包括：一个主机；若干个从机；所述主机与所述从机通过有线或无线传输通信连接；所述从机为单级从机或多级从机，所述单级从机为单独的计算机，只能独自完成所述主机分配的任务，所述多级从机具有同构扩展能力，能够将所述主机分配的任务分发给与其连接的次从机执行，所述多级从机与所述次从机通过有线或无线传输通信连接。2.根据权利要求1所述的分布式计算系统，其特征在于，所述主机为台式电脑、笔记本电脑、平板电脑、上网本、超极本、智能手机、服务器中的一种。3.根据权利要求1所述的分布式计算系统，其特征在于，所述从机或次从机为台式电脑、笔记本电脑、平板电脑、上网本、超极本、智能手机、服务器中的一种。4.根据权利要求1所述的分布式计算系统，其特征在于，所述次从机为一个或一个以上。5.根据权利要求1所述的分布式计算系统，其特征在于，所述有线或无线传输通信包括互联网、广域网、局域网、WiFi、蓝牙、NFC。6.一种分布式计算方法，其特征在于，包括以下步骤：步骤1：大任务拆分，主机将一个大任务按数据可拆分的最小单位，拆分成N个单位任务，所述N个单位任务之间相互独立；步骤2：分发单位任务，主机将所述N个单位任务动态分配给多个从机执行计算；所述动态分配是指通过对比上一次所有从机平均完成单个单位任务的时间来调整下一次的任务分配；步骤3：计算和反馈结果，从机接收主机分配的任务数据，根据数据处理程序完成计算任务，并反馈计算结果给主机；步骤4：汇总计...

【专利技术属性】
技术研发人员：代豪，黄紫丞，韦克廷，朱磊，
申请(专利权)人：咪付广西网络技术有限公司，
类型：发明
国别省市：广西,45