分布式存储和任务网络中的分布式计算制造技术

方法通过下述操作开始：分散存储（DS）处理模块选择用于执行任务的分布式存储和任务（DST）执行单元集合，并确定数据的分散存储差错编码参数。所述方法以下述操作继续：DS处理模块根据参数来对数据进行分散存储差错编码以产生多个编码数据块，并将所述多个编码数据块成组为多个编码数据块成组；所述方法以下述操作继续：DS处理模块将任务分区为部分任务的集合，将所述多个编码数据块成组中的至少一些输出至DST执行单元集合，以及将部分任务的集合输出至DST执行单元集合以对多个编码数据块成组中的至少一些执行部分任务的集合。

【技术实现步骤摘要】
【国外来华专利技术】数据任务的分布式计算方法和分散存储模块相关专利的交叉引用本专利申请要求2011年12月12日提交的名称为“DistributedStorageandTaskProcessing”的待审美国临时申请No.61/569,387以及2012年12月6日提交的名称为“DistributedComputinginaDistributedStorageandTaskNetwork”的待审美国技术申请No.13/707,428依照35U.S.C.§119(e)的优先权，这两个申请出于所有目的以其全部内容通过引用并入本文并构成本专利申请的一部分。
本专利技术总体涉及计算机网络，并且更具体地涉及数据的分散存储和数据的分布式任务处理的方法以及相应的分散存储模块。
技术介绍
计算设备被已知为传送数据、处理数据和/或存储数据。这种计算设备从无线智能电话、膝上型电脑、平板电脑、个人计算机(PC)、工作站、视频游戏设备变化到每天支持数百万web搜索、股票交易或在线购买的数据中心。一般地，计算设备包括中央处理单元(CPU)、存储系统、用户输入/输出接口、外围设备接口和互连总线结构。如进一步已知，计算机可以通过下述操作来有效地扩展其CPU：使用“云计算”以代表计算机执行一个或多个计算功能(如服务、应用、算法、算术逻辑功能等)。此外，对于大型服务、应用和/或功能，云计算可以由多个云计算资源以分布式方式执行，以改进该服务、应用和/或功能的完成的响应时间。例如，Hadoop是支持通过上千计算机启用应用执行的分布式应用的开放源软件框架。除云计算外，计算机还可以使用“云存储”作为其存储系统的一部分。如已知的那样，云存储经由其计算机使用户能够将文件、应用等存储在互联网存储系统上。互联网存储系统可以包括使用纠错方案对数据进行编码以用于存储的分散存储系统和/或RAID(独立盘冗余阵列)系统。
技术实现思路
根据本专利技术的用于对数据任务的分布式计算的方法，包括：基于任务和分布式存储和任务DST执行单元能力信息中的至少一个来选择用于执行任务的DST执行单元集合；基于关于DST执行单元集合的信息来确定数据的分散存储差错编码参数；根据分散存储差错编码参数来对数据进行分散存储差错编码，以产生多个编码数据块；根据分散存储差错编码将所述多个编码数据块成组为多个编码数据块成组；基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将任务分区为部分任务的集合；将所述多个编码数据块成组中的至少一些输出至DST执行单元集合；以及将部分任务的集合输出至DST执行单元集合以对所述多个编码数据块成组中的所述至少一些执行部分任务的集合。所述的方法可以进一步包括：识别用于存储所述多个编码数据块成组的DST执行单元超集，其中，DST执行单元超集包括DST执行单元集合；以及将所述多个编码数据块成组中的其他编码数据块成组输出至DST执行单元超集中的其他DST执行单元，其中，DST执行单元超集存储所述多个编码数据块成组。选择DST执行单元集合可以包括：确定任务的执行要求；按照执行要求来分析多个DST执行单元的DST执行单元能力信息；识别所述多个DST执行单元中的具有与执行要求相对应的能力的DST执行单元；以及从所识别的DST执行单元中选择DST执行单元集合。对所述多个编码数据块进行成组可以进一步包括：基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将所述多个编码数据块成组为所述多个编码数据块成组，其中，所述多个编码数据块成组中的第一编码数据块成组包括比所述多个编码数据块成组中的第二编码数据块成组更少的编码数据块。将任务分区为部分任务的集合可以包括下述各项之一：针对DST执行单元集合中的每一个DST执行单元复制任务以产生部分任务的集合；识别任务的子任务并基于所识别的子任务来产生部分任务的集合；以及识别任务的子任务并针对DST执行单元集合中的每一个DST执行单元复制所识别的子任务以产生部分任务的集合。输出所述多个编码数据块成组中的所述至少一些可以包括：基于对应的DST执行单元标识符、与所选DST执行单元的迪菲-赫尔曼交换、与数据相关联的数据标识符以及所获取的密钥中的一个或多个，针对所述多个编码数据块成组中的所述至少一些中的与DST执行单元集合中的所选DST执行单元相关联的编码数据块成组生成加密密钥；使用所述加密密钥来对该编码数据块成组进行加密，以产生加密后的编码数据块成组；以及将加密后的编码数据块成组输出至所选DST执行单元。本专利技术还提供一种分散存储DS模块，其包括：第一模块，当能够在计算设备内操作时，使所述计算设备执行：基于任务和分布式存储和任务DST执行单元能力信息中的至少一个来选择用于对数据执行任务的DST执行单元集合；第二模块，当能够在所述计算设备内操作时，使所述计算设备执行：基于关于DST执行单元集合的信息来确定数据的分散存储差错编码参数；根据分散存储差错编码参数来对数据进行分散存储差错编码，以产生多个编码数据块；以及根据分散存储差错编码将所述多个编码数据块成组为多个编码数据块成组；第三模块，当能够在所述计算设备内操作时，使所述计算设备执行：基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将任务分区为部分任务的集合；以及第四模块，当能够在所述计算设备内操作时，使所述计算设备执行：将所述多个编码数据块成组中的至少一些输出至DST执行单元集合；以及将部分任务的集合输出至DST执行单元集合以对所述多个编码数据块成组中的所述至少一些执行部分任务的集合。所述的DS模块可以进一步包括：所述第一模块进一步工作，以识别用于存储所述多个编码数据块成组的DST执行单元超集，其中，DST执行单元超集包括DST执行单元集合；以及所述第四模块进一步工作，以将所述多个编码数据块成组中的其他编码数据块成组输出至DST执行单元超集中的其他DST执行单元，其中，DST执行单元超集存储所述多个编码数据块成组。所述的DS模块中，所述第一模块工作以通过执行下述操作来选择DST执行单元集合：确定任务的执行要求；按照执行要求来分析多个DST执行单元的DST执行能力信息；识别所述多个DST执行单元中的具有与执行要求相对应的能力的DST执行单元；以及从所识别的DST执行单元中选择DST执行单元集合。所述的DS模块中，所述第二模块工作以进一步通过执行下述操作来对所述多个编码数据块进行成组：基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将所述多个编码数据块成组为所述多个编码数据块成组，其中，所述多个编码数据块成组中的第一编码数据块成组包括比所述多个编码数据块成组中的第二编码数据块成组更少的编码数据块。所述的DS模块中，所述第三模块工作以通过下述各项之一将任务分区为部分任务的集合：针对DST执行单元集合中的每一个DST执行单元复制任务以产生部分任务的集合；识别任务的子任务并基于所识别的子任务来产生部分任务的集合；以及识别任务的子任务并针对DST执行单元集合中的每一个DST执行单元复制所识别的子任务以产生部分任务的集合。所述的DS模块中，所述第四模块工作以通过执行下述操作来输出所述多个编码数据块成组中的所述至少一些：基于对应的DST执行单元标识符、与所选本文档来自技高网...

【技术保护点】
一种用于对数据的任务的分布式计算的方法，所述方法包括：基于任务和分布式存储和任务（DST）执行单元能力信息中的至少一个来选择用于执行任务的DST执行单元集合；基于关于DST执行单元集合的信息来确定数据的分散存储差错编码参数；根据分散存储差错编码参数来对数据进行分散存储差错编码，以产生多个编码数据块；根据分散存储差错编码将所述多个编码数据块成组为多个编码数据块成组；基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将任务分区为部分任务的集合；将所述多个编码数据块成组中的至少一些输出至DST执行单元集合；以及将部分任务的集合输出至DST执行单元集合以对所述多个编码数据块成组中的所述至少一些执行部分任务的集合。

【技术特征摘要】
【国外来华专利技术】2011.12.12 US 61/569387;2012.12.06 US 13/7074281.一种用于对数据的任务的分布式计算的方法，所述方法包括：基于任务和分布式存储和任务DST执行单元能力信息中的至少一个来选择用于执行任务的DST执行单元集合；基于关于DST执行单元集合的信息来确定数据的分散存储差错编码参数；根据分散存储差错编码参数来对数据进行分散存储差错编码，以产生多个编码数据块；根据分散存储差错编码将所述多个编码数据块成组为多个编码数据块成组；基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将任务分区为部分任务的集合；将所述多个编码数据块成组中的至少一些输出至DST执行单元集合；以及将部分任务的集合输出至DST执行单元集合以对所述多个编码数据块成组中的所述至少一些执行部分任务的集合。2.根据权利要求1所述的方法，进一步包括：识别用于存储所述多个编码数据块成组的DST执行单元超集，其中，DST执行单元超集包括DST执行单元集合；以及将所述多个编码数据块成组中的其他编码数据块成组输出至DST执行单元超集中的其他DST执行单元，其中，DST执行单元超集存储所述多个编码数据块成组。3.根据权利要求1所述的方法，其中，选择DST执行单元集合包括：确定任务的执行要求；按照执行要求来分析多个DST执行单元的DST执行单元能力信息；识别所述多个DST执行单元中的具有与执行要求相对应的能力的DST执行单元；以及从所识别的DST执行单元中选择DST执行单元集合。4.根据权利要求1所述的方法，其中，对所述多个编码数据块进行成组进一步包括：基于DST执行单元能力信息和关于DST执行单元集合的信息中的至少一个将所述多个编码数据块成组为所述多个编码数据块成组，其中，所述多个编码数据块成组中的第一编码数据块成组包括比所述多个编码数据块成组中的第二编码数据块成组更少的编码数据块。5.根据权利要求1所述的方法，其中，将任务分区为部分任务的集合包括下述各项之一：针对DST执行单元集合中的每一个DST执行单元复制任务以产生部分任务的集合；识别任务的子任务并基于所识别的子任务来产生部分任务的集合；以及识别任务的子任务并针对DST执行单元集合中的每一个DST执行单元复制所识别的子任务以产生部分任务的集合。6.根据权利要求1所述的方法，其中，输出所述多个编码数据块成组中的所述至少一些包括：基于对应的DST执行单元标识符、与所选DST执行单元的迪菲-赫尔曼交换、与数据相关联的数据标识符以及所获取的密钥中的一个或多个，针对所述多个编码数据块成组中的所述至少一些中的与DST执行单元集合中的所选DST执行单元相关联的编码数据块成组生成加密密钥；使用所述加密密钥来对该编码数据块成组进行加密，以产生加密后的编码数据块成组；以及将加密后的编码数据块成组输出至所选DST执行单元。7.一种分散存储DS模块，包括：第一模块，当能够在计算设备内操作时，使所述计算设备执行：基于任务和分布式存储和任...

【专利技术属性】
技术研发人员：韦斯利·莱格特，安德鲁·巴普蒂斯特，格雷格·杜斯，詹森·K·雷希，伊利亚·沃尔沃夫斯基，马尼斯·莫特瓦尼，S·克里斯多佛·格拉斯文，加里·W·格鲁布，托马斯·富兰克林·小雪利，
申请(专利权)人：智能保险装置有限公司，
类型：发明
国别省市：美国;US