一种基于边缘计算环境的编码分布式计算方法及装置制造方法及图纸

本发明专利技术公开了一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质，该方法包括：获取边缘计算网络的网络参数；基于网络参数得到计算任务布置方案；进行编码分布式计算得到边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除计算任务布置方案中的异常计算任务；基于编码方案及计算任务布置方案实现边缘计算。从而大大减少了计算冗余，节约了网络计算资源。

【技术实现步骤摘要】
一种基于边缘计算环境的编码分布式计算方法及装置
本专利技术涉及边缘计算
，更具体地说，涉及一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质。
技术介绍
近年来，由于边缘计算的高速计算以及低延迟特效，边缘计算成为了下一代网络的新的研究热点。简单来说，边缘计算是云计算的一个拓展，其中的网络资源(比如计算资源等)更贴近用户或终端设备。参与计算的设备包括路由器、服务器甚至是终端设备。分布式计算是边缘计算的一个主要特征，参与节点(即上述参与计算的设备)之间可以相互合作来处理不同的计算任务。通常来讲，边缘计算是基于MapReduce的分布式计算框架的，在MapReduce框架中，计算任务被分成两步：首先，计算任务的输入数据被分发到参与计算的参与节点上，参与节点在本地利用已设计好的映射函数处理这些输入数据并生成相关中间值，这个过程被称为“Map”，其中，每个参与节点均包括相同的映射函数；然后，参与节点相互交换中间值得到他们各自旨在解决的输出函数的相关中间值，当一个参与节点得到足够的中间值时，他可通过设定好的输出函数得到计算结果，这一过程被称为“Reduce”。在MapReduce框架中，中间值的交换(又称，数据迁移)通常是减少延迟的一个瓶颈。网络编码的概念是在2000年首次提出的。网络编码涉及了图论、信息论以及编码理论等相关领域。简单来说，网络编码就是在通信网络中的内部节点上对不同的信息(流)进行编码处理，然后转发给下游节点。根据最大流-最小割定理，数据的发送方和接收方之间的最大传输速率不能超过双方之间的最小割值，传统的多播路由的方法一般达不到该上界。网络编码依据对数据编码的方式的差别，可以将之分为两种，一者是线性的网络编码(LinearNetworkCoding)，另一者是非线性的网络编码(Non-linearNetworkCoding)。相较于非线性网络编码，线性网络编码因其简便性而更加常用。线性网络编码(LinearNetworkCoding，LNC)是一个有潜力的提高网络吞吐量减少传输延迟的技术。基于线性网络编码，有人提出了编码分布式计算方案(CodedDistributedComputing，CDC)来达到计算和通信负载的平衡。在这种方案中，主要是通过网络编码减少分布式计算中的通信负载，但是，专利技术人发现，这种方案中还是存在较为严重的计算冗余，进而造成计算资源的浪费。综上所述，现有技术中编码分布式计算方案存在由于计算冗余的存在造成计算资源浪费的问题。
技术实现思路
本专利技术的目的是提供一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质，以解决现有技术中编码分布式计算方案存在的由于计算冗余的存在造成计算资源浪费的问题。为了实现上述目的，本专利技术提供如下技术方案：一种基于边缘计算环境的编码分布式计算方法，包括：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；基于所述编码方案及所述计算任务布置方案实现边缘计算。优选的，还包括：确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。优选的，确定异常计算任务，或确定异常计算任务及正常计算任务，包括：定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；对于任一个参与节点i，如果且则确定Mo,k＝1；对于任一个参与节点i，如果且则确定对于任一个参与节点i，如果Mo,k＝1、且则确定确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算任务及正常计算任务。优选的，所述实现边缘计算之后，还包括：将完成边缘计算的提示信息发送至指定终端。一种基于边缘计算环境的编码分布式计算装置，包括：参数获取模块，用于：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；第一方案获取模块，用于：基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；第二方案获取模块，用于：基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；边缘计算模块，用于：基于所述编码方案及所述计算任务布置方案实现边缘计算。优选的，所述第二方案获取模块还用于：确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；所述边缘计算模块还用于：判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。优选的，所述第二方案获取模块包括：第一确定单元，用于：定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；对于任一个参与节点i，如果且则确定Mo,k＝1；对于任一个参与节点i，如果且则确定对于任一个参与节点i，如果Mo,k＝1、且则确定第二确定单元，用于：确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算本文档来自技高网...

【技术保护点】
1.一种基于边缘计算环境的编码分布式计算方法，其特征在于，包括：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；基于所述编码方案及所述计算任务布置方案实现边缘计算。

【技术特征摘要】
1.一种基于边缘计算环境的编码分布式计算方法，其特征在于，包括：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；基于所述编码方案及所述计算任务布置方案实现边缘计算。2.根据权利要求1所述的方法，其特征在于，还包括：确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。3.根据权利要求2所述的方法，确定异常计算任务，或确定异常计算任务及正常计算任务，包括：定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；对于任一个参与节点i，如果且则确定Mo,k＝1；对于任一个参与节点i，如果且则确定对于任一个参与节点i，如果Mo,k＝1、且则确定确定Poi,k＝0对应的计算任务为异常计算任务，或确定Poi,k＝0及Poi,k＝1对应的计算任务分别为异常计算任务及正常计算任务。4.根据权利要求3所述的方法，其特征在于，所述实现边缘计算之后，还包括：将完成边缘计算的提示信息发送至指定终端。5.一种基于边缘计算环境的编码分布式计算装置，其特征在于，包括：参数获取模块，用于：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数...

【专利技术属性】
技术研发人员：王进，赵瑞敏，施连敏，周经亚，李领治，张书奎，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32