基于信息中心网络的分布式任务计算方法技术

本发明专利技术公开了一种基于信息中心网络的分布式任务计算方法，包括以下步骤：用户将计算任务分解为子任务，并向网络发送特定格式的请求包来请求计算子任务；网络中间节点根据任务需求和自身负载情况判断是否执行计算任务；对网络中间节点未予处理的请求任务，最终由服务器来完成。本发明专利技术的方法以信息中心网络中间节点可以缓存数据为基础，修改包的格式和网络节点对包的处理流程，由路由协议协助管理计算任务的分配，充分利用中间节点的计算和存储资源，减少分布式任务计算中网络传输所需的时间和节点之间的交互，克服现有方法中对路由器负载影响过大的缺点，提供了一种更加高效的分布式任务计算服务，适用于大型分布式任务计算场景。

【技术实现步骤摘要】
基于信息中心网络的分布式任务计算方法
本专利技术涉及分布式任务计算，具体涉及一种基于信息中心网络的分布式任务计算方法。
技术介绍
随着网络的迅速发展，互联网上的资源和信息量剧增，特别是移动互联网的兴起，网络的大部分流量都源自内容获取类应用。互联网用户的需求从主机之间的通信演进为主机到网络的海量信息访问。为了适应这一转变，研究界提出了多种以信息/内容为中心的新型网络架构，期望能够设计和实现一种更能满足社会与人类需求的新型网络。为方便起见，以下将这类网络架构统称为信息中心网络(InformationCentricNetworking)。信息中心网络的设计思想深深地影响了应用程序和网络设备的设计与实现，同时也赋予了网络更加丰富的功能。在传统的网络中，我们获取数据时需要指定目的主机的地址和具体的数据。其实，我们关心的并不是从哪里获得数据，而是数据本身，因此，在信息中心网络中，内容都有一个名字，当我们需要从网络中获得数据时，只需要向网络中发送一个请求包即可，请求包中有所需内容的名字。由于网络中间节点均具备数据缓存的能力，我们所请求数据的存储位置不再局限在网络的边缘节点，此时的网络成为囊括所有内容的云。传统的分布式任务计算主要是由网络边缘的主机完成，这是因为最初的网络被设计为信息的载体，只负责数据的转发。如果用户的终端设备有一个复杂的超过其计算能力的任务，用户终端可以通过网络将任务交给远程的大型计算机或者云计算平台完成。在这个过程中，任务数据会经过很多网络设备，因此传输过程将消耗很多时间。而随着硬件技术的飞速发展，我们相信在未来的网络中，网络的中间节点(即路由器)不仅具备大容量的快速存储设备，还具备高性能的计算能力。如果在完成数据转发任务的同时，例如让路由器缓存途经该节点的数据并且完成额外的计算任务，则可以充分的利用这些资源。并且由于这些网络中间节点距离用户更近，传输过程的时间消耗会大大较少，用户可以更快的获取到计算结果。有学者借鉴信息中心网络提出了命名函数网络(NamedFunctionNetworking)，即将计算任务命名，然后由路由器完成这些计算任务。但是NFN仅用来完成λ演算，同时需要路由器对复杂的任务名字进行解析，并且未考虑路由器自身的负载情况，这不仅限制了计算任务，也可能会影响到节点对网络数据的正常转发。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于信息中心网络的分布式任务计算方法，不仅考虑计算任务的命名，还考虑了网络中间节点的负载，通过计算任务的分割，以及将存储空间和CPU等作为中间节点的负载度量标准，网络中间节点可以动态地判断是否执行计算任务，使得计算任务可以由多个网络节点分布式地完成，同时保证了网络正常的数据转发。技术方案：一种基于信息中心网络的分布式任务计算方法，包括以下步骤：1)用户将计算任务分解为可独立执行的子任务，并建立子任务之间的依赖关系，其中，每个子任务都用五元组表示，保存依赖关系的数据结构为有向无环图；2)用户按照子任务依赖关系向信息中心网络发送特定格式的请求包，请求执行子任务；3)网络中间节点接收到计算任务请求包之后，根据自身当前负载判断是否可以执行该任务，如果可以执行，则创建新的进程来处理该计算任务，并将计算结果返回给用户；否则根据转发策略将请求包转发给下一跳；4)对网络中间节点未能处理的计算任务，最终由服务器来完成，并且服务器将计算结果返回给用户。其中，所述步骤1)中的五元组为<子任务名称,数据名称,标识码,需求,等待时间>，子任务名称为子任务的名字；数据名称为执行子任务所需的数据名称；标识码为子任务的唯一标识；需求记录的是完成该任务所需的存储空间开销和CPU个数；等待时间为用户等待该任务完成的最长时间，超过该时间仍未得到任务结果，用户将重新请求该任务。子任务之间的依赖关系式为<X,Y>，表示子任务X和子任务Y之间的任务执行依赖关系为，先执行完子任务X才能执行子任务Y。为了使信息中心网络更好地支持计算任务，本专利技术在原有请求包格式的基础上添加类型字段和任务信息字段，其中，类型字段取值可以为0或1，取值为0时表示数据任务包，取值为1时表示计算任务包；任务信息字段包括标识码和需求，标识码唯一标识一个任务，需求部分按序记录完成该任务所需的存储空间开销和CPU个数。并且，所述步骤2)中请求子任务的顺序按照步骤1)中的依赖关系进行，当存在多个无依赖关系的子任务时，同时请求这些子任务；在请求子任务时，根据子任务的五元组，设置请求包名称为“子任务名称+数据名称”，请求包类型设置为计算任务，同时设置任务信息和等待时间。所述步骤3)中创建新的进程来处理该计算任务的具体步骤如下：31)查询本节点是否缓存有执行该计算任务所需的程序和数据，如果没有，则向网络发送用于请求程序的请求包以及用于请求数据的请求包，从网络获得所述程序和数据；32)利用所得到的程序和数据，执行该任务。进一步地，为了确保中间节点能够从网络中得到执行该计算任务的程序和数据，用户在其使用的终端设备上注册任务内容，所注册任务内容包括计算任务所需的程序和数据。并在服务器注册计算服务，以告知用户该服务器可以提供计算功能，确保当所有中间节点都没有可用资源处理计算任务时，服务器能够完成该计算任务。有益效果：本专利技术提出的基于信息中心网络的分布式任务计算方法，利用了网络中间节点的存储和计算资源，在保证正常数据转发的同时，提供分布式任务计算功能。与现有技术相比，该方法提高了分布式任务计算的效率和网络中间节点的利用率，同时降低中间节点的负载，减少对网络转发功能的影响。附图说明图1是信息中心网络的拓扑图；图2是本专利技术使用的请求包和数据包的格式；图3是本专利技术的分布式任务计算方法总体流程图；图4是本专利技术的网络中间节点对计算任务的处理流程图；图5是用户与网络之间的交互实例1的流程图；图6是用户与网络之间的交互实例2的示意图。具体实施方式下面结合附图对本专利技术的技术方案作进一步说明。参照图1，一个信息中心网络包括多种用户终端设备(智能手机、个人计算机、便携式计算机等)、网络中间节点(路由器)以及服务器。服务器提供多种多样的网络服务，如HTTP服务、邮件服务、文件服务、计算服务等；终端设备接入到信息中心网络之后，便可以使用信息中心网络提供的服务；而路由器负责各设备的连接、数据转发以及数据包缓存等功能。在信息中心网络中，服务器通过注册内容名字提供数据，并告知相邻的路由器，路由器通过路由协议可以找到相应内容。当用户想要通过终端设备获取所需数据时，只需向网络发送请求包(Interestpacket)，便可以得到相应的数据包(Datapacket)。如果服务器提供计算任务，也同样需要注册计算任务，以便能够处理收到的计算任务。在本专利技术方法中，路由器节点除了负责缓存和转发包之外，还会提供一定的计算功能。另外，用于执行任务的可执行程序不限于某一种编程语言或文件类型，只要路由器和服务器支持该执行文件，均可以用来完成计算任务，也就是说，一个计算任务可以对应多种可执行文件，但它们的功能完全一样。图2示出了本专利技术所使用的包的格式。我们知道，信息中心网络中使用请求包和数据包这两种类型的包，并规定了包的格式。为了更好地使信息中心网络本文档来自技高网...

【技术保护点】
一种基于信息中心网络的分布式任务计算方法，其特征在于，包括以下步骤：1)用户将计算任务分解为可独立执行的子任务，并建立子任务之间的依赖关系，其中，每个子任务都用五元组表示，保存依赖关系的数据结构为有向无环图；2)用户按照子任务依赖关系向信息中心网络发送特定格式的请求包，请求执行子任务；3)网络中间节点接收到计算任务请求包之后，根据自身当前负载判断是否可以执行该任务，如果可以执行，则创建新的进程来处理该计算任务，并将计算结果返回给用户；否则根据转发策略将请求包转发给下一跳；4)对网络中间节点未能处理的计算任务，最终由服务器来完成，并且服务器将计算结果返回给用户。

【技术特征摘要】
1.一种基于信息中心网络的分布式任务计算方法，其特征在于，包括以下步骤：1)用户将计算任务分解为可独立执行的子任务，并建立子任务之间的依赖关系，其中，每个子任务都用五元组表示，保存依赖关系的数据结构为有向无环图；2)用户按照子任务依赖关系向信息中心网络发送特定格式的请求包，请求执行子任务；3)网络中间节点接收到计算任务请求包之后，根据自身当前负载判断是否可以执行该任务，如果可以执行，则创建新的进程来处理该计算任务，并将计算结果返回给用户；否则根据转发策略将请求包转发给下一跳；4)对网络中间节点未能处理的计算任务，最终由服务器来完成，并且服务器将计算结果返回给用户。2.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤1)中的五元组为<子任务名称,数据名称,标识码,需求,等待时间>，其中，子任务名称为子任务的名字；数据名称为执行子任务所需的数据名称；标识码为子任务的唯一标识；需求记录的是完成该任务所需的存储空间开销和CPU个数；等待时间为用户等待该任务完成的最长时间。3.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤1)中的依赖关系式为<X,Y>，表示子任务X和子任务Y之间的任务执行依赖关系为，先执行完子任务X才能执行子任务Y。4.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤2)中的特定格式的请求包包括类型字段和任务信息字段，其中，类型字段取值可以为0或1，取值为0时表示数据任务包，取值为1时表示计...

【专利技术属性】
技术研发人员：王帅龙，李文中，陆桑璐，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32