任务卸载方法、系统、装置和存储介质制造方法及图纸

本发明专利技术公开了一种任务卸载方法、系统、装置和存储介质，任务卸载方法包括执行决策过程，确定网络状态值、即时奖励值和长期效用值，以及以最优决策过程所确定的第一终端、第二终端和协作卸载终端执行任务卸载等步骤。通过匹配第一终端和第二终端，并且令其中一个终端作为另一个终端的协作卸载终端，可以实现并行传输结构以进行协作卸载，例如将一个终端的任务数据并行地卸载给协作卸载终端和接入点，从而达到降低任务卸载延迟和能量消耗；与现有技术相比，实施例中的任务卸载方法更适用于多终端的环境，并且可以实现更大范围的延迟优化，例如在更长的一段时间里总的时间消耗和资源消耗的优化。本发明专利技术广泛应用于移动通信技术领域。

【技术实现步骤摘要】
任务卸载方法、系统、装置和存储介质
本专利技术涉及移动通信
，尤其是一种任务卸载方法、系统、装置和存储介质。
技术介绍
在NOMA-MEC等5G通信技术中，为实现通信过程，移动终端需要进行任务卸载，例如移动终端将任务数据卸载至接入点(AP)等。任务卸载过程所面临的问题中包括延迟问题。基于边缘计算的任务卸载技术是一种能减少任务卸载的延迟的现有技术，边缘计算的原理是把原先由核心节点进行的事务处理，分到各边缘节点进行处理，并靠近终端用户来布局，从而使系统更高效更易于管理，正是由于边缘节点更接近用户终端装置，可以加快资料的处理和传送速度，减少延迟。但是基于边缘计算的任务卸载技术在未事先知道其他终端的行为的情况下，所获得的单点的最优匹配，但是不能保证在长的一段时间里总的时间消耗和资源消耗得到了优化。
技术实现思路
针对上述至少一个技术问题，本专利技术的目的在于提供一种任务卸载方法、系统、装置和存储介质。一方面，本专利技术实施例包括一种任务卸载方法，包括：执行决策过程；所述决策过程用于确定与第一终端匹配的第二终端，根据判定条件，将所述第二终端设定为所述第一终端的协作卸载终端，或者将所述第一终端设定为所述第二终端的协作卸载终端；根据所述协作卸载终端的设定结果，确定网络状态值；根据所述网络状态值以及所述决策过程中所执行的动作，确定即时奖励值；根据所述即时奖励值，确定长期效用值；确定最优决策过程；所述最优决策过程为使所述长期效用值最大化的决策过程；以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载。进一步地，所述任务卸载方法还包括以下步骤：训练神经网络；所述神经网络的输入包括所述网络状态值以及所述决策过程中所执行的动作；当所述神经网络的输出与最大化的所述长期效用值之间的偏差小于预设阈值，结束对所述神经网络的训练。进一步地，所述训练神经网络中，以均方误差作为损失函数。进一步地，所述根据判定条件，将所述第二终端设定为所述第一终端的协作卸载终端，或者将所述第一终端设定为所述第二终端的协作卸载终端，包括：确定第一卸载延迟和第二卸载延迟；所述第一卸载延迟为所述第一终端在OMA模式下的卸载延迟，所述第二卸载延迟为所述第二终端在OMA模式下的卸载延迟；当所述第二卸载延迟小于所述第一卸载延迟，将所述第二终端设定为所述第一终端的协作卸载终端；当所述第一卸载延迟小于所述第二卸载延迟，将所述第一终端设定为所述第二终端的协作卸载终端。进一步地，所述即时奖励值为所述第一卸载延迟和所述第二卸载延迟之和的相反数。进一步地，当所述第二终端为所述第一终端的协作卸载终端，所述以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载，包括：从所述第一终端的任务数据中分出第一部分和第二部分；在第一时隙，由所述第一终端将所述第一部分卸载至接入点，将所述第二部分卸载至所述第二终端；所述第二终端将接收到的所述第二部分与本地的任务数据合成后，分出第三部分和第四部分；在第二时隙，由所述第二终端将所述第三部分卸载至接入点，对所述第四部分执行本地计算。进一步地，当所述第一终端为所述第二终端的协作卸载终端，所述以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载，包括：从所述第二终端的任务数据中分出第一部分和第二部分；在第一时隙，由所述第二终端将所述第一部分卸载至接入点，将所述第二部分卸载至所述第一终端；所述第一终端将接收到的所述第二部分与本地的任务数据合成后，分出第三部分和第四部分；在第二时隙，由所述第一终端将所述第三部分卸载至接入点，对所述第四部分执行本地计算。另一方面，本专利技术实施例还包括一种任务卸载系统，包括：第一单元，用于执行决策过程；所述决策过程用于确定与第一终端匹配的第二终端，根据判定条件，将所述第二终端设定为所述第一终端的协作卸载终端，或者将所述第一终端设定为所述第二终端的协作卸载终端；第二单元，用于根据所述协作卸载终端的设定结果，确定网络状态值；第三单元，用于根据所述网络状态值以及所述决策过程中所执行的动作，确定即时奖励值；第四单元，用于根据所述即时奖励值，确定长期效用值；第五单元，用于确定最优决策过程；所述最优决策过程为使所述长期效用值最大化的决策过程；第六单元，用于以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载。另一方面，本专利技术实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例所述方法。另一方面，本专利技术实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例所述方法。本专利技术的有益效果是：实施例中的任务卸载方法，通过匹配第一终端和第二终端，并且令其中一个终端作为另一个终端的协作卸载终端，可以实现并行传输结构以进行协作卸载，例如将一个终端的任务数据并行地卸载给协作卸载终端和接入点，从而达到降低任务卸载延迟和能量消耗；与现有技术相比，实施例中的任务卸载方法更适用于多终端的环境，并且可以实现更大范围的延迟优化，例如在更长的一段时间里总的时间消耗和资源消耗的优化。附图说明图1为实施例中任务卸载方法的流程图；图2和图3为实施例中任务卸载方法的原理图；图4为实施例中执行任务卸载的原理图；图5为实施例中M＝5时对多种通信系统执行任务卸载方法所得的延迟优化效果示意图；图6为实施例中M＝10时对多种通信系统执行任务卸载方法所得的延迟优化效果示意图。具体实施方式本实施例中，参照图1，所执行的任务卸载方法包括以下步骤：S1.执行决策过程；其中，决策过程用于确定与第一终端匹配的第二终端，根据判定条件，将第二终端设定为第一终端的协作卸载终端，或者将第一终端设定为第二终端的协作卸载终端；S2.根据协作卸载终端的设定结果，确定网络状态值；S3.根据网络状态值以及决策过程中所执行的动作，确定即时奖励值；S4.根据即时奖励值，确定长期效用值；S5.确定最优决策过程；其中，最优决策过程为使长期效用值最大化的决策过程；S6.以最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载。步骤S1-S6的原理如图2和图3所示。本实施例中，为了方便在公式中表达，可以将第一终端称为终端n，将第二终端称为终端m。步骤S1中的决策过程可以使用action函数来实现。在action函数中，第一终端需要在当前观察的环境状态下，根据一定的策略选择合适的行动，从而获得较大的即时奖励值。action函数的动作空间表示为其中，表示在决策过程历元k中，将第二终端m设定为第一终端n的协作卸载终端的情况。本实施例中，将第二终本文档来自技高网...

【技术保护点】
1.一种任务卸载方法，其特征在于，包括：/n执行决策过程；所述决策过程用于确定与第一终端匹配的第二终端，根据判定条件，将所述第二终端设定为所述第一终端的协作卸载终端，或者将所述第一终端设定为所述第二终端的协作卸载终端；/n根据所述协作卸载终端的设定结果，确定网络状态值；/n根据所述网络状态值以及所述决策过程中所执行的动作，确定即时奖励值；/n根据所述即时奖励值，确定长期效用值；/n确定最优决策过程；所述最优决策过程为使所述长期效用值最大化的决策过程；/n以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载。/n

【技术特征摘要】
1.一种任务卸载方法，其特征在于，包括：
执行决策过程；所述决策过程用于确定与第一终端匹配的第二终端，根据判定条件，将所述第二终端设定为所述第一终端的协作卸载终端，或者将所述第一终端设定为所述第二终端的协作卸载终端；
根据所述协作卸载终端的设定结果，确定网络状态值；
根据所述网络状态值以及所述决策过程中所执行的动作，确定即时奖励值；
根据所述即时奖励值，确定长期效用值；
确定最优决策过程；所述最优决策过程为使所述长期效用值最大化的决策过程；
以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载。


2.根据权利要求1所述的任务卸载方法，其特征在于，所述任务卸载方法还包括以下步骤：
训练神经网络；所述神经网络的输入包括所述网络状态值以及所述决策过程中所执行的动作；
当所述神经网络的输出与最大化的所述长期效用值之间的偏差小于预设阈值，结束对所述神经网络的训练。


3.根据权利要求2所述的任务卸载方法，其特征在于，所述训练神经网络中，以均方误差作为损失函数。


4.根据权利要求1-3任一项所述的任务卸载方法，其特征在于，所述根据判定条件，将所述第二终端设定为所述第一终端的协作卸载终端，或者将所述第一终端设定为所述第二终端的协作卸载终端，包括：
确定第一卸载延迟和第二卸载延迟；所述第一卸载延迟为所述第一终端在OMA模式下的卸载延迟，所述第二卸载延迟为所述第二终端在OMA模式下的卸载延迟；
当所述第二卸载延迟小于所述第一卸载延迟，将所述第二终端设定为所述第一终端的协作卸载终端；
当所述第一卸载延迟小于所述第二卸载延迟，将所述第一终端设定为所述第二终端的协作卸载终端。


5.根据权利要求4所述的任务卸载方法，其特征在于，所述即时奖励值为所述第一卸载延迟和所述第二卸载延迟之和的相反数。


6.根据权利要求4所述的任务卸载方法，其特征在于，当所述第二终端为所述第一终端的协作卸载终端，所述以所述最优决策过程所确定的第一终端、第二终端和协作卸载终端，执行任务卸载，包括：

【专利技术属性】
技术研发人员：唐冬，李福乐，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东;44