一种卸载策略确定方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种卸载策略确定方法、装置、电子设备及存储介质，涉及通信技术领域，用以解决现有卸载策略制定过程中未考虑到终端的移动性的问题，包括：根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，P为自然数；确定至少一个第一计算任务的迁移成本；其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务；根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数；根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。本申请用于移动边缘计算场景下的卸载策略制定。卸载策略制定。卸载策略制定。

【技术实现步骤摘要】
一种卸载策略确定方法、装置、电子设备及存储介质


[0001]本申请涉及通信领域，尤其涉及一种卸载策略确定方法、装置、电子设备及存储介质。

技术介绍

[0002]由于传统网络技术在带宽、时延等方面无法满足车联网、物联网等新场景的需求，确定性网络(Deterministic Networking，DetNet)应运而生。第五代移动通信技术(5th Generation Mobile Communication Technology，5G)确定性网络被业界认为是一种革命性、基础性的生产力确定性网络，是确定性网络领域中的研究重点。
[0003]目前5G确定性网络中，在制定终端计算任务的卸载策略时，现阶段的技术方案只考虑到了终端的能耗与时延，并未考虑终端的移动性。在实际通信中，由于终端的移动性，终端会从一个基站的覆盖范围移动到另一个基站的覆盖范围，比如终端从基站的覆盖范围移动到另一基站的覆盖范围。当终端的一个计算任务正处于执行过程中，由于终端从基站的覆盖范围移动到另一基站的覆盖范围时，终端会连接到另一基站，因此若要继续执行该计算任务，则会产生额外的计算任务迁移成本，这会对计算任务的卸载策略的制定造成影响。

技术实现思路

[0004]本申请提供一种卸载策略确定方法、装置、电子设备及存储介质，能够解决现有卸载策略制定过程中未考虑到终端的移动性的问题。
[0005]第一方面，本申请提供一种卸载策略确定方法，该方法包括：根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，M个计算任务包括P个计算任务，M为正整数，P为自然数；确定至少一个第一计算任务的迁移成本；其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务；根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数；根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。
[0006]基于上述技术方案，本申请中在制定初始卸载策略后，对于由终端进行基站切换导致的发生迁移的计算任务，会衡量该计算任务的迁移成本，进而判断这些计算任务是否适宜迁移回终端本地来进行卸载策略的制定，并基于损耗函数和预设算法对初始卸载策略进行迭代优化，进而确定出最终卸载策略。由此，本申请提供的方案考虑到了终端的移动性，实现了排除计算任务的迁移成本对卸载策略确定造成的影响，使得确定出的卸载策略更加符合终端实际通信的效果。
[0007]在一种可能的实现方式中，上述至少一个第一计算任务的迁移成本用于表征至少一个第一计算任务进行迁移时的能耗和时延；根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数，具体包括：根据至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；第二计算任务为至少一个第一计算任务中，迁移成本大于卸载成本的
计算任务；根据至少一个第二计算任务，确定至少一个第三计算任务；其中，第三计算任务为M个计算任务中，除去至少一个第二计算任务之外的计算任务；根据至少一个第三计算任务，确定初始卸载策略的损耗函数。
[0008]在一种可能的实现方式中，上述根据至少一个第三计算任务，确定初始卸载策略的损耗函数，具体包括：确定每个第三计算任务的损耗函数；每个第三计算任务的损耗函数相加，得到初始卸载策略的损耗函数；第三计算任务的损耗函数满足以下公式：
[0009][0010]其中，Z
i
表示编号为i的第三计算任务的损耗函数，β
E
表示终端的能耗权重因子，β
T
表示终端的时延权重因子，i表示计算任务的编号，E
i
表示终端的能耗，T
i
表示终端的时延，表示计算任务i在终端本地执行的能耗，T
il
表示表示计算任务i在终端本地执行的时延，N表示至少一个第三计算任务的总数量。。
[0011]在一种可能的实现方式中，上述预设算法为Q
‑
learning算法；根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略，具体包括：根据Q
‑
learning算法，确定初始卸载策略的Q值；根据初始卸载策略的Q值，对初始卸载策略进行优化；在损耗函数满足预设条件时，将优化后的初始卸载策略确定为最终卸载策略。
[0012]在一种可能的实现方式中，上述初始卸载策略的Q值满足以下公式：
[0013]Q(s,a)＝(1
‑
α)Q(s,a)+α[R+γmaxQ(s',a')][0014]其中，Q(s,a)表示初始卸载策略在当前时刻的Q值，s表示Q
‑
learning算法中的状态参数，a表示Q
‑
learning算法中的动作参数，R表示Q
‑
learning算法中的回报参数，α表示学习率，γ表示权重参数，Q(s',a')表示初始卸载策略在下一时刻的Q值。
[0015]第二方面，本申请提供一种卸载策略确定装置，该装置包括：处理单元。处理单元，用于根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，初始卸载策略用于指示终端将P个计算任务卸载至云服务器，M个计算任务包括P个计算任务，M为正整数，P为自然数；处理单元，还用于确定至少一个第一计算任务的迁移成本；其中，第一计算任务为M个计算任务中，在终端发生基站切换后需要进行迁移的计算任务；处理单元，还用于根据至少一个第一计算任务的迁移成本，确定初始卸载策略的损耗函数；处理单元，还用于根据损耗函数和预设算法，对初始卸载策略进行优化，以确定最终卸载策略。
[0016]在一种可能的实现方式中，处理单元，还用于根据至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；第二计算任务为至少一个第一计算任务中，迁移成本大于卸载成本的计算任务；处理单元，还用于根据至少一个第二计算任务，确定至少一个第三计算任务；其中，第三计算任务为M个计算任务中，除去至少一个第二计算任务之外的计算任务；处理单元，还用于根据至少一个第三计算任务，确定初始卸载策略的损耗函数。
[0017]在一种可能的实现方式中，处理单元，还用于确定每个第三计算任务的损耗函数；处理单元，还用于将每个第三计算任务的损耗函数相加，得到初始卸载策略的损耗函数；第三计算任务的损耗函数满足以下公式：
[0018][0019]其中，Z
i
表示编号为i的第三计算任务的损耗函数，β
E
表示终端的能耗权重因子，β
T
表示终端的时延权重因子，i表示计算任务的编号，E
i
表示终端的能耗，T
i
表示终端的时延，表示计算任务i在终端本地执行的能耗，T
il
表示表示计算任务i在终端本地执行的时延，N表示至少一个第三计算任务的总数量。
[0020]在一种可能的实现方式中，处理单元，还用于根据Q
‑
learning算法，确定初始卸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卸载策略确定方法，其特征在于，所述方法包括：根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，所述初始卸载策略用于指示所述终端将P个计算任务卸载至云服务器，所述M个计算任务包括所述P个计算任务，M为正整数，P为自然数；确定至少一个第一计算任务的迁移成本；其中，所述第一计算任务为所述M个计算任务中，在所述终端发生基站切换后需要进行迁移的计算任务；根据所述至少一个第一计算任务的迁移成本，确定所述初始卸载策略的损耗函数；根据所述损耗函数和所述预设算法，对所述初始卸载策略进行优化，以确定最终卸载策略。2.根据权利要求1所述的方法，其特征在于，所述至少一个第一计算任务的迁移成本用于表征所述至少一个第一计算任务进行迁移时的能耗和时延；所述根据所述至少一个第一计算任务的迁移成本，确定所述初始卸载策略的损耗函数，具体包括：根据所述至少一个第一计算任务的迁移成本，确定至少一个第二计算任务；所述第二计算任务为所述至少一个第一计算任务中，迁移成本大于卸载成本的计算任务；根据所述至少一个第二计算任务，确定所述至少一个第三计算任务；其中，所述第三计算任务为所述M个计算任务中，除去所述至少一个第二计算任务之外的计算任务；根据所述至少一个第三计算任务，确定所述初始卸载策略的损耗函数。3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个第三计算任务，确定所述初始卸载策略的损耗函数，具体包括：确定每个所述第三计算任务的损耗函数；将所述每个所述第三计算任务的损耗函数相加，得到所述初始卸载策略的损耗函数；所述第三计算任务的损耗函数满足以下公式：其中，Z
i
表示编号为i的所述第三计算任务的所述损耗函数，β
E
表示所述终端的能耗权重因子，β
T
表示所述终端的时延权重因子，i表示所述计算任务的编号，E
i
表示所述终端的能耗，T
i
表示所述终端的时延，表示所述计算任务i在终端本地执行的能耗，T
il
表示表示所述计算任务i在终端本地执行的时延，N表示所述至少一个第三计算任务的总数量。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述预设算法为Q
‑
learning算法；所述根据所述损耗函数和预设算法，对所述初始卸载策略进行优化，以确定最终卸载策略，具体包括：根据所述Q
‑
learning算法，确定所述初始卸载策略的Q值；根据所述初始卸载策略的Q值，对所述初始卸载策略进行优化；在所述损耗函数满足预设条件时，将所述优化后的初始卸载策略确定为所述最终卸载策略。
5.根据权利要求4所述的方法，其特征在于，所述初始卸载策略的Q值满足以下公式：Q(s,a)＝(1
‑
α)Q(s,a)+α[R+γmaxQ(s',a')]其中，Q(s,a)表示所述初始卸载策略在当前时刻的Q值，s表示所述Q
‑
learning算法中的状态参数，a表示所述Q
‑
learning算法中的动作参数，R表示所述Q
‑
learning算法中的回报参数，α表示学习率，γ表示权重参数，Q(s',a')表示所述初始卸载策略在下一时刻的Q值。6.一种卸载策略确定装置，其特征在于，所述卸载策略确定装置包括：处理单元；所述处理单元，用于根据预设算法，确定终端对于M个计算任务的初始卸载策略；其中，所述初始卸载策略用于指示所述终端将P个计算任务...

【专利技术属性】
技术研发人员：杨文聪，杨文强，贾淑霞，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：