一种基于独立学习的移动边缘计算任务卸载方法技术

本发明专利技术涉及无线通信技术领域，尤其涉及一种基于独立学习的移动边缘计算任务卸载方法，包括：建立系统模型，并根据处理的任务数构建IoT设备端的任务队列模型；确定任务计算方式并建立通信模型；建立任务本地计算模型，得到本地任务计算总开销；建立任务卸载计算模型，得到卸载任务计算总开销；引入能量收集，建立IoT设备端的剩余电量队列模型；构建以最小化MEC系统中IoT设备总开销的长期平均为目标的优化问题；建立基于强化学习的独立学习任务卸载模型，包括系统状态空间、动作空间和奖励函数，求解最优的任务卸载策略；本发明专利技术不仅极大地降低了IoT设备的时延和能耗的总开销，而且在一定程度上延长MEC系统的使用寿命。

【技术实现步骤摘要】
一种基于独立学习的移动边缘计算任务卸载方法
本专利技术涉及无线通信
，尤其涉及一种基于独立学习的移动边缘计算任务卸载方法。
技术介绍
随着移动通信速率的持续提升、物联网(InternetofThings，IoT)业务应用的不断涌现以及移动终端种类的日益丰富，使得IoT设备(如智能手机、传感器等设备)数量呈现指数式增长。然而，绝大多数IoT设备自身体积和电池容量十分有限，在处理计算密集型应用时，会出现计算速度缓慢、掉点迅速等问题，无法满足计算密集型应用对处理能力、续航能力等的需求，这使得计算密集型应用与资源受限的IoT设备之间的冲突日益加剧。移动边缘计算(MobileEdgeComputing，MEC)通过在无线接入侧部署通用服务器，就近提供IT和云计算的能力，大大提高了计算密集型和时延敏感型业务的计算效率，从而有效缓解了移动网络对于时延的要求。IoT设备的能量有限是阻碍MEC发展的关键问题，通常可以通过配备大电池或经常为电池充电来解决，但由于IoT设备的尺寸有限，难以配备大型的电池装置。因此，本文引入了能量收集，IoT设备通过配备的能量收集器从外部捕获周围的可再生能源，如风能、太阳能和射频信号等，以延长电池寿命，并在一定程度上延长MEC系统的使用寿命。本文考虑能量受限的IoT设备，将IoT设备的电池电量作为IoT设备决定是否卸载的性能指标。与此同时，多样化网络共存将成为一种常态，在未来移动通信领域，网络异构(HeterogeneousNetwork，HetNet)将成为必然的发展趋势，对MEC的研究可以延伸至异构MEC(Heterogeneous-MEC，Het-MEC)系统。
技术实现思路
为了降低了IoT设备的时延和能耗的总开销，本专利技术提出一种基于独立学习的移动边缘计算任务卸载方法，具体包括以下步骤：S1、建立系统模型，并根据处理的任务数构建IoT设备端的任务队列模型；S2、确定任务计算方式并建立通信模型；S3、建立任务本地计算模型，得到本地任务计算总开销；S4、建立任务卸载计算模型，得到卸载任务计算总开销；S5、引入能量收集，建立IoT设备端的剩余电量队列模型；S6、构建以最小化MEC系统中IoT设备总开销的长期平均为目标的优化问题；S7、建立基于强化学习的独立学习任务卸载模型，包括系统状态空间、动作空间和奖励函数，求解最优的任务卸载策略。进一步的，在IoT设备端的任务队列模型中，在t+1时隙任务队列Q(t)的更新表示为：Q(t+1)＝min{max{Q(t)-bi(t),0}+π(t),Q}；其中，Q(t)表示第t个决策时隙IoT设备队列中的任务数；bi(t)表示IoT设备在第t个决策时隙决定处理的任务数，i∈{0,1,2,...,N,N+1}，当i＝0表示IoT设备决定在本地处理计算任务、i＝1表示IoT设备决定将任务卸载到MBS、i＞1表示IoT设备决定将任务卸载到SBS；π(t)表示t个决策时隙内IoT设备产生的任务数，π(t)服从均值为λ的泊松分布且π(t)独立同分布，Q表示可在IoT设备缓存队列排队的最大计算任务数。进一步的，确定任务计算方式包括：ai(t)∈{0,1},i∈{0,1,2,...,N,N+1}；其中，ai(t)＝1表示IoT设备选择方式i执行计算任务，否则有ai(t)＝0；i＝0表示IoT设备选择在本地执行任务，i＝1表示IoT设备选择卸载到MBS执行任务，i＞1表示IoT设备选择卸载到SBS执行任务，且IoT设备在每个决策时隙只能选择一种计算方式。进一步的，本地任务计算总开销表示为：Cl(t)＝λtTl(t)+λeEl(t)；El(t)＝plξb0(t)；其中，Cl(t)为本地任务计算总开销，Tl(t)为第t个决策时隙任务在本地计算的时延，El(t)为第t个决策时隙任务在本地计算的能耗，λt与λe分别代表时延和能耗的权重系数；b0(t)表示在第t个决策时隙IoT设备在本地处理的任务数，ξ表示处理单个任务所需要的CPU周期数，fl表示IoT设备的计算能力，pl为IoT设备计算单位CPU周期所消耗的能耗。进一步的，卸载任务计算总开销表示为：其中，为卸载任务计算总开销，为IoT设备将任务卸载到目标基站i的总时延，为IoT设备将任务卸载到目标基站i的总能耗，λt与λe分别代表时延和能耗的权重系数；η表示单个任务的原始数据量，fi表示MEC服务器分配给IoT设备的计算资源，ptr表示IoT设备上传数据的传输功率，po表示IoT设备空闲时的功率。进一步的，IoT设备端的剩余电量队列模型表示为：e(t+1)＝min{max{e(t)-E(t),0}+q(t),Emax}；其中，e(t+1)表示在第t+1个决策时隙的开始IoT设备的剩余电量，e(t)表示在第t个决策时隙的开始IoT设备的剩余电量，E(t)表示任务本地或卸载计算的能耗，q(t)表示IoT设备从周围环境中获取的能量，Emax表示IoT设备的最大电池容量。进一步的，IoT设备从周围环境中获取的能量q(t)表示为：其中，μ∈(0,1)表示能量转换效率，ν(t)表示在时隙t的发射功率，d表示无线充电发射器与IoT设备之间的距离，κ表示路径损耗因子，表示无线充电发射器天线与IoT天线的联合增益。进一步的，以最小化MEC系统中IoT设备总开销的长期平均为目标的优化问题表示为：其中，C(t)为在决策时隙tIoT设备的总开销；E[·]表示求期望；T表示时隙的总长度；表示系统总开销的长期平均。进一步的，在基于强化学习的独立学习任务卸载模型中系统的状态空间表示为：s(t)＝[Q(t),e(t),gi(t)]；系统的动作空间表示为：y(t)＝[ai(t),bi(t)]；系统的奖励函数表示为：其中，S为系统的状态空间，s(t)∈S，Q(t)∈{0,1,...,Q}表示IoT设备任务缓存队列的任务数，e(t)∈{0,1,...,Emax}表示第t个决策时隙IoT设备的剩余电量，gi(t)∈G表示第t个决策时隙IoT设备与基站i之间的信道增益；Y为系统的动作空间，y(t)∈Y，ai(t)∈{0,1},i∈{0,1,2,...,N,N+1}表示IoT设备选择的计算方式，bi(t)∈{1，2，...，Q(t)}，i∈{0，1，2，...，N，N+1}表示IoT设备在第t个决策时隙决定处理的任务数；R(s(t),y(t))为系统的奖励函数，β∈[0,1]表示平衡本地计算总开销和当前状态的实际开销的权重，I(e(t)≥El(t))表示剩余电量支持本地计算，表示剩余电量支持任务卸载到基站i。进一步的，求解最优的任务卸载策略包括：根据状态s下动作a对应的动作值函数计算策略π累积的奖励值期望，策略π为一个待执行动作合集，该期望表示为：...

【技术保护点】
1.一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，具体包括以下步骤：/nS1、建立系统模型，并根据处理的任务数构建IoT设备端的任务队列模型；/nS2、确定任务计算方式并建立通信模型；/nS3、建立任务本地计算模型，得到本地任务计算总开销；/nS4、建立任务卸载计算模型，得到卸载任务计算总开销；/nS5、引入能量收集，建立IoT设备端的剩余电量队列模型；/nS6、构建以最小化MEC系统中IoT设备总开销的长期平均为目标的优化问题；/nS7、建立基于强化学习的独立学习任务卸载模型，包括系统状态空间、动作空间和奖励函数，求解最优的任务卸载策略。/n

【技术特征摘要】
1.一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，具体包括以下步骤：
S1、建立系统模型，并根据处理的任务数构建IoT设备端的任务队列模型；
S2、确定任务计算方式并建立通信模型；
S3、建立任务本地计算模型，得到本地任务计算总开销；
S4、建立任务卸载计算模型，得到卸载任务计算总开销；
S5、引入能量收集，建立IoT设备端的剩余电量队列模型；
S6、构建以最小化MEC系统中IoT设备总开销的长期平均为目标的优化问题；
S7、建立基于强化学习的独立学习任务卸载模型，包括系统状态空间、动作空间和奖励函数，求解最优的任务卸载策略。


2.根据权利要求1所述的一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，在IoT设备端的任务队列模型中，在t+1时隙任务队列Q(t)的更新表示为：
Q(t+1)＝min{max{Q(t)-bi(t),0}+π(t),Q}；
其中，Q(t)表示第t个决策时隙IoT设备队列中的任务数；bi(t)表示IoT设备在第t个决策时隙决定处理的任务数，i∈{0,1,2,...,N,N+1}，N表示SBS的数目，当i＝0表示IoT设备决定在本地处理计算任务、i＝1表示IoT设备决定将任务卸载到MBS、i＞1表示IoT设备决定将任务卸载到SBS；π(t)表示t个决策时隙内IoT设备产生的任务数，π(t)服从均值为λ的泊松分布且π(t)独立同分布，Q表示可在IoT设备缓存队列排队的最大计算任务数。


3.根据权利要求1所述的一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，确定任务计算方式包括：
ai(t)∈{0,1},i∈{0,1,2,...,N,N+1}；
其中，ai(t)＝1表示IoT设备选择方式i执行计算任务，否则有ai(t)＝0；i＝0表示IoT设备选择在本地执行任务，i＝1表示IoT设备选择卸载到MBS执行任务，i＞1表示IoT设备选择卸载到SBS执行任务，且IoT设备在每个决策时隙只能选择一种计算方式。


4.根据权利要求1所述的一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，本地任务计算总开销表示为：
Cl(t)＝λtTl(t)+λeEl(t)；



El(t)＝plξb0(t)；
其中，Cl(t)为本地任务计算总开销，Tl(t)为第t个决策时隙任务在本地计算的时延，El(t)为第t个决策时隙任务在本地计算的能耗，λt与λe分别代表时延和能耗的权重系数；b0(t)表示在第t个决策时隙IoT设备在本地处理的任务数，ξ表示处理单个任务所需要的CPU周期数，fl表示IoT设备的计算能力，pl为IoT设备计算单位CPU周期所消耗的能耗。


5.根据权利要求1所述的一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，卸载任务计算总开销表示为：









其中，为卸载任务计算总开销，为IoT设备将任务卸载到目标基站i的总时延，为IoT设备将任务卸载到目标基站i的总能耗，λt与λe分别代表时延和能耗的权重系数；η表示单个任务的原始数据量，fi表示MEC服务器分配给IoT设备的计算资源，ptr表示IoT设备上传数据的传输功率，po表示IoT设备空闲时的功率。


6.根据权利要求1所述的一种基于独立学习的移动边缘计算任务卸载方法，其特征在于，IoT设备端的剩余电...

【专利技术属性】
技术研发人员：徐泽金，夏士超，鲜永菊，李云，吴广富，郭华，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50