基于图注意力的车联网多智能体边缘计算内容缓存决策方法技术

本发明专利技术公开了一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法，具体为：输入边缘车联网环境，将网络拓扑建模为图结构，初始化各车辆用户作为智能体维护的Q网络参数；各车辆用户提出任务请求，在完成计算后决策任务内容是否缓存；各车辆用户根据自身对环境的观测做出缓存决策；对车辆用户的观测值编码，生成节点特征，卷积层根据节点的邻接矩阵整合其局部区域内的节点特征生成隐藏特征向量；以优化系统计算时延为目标更新各智能体Q网络参数。本发明专利技术利用以多头注意力为卷积核的图卷积整合各车辆用户局部区域内的观测信息，进一步考虑多智能体通过合作学习完成计算任务的内容缓存，实现系统卸载计算时延最小化。化。化。

【技术实现步骤摘要】
Migration and Mobility Optimization Approach for Vehicular Edge Computing[J].IEEE Transactions on Vehicular Technology,2020,69(8):9041
‑
9052.)。其中一些学者们利用多智能体强化学习分配该场景下的网络资源时，仅将单智能体算法扩展至多智能体场景，未充分利用车联网环境中车辆的拓扑结构特点，进一步考虑用户间的相互关系，因此不能最大化利用环境信息，促进智能体合作以做出高效的缓存决策。

技术实现思路

[0006]本专利技术的目的在于提供一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法，其中各车辆用户利用自身对环境的观测及邻接矩阵，通过以多头注意力为卷积核的图卷积捕获其局部区域内车辆用户的观测信息，实现多智能体合作学习完成计算任务的内容缓存，实现系统计算时延最小化。
[0007]实现本专利技术目的的技术解决方案为：一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法，包括以下步骤：
[0008]步骤1、输入边缘车联网环境，将网络拓扑建模为图结构，初始化各车辆用户作为智能体维护的Q网络参数；
[0009]步骤2、各车辆用户提出任务请求，判断周围服务节点是否存在任务经计算后的内容缓存：如果是，则服务节点将内容传给车辆用户；如果否，则车辆用户考虑本地计算或卸载计算任务；
[0010]步骤3、各车辆用户从车辆环境中观测自身坐标、自身内容缓存情况、各路边单元剩余存储空间及自身剩余存储空间；
[0011]步骤4、各车辆用户根据ε贪婪策略选择边缘缓存动作，并执行动作，计算奖励；
[0012]步骤5、收集各车辆用户的<观测、动作、下一时刻的观测、奖励、邻接矩阵>，存入经验缓存池中；
[0013]步骤6、对各车辆用户的观测值编码，生成节点特征。以多头注意力为卷积核的卷积层根据节点的邻接矩阵整合其局部区域内的节点特征生成隐藏特征向量；
[0014]步骤7、抽取经验数组，以优化系统计算时延为目标更新各智能体Q网络参数。
[0015]步骤8、判断是否所有车辆抵达设定路段终点：如果否，则返回步骤2；如果是，则结束当前回合，进入步骤9；
[0016]步骤9、判断算法是否收敛：如果否，则重置环境，返回步骤2；如果是，则算法结束，得到最终的车联网内容缓存策略。
[0017]本专利技术与现有技术相比，其显著优点为：
[0018](1)采用基于图注意力的车联网多智能体边缘计算内容缓存决策方案，充分利用智能体间的拓扑结构设计缓存策略，收敛速度快且训练开销小，能够实现在未知车联网动态环境下最小化车辆用户卸载计算任务的时延。
[0019](2)基于图注意力的车联网多智能体边缘计算内容缓存决策方案，采用图强化学习方法，车辆用户为智能体各自维护Q网络。收集各智能体的观测、动作和奖励，以多头注意力为卷积核的卷积层根据节点的邻接矩阵整合其局部区域内的节点特征，以优化系统计算时延为目标更新网络参数，进而实现多智能体合作学习完成计算任务的内容缓存，在具有完全合作关系的多智能体环境中更具优越性；
[0020](3)对于车联网边缘缓存决策问题，充分考虑到环境状态的复杂性和网络拓扑的多变性，将网络拓扑建模为图结构，车辆用户通过多层卷积层可捕获其他用户的观测信息。无论车辆数量增加与否，车辆用户只与其邻居节点通信，在未影响车辆用户合作效果的同时大大减小了通信成本；
[0021](4)当环境中车辆用户数量增加时，基于图注意力的车联网多智能体边缘计算内容缓存决策方案具有最高的缓存命中率，最低的系统计算时延，说明在因车辆用户数量增加造成的动作空间与状态空间增大的情况下，各车辆用户仍然能够协同制定最小化系统计算时延的决策。
[0022]图说明
[0023]图1是本专利技术基于图注意力的车联网多智能体边缘计算内容缓存决策方法流程图。
[0024]图2为本专利技术实施例的网络模型示意图。
[0025]图3为本专利技术实施例中不同方案的学习收敛效果示意图。
[0026]图4为本专利技术实施例中不同方案缓存命中率与用户数目的关系图。
[0027]图5为本专利技术实施例中不同方案用户完成任务计算所需时延与内容大小的关系图。
[0028]图6为本专利技术实施例中不同算法收敛平均值与服务节点存储空间大小的关系图。
具体实施方式
[0029]本专利技术基于图注意力的车联网多智能体边缘计算内容缓存决策方法，包括以下步骤：
[0030]步骤1、输入边缘车联网环境，将网络拓扑建模为图结构，初始化各车辆用户作为智能体维护的Q网络参数；
[0031]步骤2、各车辆用户提出任务请求，判断周围服务节点是否存在任务经计算后的内容缓存：如果是，则服务节点将内容传给车辆用户；如果否，则车辆用户考虑本地计算或卸载计算任务；
[0032]步骤3、各车辆用户从车辆环境中观测自身坐标、自身内容缓存情况、各路边单元剩余存储空间及自身剩余存储空间；
[0033]步骤4、各车辆用户根据ε贪婪策略选择边缘缓存动作，并执行动作，计算奖励；
[0034]步骤5、收集各车辆用户的<观测、动作、下一时刻的观测、奖励、邻接矩阵>，存入经验缓存池中；
[0035]步骤6、对各车辆用户的观测值编码，生成节点特征。以多头注意力为卷积核的卷积层根据节点的邻接矩阵整合其局部区域内的节点特征生成隐藏特征向量；
[0036]步骤7、抽取经验数组，以优化系统计算时延为目标更新各智能体Q网络参数。
[0037]步骤8、判断是否所有车辆抵达设定路段终点：如果否，则返回步骤2；如果是，则结束当前回合，进入步骤9；
[0038]步骤9、判断算法是否收敛：如果否，则重置环境，返回步骤2；如果是，则算法结束，得到最终的车联网内容缓存策略。
[0039]进一步地，步骤1中所述输入边缘车联网环境，其中边缘车联网环境包含：
[0040](1)时隙模型：将连续的训练时间离散化为多个时隙，用正整数t∈{1,2,...,T}来表示第t个时隙；假设单个时隙内车辆用户完成一次任务请求、边缘缓存决策以及位置移动，且单个时隙内发射功率和信道噪声等环境状态不发生改变，而当车辆用户全部抵达设定的道路终点时称为一个回合；
[0041](2)网络模型：建立城市单向车道模型，假设车辆网络中有L个路边单元和M个车辆用户。路边单元均匀分布在道路两侧，表示为车辆间隔一定距离在道路上单向匀速行驶，表示为各路边单元和车辆都具有任务计算、内容缓存和无线通信功能，故将其统称为服务节点，表示为相比于车辆用户，路边单元具有更强的计算能力和更大的内容存储空间。
[0042](3)通信模型：假设L个路边单元的通信范围可覆盖整条道路。车辆用户的高速移动性导致车与车连接不稳定，故车辆用户的可靠通信范围有限。考虑车辆用户和服务节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法，其特征在于，包括以下步骤：步骤1、输入边缘车联网环境，将网络拓扑建模为图结构，初始化各车辆用户作为智能体维护的Q网络参数；步骤2、各车辆用户提出任务请求，判断周围服务节点是否存在任务经计算后的内容缓存：如果是，则服务节点将内容传给车辆用户；如果否，则车辆用户考虑本地计算或卸载计算任务；步骤3、各车辆用户从车辆环境中观测自身坐标、自身内容缓存情况、各路边单元剩余存储空间及自身剩余存储空间；步骤4、各车辆用户根据ε贪婪策略选择边缘缓存动作，并执行动作，计算奖励；步骤5、收集各车辆用户的<观测、动作、下一时刻的观测、奖励、邻接矩阵>，存入经验缓存池中；步骤6、对各车辆用户的观测值编码，生成节点特征。以多头注意力为卷积核的卷积层根据节点的邻接矩阵整合其局部区域内的节点特征生成隐藏特征向量；步骤7、抽取经验数组，以优化系统计算时延为目标更新各智能体Q网络参数。步骤8、判断是否所有车辆抵达设定路段终点：如果否，则返回步骤2；如果是，则结束当前回合，进入步骤9；步骤9、判断算法是否收敛：如果否，则重置环境，返回步骤2；如果是，则算法结束，得到最终的车联网内容缓存策略。2.根据权利要求1所述的基于图注意力的车联网多智能体边缘计算内容缓存决策方法，其特征在于，步骤1中所述输入边缘车联网环境，其中边缘车联网环境包含：(1.1)时隙模型：将连续的训练时间离散化为多个时隙，用正整数t∈{1,2,...,T}来表示第t个时隙；假设单个时隙内车辆用户完成一次任务请求、边缘缓存决策以及位置移动，且单个时隙内发射功率和信道噪声等环境状态不发生改变，而当车辆用户全部抵达设定的道路终点时称为一个回合；(1.2)网络模型：建立城市单向车道模型，假设车辆网络中有L个路边单元和M个车辆用户。路边单元均匀分布在道路两侧，表示为车辆间隔一定距离在道路上单向匀速行驶，表示为各路边单元和车辆都具有任务计算、内容缓存和无线通信功能，故将其统称为服务节点，表示为相比于车辆用户，路边单元具有更强的计算能力和更大的内容存储空间。(1.3)通信模型：假设L个路边单元的通信范围可覆盖整条道路。车辆用户的高速移动性导致车与车连接不稳定，故车辆用户的可靠通信范围有限。考虑车辆用户和服务节点之间的信道增益包括瑞利衰减和路径损失。令d
m,n
表示车辆用户v
m
与服务节点w
n
之间的距离。令h
m,n
～exp(μ)表示车辆用户v
m
和服务节点w
n
之间信道的瑞利衰减，其中μ为相应的比例参数，且对于所有m与n，h
m,n
相互独立。令表示车辆用户v
m
和边缘接入点w
n
之间的信道的路径损失，其中τ为路径损失指数。车辆用户v
m
与服务节点w
n
之间的信道增益可以表示为假设用户以相同的发射功率P
m
在带宽为B的信道上与服务节点进行通信。因此，车辆用
户v
m
将任务卸载到服务节点w
n
进行计算时的传输速率表示为其中，σ2为高斯白噪声的功率。(1.4)计算模型：任务的集合表示为定义一个三元组＜d
k
,s
k
,b
k
＞以描述任务，其中d
k
为任务c
k
的大小(MB)，s
k
为处理任务c
k
所需的CPU周期数(Megacycles)，b
k
为任务c
k
经计算后的内容大小(MB)。车辆提出任务请求后，若周围的服务节点未缓存该任务的内容，则车辆可将任务卸载至周围服务节点计算，也可在本地计算。车辆卸载决策集合表示为其中x
m
＝0表示车辆用户v
m
在本地计算任务；x
m
＝1表示车辆用户v
m
将请求的任务卸载至最近服务节点进行计算。1)本地计算假设车辆用户v
m
的计算能力为F
m
。当车辆在本地处理任务c
k
时，只需考虑计算任务所需的时延，表示为2)卸载计算当车辆卸载所请求的任务至周围服务节点w
n
计算时，假设服务节点w
n
的计算能力为F
n
。考虑到任务经计算后的内容数据量较小，其回传时延可忽略不计，只考虑任务卸载时延和任务计算时延。此时完成计算任务所需的时延表示为其中为卸载任务所需时延，为计算任务所需时延。(1.5)缓存模型：令h
ca
表示当前缓存情况。表示任务c
k
经计算后的内容已被服务节点w
n
缓存，表示任务c
k
经计算后的内容未被服务节点w
n
缓存。故可表示所有服务节点对所有内容缓存与否情况。假设在t时隙，服务节点缓存了Z个经卸载计算后的任务内容，表示为对于内容其流行程度服从Zipf分布，内容z被请求的概率为其中I(z)表示内容z在缓存内容集合中按受欢迎程度降序排列的排名；δ为Zipf分布参数，δ取值越大意味着越高的内容复用率。3.根据权利要求2所述的基于图注意力的车联网多智能体边缘计算内容缓存决策方法，其特征在于，步骤2所述各车辆用户提出任务请求，判断周围服务节点是否存在任务经计算后的内容缓存，具体为：车辆提出任务请求后，首先检查自身或周围服务节点是否存在所请求任务计算后的内
容缓存，用cache
m
∈{0,1}表示车辆用户v
m
的周围服务节点对内容的缓存情况。具体而言，cache
m
＝0表示车辆v
m
周围的服务节点未缓存车辆所请求任务的内容，车辆需要本地计算或卸载计算任务；cache
m
＝1表示车辆v
m
周围的服务节点已缓存车辆所需的内容，不需要车辆卸载任务。车辆用户v
m
在时隙t完成任务计算的时延表示为4.根据权利要求3所述的基于图注意力的车联网多智能体边缘计算内容缓存决策方法，其特征在于，步骤3所述各车辆用户观测自身坐...

【专利技术属性】
技术研发人员：沈金金，林艳，张一晋，张伟斌，李骏，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：