车联网中基于深度强化学习的车辆协作缓存接力方法技术

本发明专利技术公开了一种车联网中基于深度强化学习的车辆协作缓存接力方法，将车联网的流行内容进行分块，每当协作缓存更新周期到来时，对车联网中每个车辆的移动轨迹进行预测，根据预测得到的移动轨迹计算任意两个车辆之间的链路稳定性得到预测权重邻接矩阵，基于预测权重邻接矩阵求解得到下一缓存周期的缓存车辆和对应的服务车辆集合，每个缓存车辆分别进行马尔可夫决策，得到该缓存车辆的内容缓存策略

【技术实现步骤摘要】
车联网中基于深度强化学习的车辆协作缓存接力方法


[0001]本专利技术属于移动车载边缘网络
，更为具体地讲，涉及一种车联网中基于深度强化学习的车辆协作缓存接力方法
。

技术介绍

[0002]随着云计算
、
物联网和车联网的快速发展，移动车辆对内容的需求也在迅速增加
。
智能驾驶的车辆需要不断学习周围的环境，并即时做出决策
。
因此，车辆可以被视为是移动设备，用于收集和处理环境数据并支持各种信息服务
。
传统移动云计算由于存在高延迟和网络能耗的问题，不适合用于延迟敏感的应用，这影响了车辆用户的体验质量
。
移动边缘计算
(MEC)
是一种将计算和存储资源移动到网络边缘的技术，可提高数据传输和计算效率，减少数据中心的负载和延迟
。
作为边缘计算中的一种重要技术，边缘缓存可以在边缘设备上缓存热门数据和应用程序，从而加速数据访问和应用响应，减少网络带宽和延迟
。
它利用边缘节点作为缓存节点，将内容缓存在用户附近，从而减轻核心网络的负担，并提高用户体验质量
。
在
MEC
中，边缘节点能够为大量内容请求提供服务，从而减少了服务延迟和内容传递的距离
。
因此，移动边缘缓存作为一种很有前途的技术，被广泛应用于移动边缘计算框架中，以减少延迟
。
[0003]在现有的移动边缘缓存技术中，通常会将车联网的内容缓存在部分车辆中，这部分车辆被称为缓存车辆，其他需要请求内容的车辆
(
称作请求车辆
)
可以通过缓存车辆来获取内容
。
但是由于车辆的移动性，请求车辆可能在缓存车辆通信范围内未缓存完所需内容就移出覆盖区域，造成缓存中断，请求车辆就需要重新请求内容，导致资源浪费
。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种车联网中基于深度强化学习的车辆协作缓存接力方法，通过求解下一缓存周期缓存车辆的最优缓存策略，实现缓存车辆对于请求车辆的接力协作传输，确定系统性能
。
[0005]为了实现上述专利技术目的，本专利技术车联网中基于深度强化学习的车辆协作缓存接力方法包括以下步骤：
[0006]S1
：记车联网中流行内容为
F
＝
{f1,f2,
…
,f
W
}
，其中
f
w
表示第
w
个流行内容分块，
w
＝
1,2,
…
,W
，
W
表示流行内容的分块数量，记分块
f
w
的大小为
L
w
；记整个车联网区域内智能车辆数量为
V
，如果车辆
i
在当前缓存周期
t
内请求了流行内容，则车辆
i
为请求车辆，否则车辆
i
不是请求车辆，
i
＝
1,2,
…
,V
；
[0007]S2
：每当协作缓存更新周期到来时，对车联网中每个车辆的移动轨迹进行预测，得到该车辆在下一缓存周期
t+1
内的预测轨迹；
[0008]S3
：对于任意两个车辆
i
和
j
，
i,j
＝
1,2,
…
,V
，根据下一缓存周期
t+1
内这两个车辆的预测轨迹，计算得到下一缓存周期
t+1
内车辆
i
和
j
之间的距离然后采用如下公式计
算得到下一缓存周期
t+1
内车辆
i
和
j
之间的归一化通信距离容差
[0009][0010]其中，
R
veh
表示车辆的通信半径，
d
min
表示在安全距离限制下的两车最小距离；
[0011]根据下一缓存周期
t+1
内这两个车辆的预测轨迹，计算下一缓存周期
t+1
内车辆
i
和
j
相互覆盖的时间长度作为车辆
i
和
j
之间的链路持续时间
[0012][0013]然后采用如下公式计算得到下一缓存周期
t+1
内车辆
i
和
j
之间链路稳定性
[0014][0015]其中，
α
∈[0,1]表示预设的加权因子；
[0016]将链路稳定性作为元素，即可构建大小为
N
×
N
的预测权重邻接矩阵
[0017]S4
：将车辆作为节点
、
将预测权重邻接矩阵
W
t+1
作为邻接矩阵构成图
G
，采用最小支配集算法求解得到图
G
的最小支配集
U
，将其中所包含的车辆节点作为缓存车辆，最小支配集算法的具体步骤为：
[0018]S4.1
：初始化每个车辆的状态为状态未定车辆，即令车辆在下一个缓存周期
t+1
内的标志位为0；
[0019]S4.2
：判断是否存在状态未定车辆，如果是，进入步骤
S4.3
，否则缓存车辆筛选结束；
[0020]S4.3
：对于当前的每个状态未定车辆，分别计算其在图
G
中连接状态未定车辆节点的连接度
Z
i
，
i∈Y
，
Y
表示当前状态未定车辆的集合；
[0021]S4.4
：采用如下方法从当前状态未定车辆集合
Y
中选择缓存车辆：
[0022]如果存在连接度
Z
i
＝0的车辆节点，则将该车辆作为缓存车辆，并将设置标志位为2；
[0023]如果不存在连接度
Z
i
＝0的车辆节点，则判断是否存在连接度
Z
i
＝1的车辆节点，如果存在则根据预测链路权重邻接矩阵
W
t+1
从中筛选出平均邻居链路最大的车辆节点，设置其标志位为1，然后将其邻居车辆节点中的状态未定车辆作为缓存车辆，并设置缓存车辆的标志位为2；
[0024]如果不存在连接度
Z
i
＝0和连接度
Z
i
＝1的车辆节点，则选择连接度
Z
i
最大的车辆节点，根据预测链路权重邻接矩阵
W
t+1...

【技术保护点】

【技术特征摘要】
1.
一种车联网中基于深度强化学习的车辆协作缓存接力方法，其特征在于，包括以下步骤：
S1
：记车联网中流行内容为
F
＝
{f1,f2,
…
,f
W
}
，其中
f
w
表示第
w
个流行内容分块，
w
＝
1,2,
…
,W
，
W
表示流行内容的分块数量，记分块
f
w
的大小为
L
w
；记整个车联网区域内智能车辆数量为
V
，如果车辆
i
在当前缓存周期
t
内请求了流行内容，则车辆
i
为请求车辆，否则车辆
i
不是请求车辆，
i
＝
1,2,
…
,V
；
S2
：每当协作缓存更新周期到来时，对车联网中每个车辆的移动轨迹进行预测，得到该车辆在下一缓存周期
t+1
内的预测轨迹；
S3
：对于任意两个车辆
i
和
j
，
i,j
＝
1,2,
…
,V
，根据下一缓存周期
t+1
内这两个车辆的预测轨迹，计算得到下一缓存周期
t+1
内车辆
i
和
j
之间的距离然后采用如下公式计算得到下一缓存周期
t+1
内车辆
i
和
j
之间的归一化通信距离容差之间的归一化通信距离容差其中，
R
veh
表示车辆的通信半径，
d
min
表示在安全距离限制下的两车最小距离；根据下一缓存周期
t+1
内这两个车辆的预测轨迹，计算下一缓存周期
t+1
内车辆
i
和
j
相互覆盖的时间长度作为车辆
i
和
j
之间的链路持续时间之间的链路持续时间然后采用如下公式计算得到下一缓存周期
t+1
内车辆
i
和
j
之间链路稳定性之间链路稳定性其中，
α
∈[0,1]
表示预设的加权因子；将链路稳定性作为元素，即可构建大小为
N
×
N
的预测权重邻接矩阵
S4
：将车辆作为节点
、
将预测权重邻接矩阵
W
t+1
作为邻接矩阵构成图
G
，采用最小支配集算法求解得到图
G
的最小支配集
U
，将其中所包含的车辆节点作为缓存车辆，最小支配集算法的具体步骤为：
S4.1
：初始化每个车辆的状态为状态未定车辆，即令车辆在下一个缓存周期
t+1
内的标志位为0；
S4.2
：判断是否存在状态未定车辆，如果是，进入步骤
S4.3
，否则缓存车辆筛选结束；
S4.3
：对于当前的每个状态未定车辆，分别计算其在图
G
中连接状态未定车辆节点的连接度
Z
i
，
i∈Y
，
Y
表示当前状态未定车辆的集合；
S4.4
：采用如下方法从当前状态未定车辆集合
Y
中选择缓存车辆：如果存在连接度
Z
i
＝0的车辆节点，则将该车辆作为缓存车辆，并将设置标志位为2；如果不存在连接度
Z
i
＝0的车辆节点，则判断是否存在连接度
Z
i
＝1的车辆节点，如果存
在则根据预测链路权重邻接矩阵
W
t+1
从中筛选出平均邻居链路最大的车辆节点，设置其标志位为1，然后将其邻居车辆节点中的状态未定车辆作为缓存车辆，并设置缓存车辆的标志位为2；如果不存在连接度
Z
i
＝0和连接度
Z
i
＝1的车辆节点，则选择连接度
Z
i
最大的车辆节点，根据预测链路权重邻接矩阵
W
t+1
从中筛选出平均邻居预测链路权重最大的车辆节点作为缓存车辆，并设置缓存车辆的标志位为2；
S4.5
：记步骤
S4.4
筛选得到的缓存车辆为
m
，获取其邻居节点中状态未定车辆节点的集合
ψ
m
，如果集合
ψ
m
中的车辆数量小于等于
N
max
，则将集合
ψ
m
作为缓存车辆
m
的服务邻居车辆集合
β
m
，否则从集合
ψ
m
中筛选
N
max
个车辆构成服务邻居车辆集合
β
m
；将所得到的服务邻居车辆集合
β
m
中的每个车辆标志位置为1；返回步骤
S4.2
；
S5
：步骤
S4
中筛选得到的每个缓存车辆
m
分别进行马尔可夫决策，得到该缓存车辆的内容缓存策略，
m∈U
，马尔可夫决策中系统状态
、
系统动作和奖励函数分别采用如下设置：系统状态
s
t
＝
(X
t
,B
t
,
σ
t
)
，其中，表示缓存周期
t
内缓存车辆
m
上内容的缓存状态向量，其中表示缓存周期
t
内缓存车辆
m
中流行内容分块
f
w
的缓存状态，如果缓存车辆缓存了流行内容分块
f
w
，则令否则令否则令表示截止到...

【专利技术属性】
技术研发人员：吴红海，王白冰，马华红，邢玲，冀保峰，张高远，彭勃，陶发展，谢萍，程洋博，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：