【技术实现步骤摘要】
本专利技术属于车载边缘网络，具体涉及基于cnn和q学习的车载边缘网络概率路由算法。
技术介绍
1、车载边缘网络是一种新型的网络技术，它将边缘计算和车联网相结合，形成了一种具有分布式、动态性、异构性和开放性特点的网络。在这个网络中，节点由多个分布在不同地理位置的车辆和路边单元组成，每个节点都可以提供计算、存储和通信服务。由于节点具有高速移动性，网络的拓扑结构和连接状态会不断变化。在这种网络中，机会路由是一种常用的路由算法。它可以利用车载边缘网络中节点的动态性和分布式特点。在传统的网络中，数据包通常会沿着预先确定的路径进行传输。然而，在车载边缘网络中，由于节点的高速移动性和网络拓扑结构的不断变化，预先确定的路径可能并不总是最优的。因此，机会路由采用了一种更灵活的策略：根据当前的网络状况动态地选择最优路径进行数据传输，即利用节点之间的随机相遇来传输数据。这种策略不仅可以提高数据传输的效率，还可以增强网络的鲁棒性和可靠性。
2、然而目前大多数算法都需要大量的计算资源和存储空间，这在资源受限的车载边缘网络中可能是一个问题。其次，许多算法都假设网络状态是已知的，但在实际情况下，由于车辆的高速移动性和网络拓扑结构的不断变化，这个假设往往不成立。因此，设计一个通过既能适应动态网络环境又能在资源受限的情况下工作的路由算法仍然是一个挑战。
技术实现思路
1、为了克服以上不足，本专利技术提供基于cnn和q学习的车载边缘网络概率路由算法。
2、为了实现上述目的，本专利技术采用的技术
3、基于cnn和q学习的车载边缘网络概率路由算法，具体为：
4、s1、通过概率矩阵分解将节点相遇情况和节点转发能力进行数据的分析处理；
5、s2、利用cnn自主对输入数据进行感知且提取局部特征，分析出节点社会关系和转发能力对节点状态转移的影响，得出节点的状态转移概率；
6、s3、根据步骤s2中的状态转移概率设置概率阈值，大于该阈值的节点加入到候选节点集中，对候选节点集进一步筛选，通过q学习计算更新候选节点集中节点的q值，根据q值以及维持时间来选择最佳中继节点，直到数据包到达目的节点。
7、进一步优化，所述步骤s1包括以下步骤：
8、s11、潜在节点和社会因素的特征向量化：
9、通过计算潜在节点之间的相遇关系值和社会关系值，得到相遇概率预测矩阵，并用概率矩阵分解方法来分析上述两个因素对预测节点相遇概率的影响，其中概率矩阵分解方法为：使用随机梯度下降等优化算法来最小化目标函数，从而得到两个低秩矩阵；
10、其中社会关系值的计算通过结合节点移动性、节点相似度和节点连接转换的变化确定节点的社会关系；
11、s12、潜在转发因素的特征向量化：
12、预测节点的移动状态是根据潜在节点相遇概率和节点转发概率来确定，其中节点转发概率的评估依据为节点活跃度和节点通信稳定性；
13、通过计算节点转发概率确定节点转发概率矩阵，采用概率矩阵分析对节点转发概率矩阵进行分解。
14、进一步优化，所述步骤s2包括以下步骤：
15、s21、将潜在节点、社会因素、转发因素分别作为输入数据的三个通道，构建一个三通道的卷积神经网络模型，使用卷积层和池化层来提取特征；
16、s22、在卷积层和池化层之后，将三个通道的特征图进行融合；
17、s23、在融合后的特征图上再添加一些全连接层和输出层，得到最终的混合矩阵，通过混合矩阵确定节点的状态转移概率。
18、进一步优化，所述卷积层用于提取矩阵的特征，池化层用于减小矩阵维度，在将三个矩阵输入到cnn中之前，三个矩阵按照通道方向进行拼接，得到具有三个通道的输入矩阵，通道拼接完成后，将拼接之后的张量输入到cnn中。
19、进一步优化，通过多层卷积层、池化层和relu层的训练得到中间特征映射，将特征映射平面化为特征向量，并输入到一个全连接层中，在全连接层的训练过程中使用梯度下降反向传播算法来调整权重和偏置，提取最终学习到的深度特征，并根据需要设置输出，得到所需的混合矩阵m，通过混合矩阵最终可以确定节点的状态转移概率。
20、进一步优化，所述步骤s3包括：
21、s31、基于状态转移概率创建候选节点集；
22、s32、结合状态转移概率确定候选节点q值：通过定义状态空间、动作空间、奖励函数和q值函数，经q学习直至到最优的中继节点选择策略；
23、s33、中继节点选择：
24、在候选节点协调阶段，每个节点根据报头信息计算自己的q值，并设置基于q值的保持时间，最终选择保持时间最短且q值最大的邻居作为下一跳节点，所选节点接收到数据包后，更新上述描述的节点状态转移概率矩阵，同时将所选节点的q值作为最大q值，以此作为后续候选节点计算q值的更新依据，继续逐跳筛选出最合适的中继节点集，直到数据包到达目的节点。
25、进一步优化，所述步骤s32中的定义状态空间、动作空间、奖励函数和q值函数的方法为：
26、状态空间：如果在t时刻数据包位于节点i，那么在该时刻节点的状态定义为b＝{ni}∪d，其中，d表示节点ni的候选节点集，b表示为当前状态集，设定b'为下一跳的状态集；
27、动作空间：在机会路由中，动作设定是选择中继节点，因此，动作空间包括所有可用的候选节点，表示为a＝{αj|nj∈b}，αj表示节点nj作为中继节点的动作；
28、奖励函数：在机会路由中，奖励函数根据对网络带宽、延迟、稳定性因素的影响，如果节点ni有一个数据包需要转发，而nj是其中一个候选节点，则采取行动时的奖励函数表示为
29、其中bi,bj∈b，hop表示为消息传输跳数，代表着路由的延迟和能耗，δij表示节点ni是否成功转发的标志，softmax(centrj,cachej,hop)表示采用softmax去量化节点nj的中心性centrj以及剩余缓存cachej；
30、q值函数：本质上需要状态(b)和动作(a)两个输入，因此q值函数定义表示为
31、
32、其中，取值依据于上文计算得出的节点状态转移概率pistate，γ表示为折扣因子，当γ＝0时，则q值计算只需要考虑当前的奖励，而当γ接近1时，计算则需要考虑当前的和未来行动的整体奖励，并且权重近乎相等，在训练过程中，每个节点的初始q值均为0，然后根据上述提到的当前状态、动作和奖励信息进行更新q值函数。
33、本专利技术的有益效果为：
34、1、采用概率矩阵分解可以有效地降低数据维度，减少计算复杂度，同时增强了卷积神经网络的特征提取能力，提高准确率，避免了因采用机器学习而导致传输时延过高，比起简单采用这些机器学习的路由算法，更易适应于实时数据传输的场景，并且能够利用节点之间的相似性和局部信息，更加准确地预测节点状态转移概率；
35、2、卷积神经网本文档来自技高网...
【技术保护点】
1.基于CNN和Q学习的车载边缘网络概率路由算法，其特征在于，具体为：
2.如权利要求1所述的基于CNN和Q学习的车载边缘网络概率路由算法，其特征在于，所述步骤S1包括以下步骤：
3.如权利要求1所述的基于CNN和Q学习的车载边缘网络概率路由算法，其特征在于，所述步骤S2包括以下步骤：
4.如权利要求3所述的基于CNN和Q学习的车载边缘网络概率路由算法，其特征在于，所述卷积层用于提取矩阵的特征，池化层用于减小矩阵维度，在将三个矩阵输入到CNN中之前，三个矩阵按照通道方向进行拼接，得到具有三个通道的输入矩阵，通道拼接完成后，将拼接之后的张量输入到CNN中。
5.如权利要求3所述的基于CNN和Q学习的车载边缘网络概率路由算法，其特征在于，通过多层卷积层、池化层和ReLU层的训练得到中间特征映射，将特征映射平面化为特征向量，并输入到一个全连接层中，在全连接层的训练过程中使用梯度下降反向传播算法来调整权重和偏置，提取最终学习到的深度特征，并根据需要设置输出，得到所需的混合矩阵M，通过混合矩阵最终可以确定节点的状态转移概率。
6.
7.如权利要求6所述的基于CNN和Q学习的车载边缘网络概率路由算法，其特征在于，所述步骤S32中的定义状态空间、动作空间、奖励函数和Q值函数的方法为：
...【技术特征摘要】
1.基于cnn和q学习的车载边缘网络概率路由算法，其特征在于，具体为：
2.如权利要求1所述的基于cnn和q学习的车载边缘网络概率路由算法，其特征在于，所述步骤s1包括以下步骤：
3.如权利要求1所述的基于cnn和q学习的车载边缘网络概率路由算法，其特征在于，所述步骤s2包括以下步骤：
4.如权利要求3所述的基于cnn和q学习的车载边缘网络概率路由算法，其特征在于，所述卷积层用于提取矩阵的特征，池化层用于减小矩阵维度，在将三个矩阵输入到cnn中之前，三个矩阵按照通道方向进行拼接，得到具有三个通道的输入矩阵，通道拼接完成后，将拼接之后的张量输入到cnn中。
5.如权利要求3...
【专利技术属性】
技术研发人员：马华红，吴红海，邢玲，游静云，彭勃，张晓辉，穆昱，冀保峰，张高远，谢萍，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。