一种车联网中视频语义驱动的通信和计算资源联合分配方法组成比例

本发明专利技术公开了一种车联网中视频语义驱动的通信和计算资源联合分配方法，属于车联网移动边缘计算领域。主要贡献在于提出一种基于QoC的联合资源分配方案，用于通信和计算资源受限的情况下，以最大程度提高视频内容理解性能。首先构建车辆端与边缘服务器端视频语义通信的车联网系统模型，然后基于频谱和算力限制下的目标检测精度模型，构建视频语义驱动的通信资源和计算资源联合分配优化目标。由于车联网场景下资源分配的实时性和环境的多变性，设计一种多智能体分布式Q‑Learning算法求解此类多约束非线性规划问题。最后，仿真结果表明，与基于QoC单一频谱资源分配和资源平均分配方案相比，本发明专利技术提出的方案具有更好的性能。

【技术实现步骤摘要】
一种车联网中视频语义驱动的通信和计算资源联合分配方法
本专利技术属于车联网领域，涉及车联网边缘计算场景下的视频传输和视频分析理解系统，具体是一种车联网中视频语义驱动的通信和计算资源联合分配方法。
技术介绍
随着5G网络和计算机视觉应用的快速发展，车联网(InternetofVehicles，IoV)系统中通过给车辆配备各种传感器和通信模块，新兴的车载应用大多涉及到视频传输或图像处理技术，而此类业务通常伴随着庞大的数据量和巨大的计算能力需求，难以在车载系统上单独处理。为了解决计算密集型应用和车辆端有限能力之间的冲突，移动边缘计算(MobileEdgeComputing，MEC)被认为是一种有前景的技术，车辆端通过将计算密集型业务卸载到资源丰富的MEC服务器，利用边缘服务器强大的计算能力进行视频的分析理解，从而可以加速任务执行，降低时延并减少车辆端的能耗。然而，车联网场景下海量的视频传输和分析业务给传统无线通信资源和边缘服务器计算资源带来巨大压力，因此需要联合考虑通信资源和计算资源设计高效的资源分配方案。在传统的无线视频传输研究中，优化标准是基于服务质量(QualityofService，QoS)，或基于用户体验质量(QualityofExperience，QoE)基于人类感知的设计。随着在车联网场景下以视频分析理解为目的(目标检测，目标追踪，动作识别)而收集的视频数据越来越多。现有的基于人类感知设计的无线视频传输方案可能不是基于视频分析理解为目的的最佳选择。因此，有必要为基于视频内容分析理解(QualityofContent，QoC)的计算机视觉应用设计更有效的视频传输和资源分配方案。现已有研究提出视频内容质量(QualityofContent，QoC)的概念，以最大化平均目标检测精度为目标，给出了视频编码资源分配方案以及频谱限制下的资源分配方案。但并从计算资源角度考虑不同算力下的目标检测算法对最终检测精度的影响，且未联合考虑通信资源和边缘服务器计算资源限制下的联合资源分配。因此，有必要针对视频语义研究更高效的联合资源分配指导方式。
技术实现思路
本专利技术为了解决上述问题，结合强化学习理论，提供了一种车联网中视频语义驱动的通信资源和计算资源联合分配方法，优化了车辆端到边缘服务器端的频谱分配以及边缘服务器端的计算资源分配，实现了在频谱，计算资源和系统时延约束下的平均目标检测精度最大化。具体步骤包括：步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型；系统模型包括配备边缘服务器的蜂窝基站(BaseStation，BS)和M辆装有摄像头的智能网联汽车。整个系统的通信和计算过程如下：1)车辆发起视频传输请求，对所采集的视频进行预处理，获取视频信息并将其上传到边缘服务器，同时边缘服务器获取信道状态信息(ChannelStateInformation，CSI)；2)边缘服务器获取视频信息和CSI，根据视频语义驱动的资源分配方法得到最优的频谱资源和计算资源分配结果；3)车辆根据频谱资源分配的结果完成视频的编码压缩，通过无线信道传输到边缘服务器；4)边缘服务器将接收到的视频进行解码，根据所分配的计算资源采用不同的语义理解算法，对视频进行语义理解并将结果反馈给各车辆。步骤二、构建视频语义驱动的频谱资源分配指导模型；以视频语义理解的基础任务——目标检测任务为例，视频的语义即待检测的目标类别和数量，视频语义的理解准确率即目标检测的准确率。详细的资源分配指导模型建模步骤如下：步骤201、构建目标检测精度与QP值之间的关系；采用H.265视频编码压缩标准对视频数据进行编码压缩处理，使得视频传输的码率小于或等于带宽限制下的传输速率。压缩编码过程中不同的视频量化参数(QuantitativeParameters，QP)值对应不同的压缩步长，QP值越小，压缩步长越小，视频码率越接近原始视频码率，传输所需的带宽越大。采用Faster-RCNN算法对Caltech数据集中不同压缩程度的视频进行目标检测，目标类型主要包括行人、车辆和交通信号灯等。根据数据结果拟合出如下的指数关系模型：P(Q)＝α·Qβ+γQ表示视频量化参数QP值，P表示目标检测精度，α,β,γ均为模型参数。引入均方误差值(MeanSquareError，MSE)作为损失函数，并利用回归方法求解模型参数。步骤202、构建检测准确率和视频码率的关系；QP值决定了视频压缩率的不同，而视频数据速率的大小与压缩率有关。因此根据实验研究QP和视频数据速率之间的关系。通过曲线拟合，QP和视频数据速率之间的关系可以近似表示为：Q＝a·exp(b·Rdata)其中Q为视频量化参数(QP)，Rdata为视频码率，a,b为模型参数。exp(·)表示以自然常数e为底的指数函数，相应的ln(·)表示以自然常数e为底的对数函数。联合上述两步所得的关系模型，可得检测准确率与码率的关系模型如下：PmAP(Q)＝α(aexp(b·Rdata))β+γ其中PmAP(Q)表示频谱资源限制下的目标检测精度。码率的大小与传输过程中的带宽资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的带宽资源分配指导模型。上述目标检测准确率与码率的关系模型从理论上给出了语义驱动的频谱资源分配算法的优化方向。步骤203、构建视频传输时延和频谱资源分配的关系；车辆端通过将目标检测任务卸载到边缘服务器，可以解决车辆计算能力不足的问题。同时，它会花费额外的时间和能量来上传视频。基于上述通信资源分配结果，视频上传过程的时延可表示为：其中表示视频从车辆上传到边缘服务器过程的时延，Dm为视频数据的大小，Rm表示视频数据传输速率。步骤三、构建视频语义驱动的计算资源分配指导模型；在收到各个车辆的视频数据后，边缘服务器基于视频内容重要性分配计算资源执行目标检测算法。在计算资源建模方面，尤其是在移动边缘计算场景中，边缘服务器的CPU资源是影响到计算任务执行性能指标的关键因素。目标检测算法精度直接取决于其DNN模型复杂度。对于DNN模型而言有一个趋势，即模型的规模越大，即神经网络层数越多的，所需要的计算资源越多，对视频内容理解的性能越好。详细的计算资源分配指导模型建模步骤如下：步骤301、构建目标检测精度与其模型计算复杂度之间的关系；根据FasterR-CNN、R-FCN和SSD三个经典目标检测算法上在COCO数据集上做了大量实验，最终给出了一系列检测问题所能达到的平均检测性能。步骤302、构建目标检测精度与其模型算力之间的关系；由于所建立的DNN模型训练和推理性能与其复杂度之间的关系为一系列散点图，因此考虑将DNN模型复杂度抽象为算力，即执行算法所需要的CPU频率。对散点图进行曲线拟合，进而构建视频内容理解精度和算力之间的闭合表达式可近似表示为：其中PmAP(fm)表示计算资源限制下本文档来自技高网...

【技术保护点】
1.一种车联网中视频语义驱动的通信和计算资源联合分配方法，其特征在于，具体步骤包括：/n步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型；/n系统模型包括配备边缘服务器的蜂窝基站(Base Station，BS)和M辆装有摄像头的智能网联汽车；/n整个系统的通信和计算过程如下：1)车辆发起视频传输请求，对所采集的视频进行预处理，获取视频信息并将其上传到边缘服务器，同时边缘服务器获取信道状态信息(Channel State Information，CSI)；2)边缘服务器获取视频信息和CSI，根据视频语义驱动的资源分配方法得到最优的频谱资源和计算资源分配结果；3)车辆根据频谱资源分配的结果完成视频的编码压缩，通过无线信道传输到边缘服务器；4)边缘服务器将接收到的视频进行解码，根据所分配的计算资源采用不同的语义理解算法，对视频进行语义理解并将结果反馈给各车辆；/n步骤二、构建视频语义驱动的频谱资源分配指导模型；/n以视频语义理解的基础任务——目标检测任务为例，视频的语义即待检测的目标类别和数量，视频语义的理解准确率即目标检测的准确率；详细的资源分配指导模型建模步骤如下：/n步骤201、构建目标检测精度与QP值之间的关系；/n采用H.265视频编码压缩标准对视频数据进行编码压缩处理，使得视频传输的码率小于或等于带宽限制下的传输速率；压缩编码过程中不同的视频量化参数(QuantitativeParameters，QP)值对应不同的压缩步长，QP值越小，压缩步长越小，视频码率越接近原始视频码率，传输所需的带宽越大；/n采用Faster-RCNN算法对Caltech数据集中不同压缩程度的视频进行目标检测，目标类型主要包括行人、车辆和交通信号灯等；根据数据结果拟合出如下的指数关系模型：/nP(Q)＝α·Q...

【技术特征摘要】
1.一种车联网中视频语义驱动的通信和计算资源联合分配方法，其特征在于，具体步骤包括：
步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型；
系统模型包括配备边缘服务器的蜂窝基站(BaseStation，BS)和M辆装有摄像头的智能网联汽车；
整个系统的通信和计算过程如下：1)车辆发起视频传输请求，对所采集的视频进行预处理，获取视频信息并将其上传到边缘服务器，同时边缘服务器获取信道状态信息(ChannelStateInformation，CSI)；2)边缘服务器获取视频信息和CSI，根据视频语义驱动的资源分配方法得到最优的频谱资源和计算资源分配结果；3)车辆根据频谱资源分配的结果完成视频的编码压缩，通过无线信道传输到边缘服务器；4)边缘服务器将接收到的视频进行解码，根据所分配的计算资源采用不同的语义理解算法，对视频进行语义理解并将结果反馈给各车辆；
步骤二、构建视频语义驱动的频谱资源分配指导模型；
以视频语义理解的基础任务——目标检测任务为例，视频的语义即待检测的目标类别和数量，视频语义的理解准确率即目标检测的准确率；详细的资源分配指导模型建模步骤如下：
步骤201、构建目标检测精度与QP值之间的关系；
采用H.265视频编码压缩标准对视频数据进行编码压缩处理，使得视频传输的码率小于或等于带宽限制下的传输速率；压缩编码过程中不同的视频量化参数(QuantitativeParameters，QP)值对应不同的压缩步长，QP值越小，压缩步长越小，视频码率越接近原始视频码率，传输所需的带宽越大；
采用Faster-RCNN算法对Caltech数据集中不同压缩程度的视频进行目标检测，目标类型主要包括行人、车辆和交通信号灯等；根据数据结果拟合出如下的指数关系模型：
P(Q)＝α·Qβ+γ
Q表示视频量化参数QP值，P表示目标检测精度，α,β,γ均为模型参数；引入均方误差值(MeanSquareError，MSE)作为损失函数，并利用回归方法求解模型参数；
步骤202、构建检测准确率和视频码率的关系；
QP值决定了视频压缩率的不同，而视频数据速率的大小与压缩率有关；因此根据实验研究QP和视频数据速率之间的关系；通过曲线拟合，QP和视频数据速率之间的关系可以近似表示为：
Q＝a·exp(b·Rdata)



其中Q为视频量化参数(QP)，Rdata为视频源编码率，a,b为模型参数；exp(·)表示以自然常数e为底的指数函数，相应的ln(·)表示以自然常数e为底的对数函数；
联合上述两步所得的关系模型，可得检测准确率与码率的关系模型如下：
PmAP(Q)＝α(aexp(b·Rdata))β+γ
其中PmAP(Q)表示频谱资源限制下的目标检测精度；
码率的大小与传输过程中的带宽资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的带宽资源分配指导模型；上述目标检测准确率与码率的关系模型从理论上给出了语义驱动的频谱资源分配算法的优化方向；
步骤203、构建视频传输时延和频谱资源分配的关系；
车辆端通过将目标检测任务卸载到边缘服务器，可以解决车辆计算能力不足的问题；同时，它会花费额外的时间和能量来上传视频；基于上述通信资源分配结果，视频上传过程的时延可表示为：



其中表示视频从车辆上传到边缘服务器过程的时延，Dm为视频数据的大小，Rm表示视频数据传输速率；
步骤三、构建视频语义驱动的计算资源分配指导模型；
在收到各个车辆的视频数据后，边缘服务器基于视频内容重要性分配计算资源执行目标检测算法；在计算资源建模方面，尤其是在移动边缘计算场景中，边缘服务器的CPU资源是影响到计算任务执行性能指标的关键因素；目标检测算法精度直接取决于其DNN模型复杂度；对于DNN模型而言有一个趋势，即模型的规模越大，即神经网络层数越多的，所需要的计算资源越多，对视频内容理解的性能越好；详细的计算资源分配指导模型建模步骤如下：
步骤301、构建目标检测精度与其模型计算复杂度之间的关系；
根据FasterR-CNN、R-FCN和SSD三个经典目标检测算法上在COCO数据集上做了大量实验，最终给出了一系列检测问题所能达到的平均检测性能；
步骤302、构建目标检测精度与其模型算力之间的关系；
由于所建立的DNN模型训练和推理性能与其复杂度之间的关系为一系列散点图，因此考虑将DNN模型复杂度抽象为算力，即执行算法所需要的CPU频率；对散点图进行曲线拟合，进而构建视频内容理解精度和算力之间的闭合表达式可近似表示为：



其中PmAP(fm)表示计算资源限制下的目标检测精度，fm为边缘服务器所分配的计算资源，x,y,z,w均为模型参数；此处仍以均方误差值(MeanSquareError，MSE)作为损失函数；
目标检测算法模型的大小与边缘服务器所分配的计算资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的计算资源分配指导模型；上述目标检测准确率与计算资源的关系模型从理论上给出了语义驱动的计算资源分配算法的优化方向；
步骤303、构建计算时延和计算资源分配的关系；
由步骤二可知，通过将目标检测任务卸载到边缘服务器，需要花费额外的时间和能量来上传视频，同时需要花费计算时延执行...

【专利技术属性】
技术研发人员：刘芳芳，朱旭，郭彩丽，曾志民，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11