基于盲区预测的V2I车联网图像数据传输系统及方法技术方案

本发明专利技术公开了一种基于盲区预测的V2I车联网图像数据传输系统及方法，包括设置于车辆端的目标检测与追踪模块、盲区预测模块以及设置于边缘服务器端的数据调度模块；所述目标检测与追踪模块，用于获取车辆前方目标物体图像，对目标物体图像进行检测，识别和获取目标物体的边界框，进行目标追踪；所述盲区预测模块，用于进行盲区预测，得到未来边界框轨迹预测位置作为盲区预测值；所述数据调度模块，用于根据盲区预测值进行数据调度，将车辆传感器获得的图像数据上传到边缘服务器和下发给需要的车辆。与现有技术相比，本发明专利技术利用盲区预测进行提前数据的提前调度，使得智能网联车的数据传输更加及时、稳定与可靠，有效补充视觉盲区遮挡的重要信息。挡的重要信息。挡的重要信息。

【技术实现步骤摘要】
基于盲区预测的V2I车联网图像数据传输系统及方法


[0001]本专利技术涉及智能网联车数据传输领域，特别是涉及一种基于盲区预测的V2I车联网图像数据传输技术。

技术介绍

[0002]智能网联车图像数据传输主要是将摄像头传感器获取的图像数据，通过车辆对车辆(Vehicle
‑
to
‑
Vehicle，V2V)，车辆对基础设施(Vehicle
‑
to
‑
Infrastructure，V2I)两种方式进行数据传输和共享。相对于V2V这种将车辆自身传感器捕获的数据内容传输给附近其他车辆的方式，V2I的形式主要为路侧边缘设备与车辆之间的数据传输。车辆通过将自身数据传给边缘设备的方式，可以借助边缘设备强大的计算能力对数据进行高速处理；同时边缘设备上的传感器获取的数据也可以共享给车辆，车辆接收到处理后的数据后可以对其视觉盲区的信息进行补充，从而使驾驶员与车辆拥有更好的驾驶环境。
[0003]V2I数据传输技术能够增加车辆的感知范围，发现遮挡的盲区信息，补充驾驶员的视野，提高车辆的道路交通安全。然而摄像头等传感器每个时刻获取的数据量非常庞大，加上交通情况瞬息万变，使得这些传感数据具有很高的时效性。庞大的数据传输量将大量占用带宽资源，对数据传输的实时性造成很大影响。同时，不同的道路信息的紧迫度及重要程度并不一样。例如，对于一些盲区遮挡的信息，包括路边行人和自行车，其数据传输优先级应该更高。另外，不同车辆可能会获取相同的数据，而数据的重复传输会进一步加剧带宽资源的浪费。

技术实现思路

[0004]本专利技术的目的是提出一种基于盲区预测的V2I车联网图像数据传输系统，基于盲区预测来实现调度请求，使数据提前调度，并能及时将亟需数据进行传输。
[0005]本专利技术利用以下技术方案实现：
[0006]一种基于盲区预测的V2I车联网图像数据传输系统，该系统包括设置于车辆端的目标检测与追踪模块、盲区预测模块以及设置于边缘服务器端的数据调度模块；
[0007]所述目标检测与追踪模块，用于通过车载摄像头获取车辆前方目标物体图像，对目标物体图像进行检测，识别和获取目标物体的边界框，进行目标追踪，记录过去一段时间内同一目标物体的边界框位置轨迹序列，作为盲区预测模块的输入；
[0008]所述盲区预测模块，用于将过去一段时间内同一目标物体的边界框位置轨迹序列作为图神经网络的输入进行盲区预测，得到未来边界框轨迹预测位置作为盲区预测值，在边界框轨迹预测位置启动数据调度请求，发送給给位于边缘服务器端的所述数据调度模块；
[0009]所述数据调度模块，用于根据盲区预测值来进行数据调度，将车辆获取的图像数据上传到边缘服务器和下发给需要的车辆。
[0010]1.一种基于盲区预测的V2I车联网图像数据传输方法，其特征在于，该方法包括以
下步骤：
[0011]获取车辆前方目标物体图像，对目标物体图像进行检测，识别和获取目标物体的边界框，进行目标追踪，记录过去一段时间内同一目标物体的边界框位置轨迹序列，作为盲区预测的输入；
[0012]将过去一段时间内同一目标物体的边界框位置轨迹序列作为图神经网络的输入进行盲区预测，得到未来边界框轨迹预测位置作为盲区预测值，在边界框轨迹预测位置启动数据调度请求；
[0013]根据盲区预测值来进行数据调度，将车辆数据上传到边缘服务器与下发给需要的车辆。
[0014]与现有技术相比，本专利技术的一种基于盲区预测的V2I车联网图像数据传输系统及技术优点如下：
[0015]1)利用盲区预测进行提前数据的提前调度，使得智能网联车的数据传输更加及时、稳定与可靠，有效补充视觉盲区遮挡的重要信息；
[0016]2、实现在不同时刻给不同车辆分配数据传输速率，实现自适应速率数据传输；
[0017]3、将重复目标的图像数据过滤掉，保证拥有所有目标内容的同时数据量最小，充分减少了数据冗余，极大减轻网络负载，使得传输更加高效。
附图说明
[0018]图1为本专利技术的一种基于盲区预测的V2I车联网图像数据传输系统模块图。
[0019]图2为目标检测与追踪模块流程图。
[0020]图3为盲区预测模块流程图。
[0021]图4为数据调度模块流程图。
具体实施方式
[0022]下面结合附图和具体实施例对本专利技术技术方案作进一步详细描述。
[0023]如图1所示，为本专利技术的一种基于盲区预测的V2I车联网图像数据传输系统模块图。该系统包括设置于车辆端的目标检测与追踪模块100、盲区预测模块200以及设置于边缘服务器端的数据调度模块300。
[0024]所述目标检测与追踪模块100，用于通过车载摄像头获取车辆前方目标物体图像，对目标物体图像进行检测，识别和获取目标物体的边界框(2D)，进行目标追踪，得到每个目标物体在过去一段时间内的边界框位置轨迹。以序列形式记录过去一段时间内同一目标物体的边界框位置轨迹序列，作为盲区预测模块的输入。车辆前方目标图像通过车载摄像头获取。
[0025]所述盲区预测模块200，用于将过去一段时间内同一目标物体的边界框位置轨迹序列作为图神经网络的输入进行盲区预测，得到未来边界框轨迹预测位置，将未来边界框轨迹预测位置作为盲区预测值(包括大小和位置)，在边界框轨迹预测位置启动数据调度请求，数据调度请求发送給给边缘端的数据调度模块300。
[0026]所述数据调度模块300，用于根据盲区预测值来进行数据调度，将符合要求的车辆传感器获取图像数据上传到边缘服务器，进行内容选择，过滤掉重复数据，将数据下发给需
要的车辆。
[0027]如图2所示，为目标检测与追踪模块流程图。具体步骤描述如下：
[0028]步骤1.1、初始化参数，本模块使用的目标物体图像检测技术为YOLO
‑
V4图像检测算法，其借鉴了残差网络结构，形成更深的网络层次，以及多尺度检测。使用的目标追踪技术为DeepSort多目标跟踪算法，其采用新的关联方式，提高了对长时间遮挡的对象追踪的准确率。设置好检测器与追踪器，过滤系数0.7，神经网络层数420，检测类别"car"，关联距离0.4等；
[0029]步骤1.2、获取摄像头数据；
[0030]步骤1.3、将图像数据输入YOLO
‑
V4图像检测模型，获取网络输出层，根据过滤系数得到过滤的检测类别以及2D边界框；
[0031]步骤1.4、提取特征，即根据2D边界框的范围，提取当前帧所有目标物体的图像特征，保存图像特征；
[0032]步骤1.5、追踪预测：根据前3帧中创建的追踪目标，使用卡尔曼滤波预测其在当前帧的位置。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法；
[0033]步骤1.6、追踪更新与特征匹配：对前3帧追踪目标特征与步骤1.4的当前帧所有目标物体的图像特征进行级联特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于盲区预测的V2I车联网图像数据传输系统，其特征在于，该系统包括设置于车辆端的目标检测与追踪模块、盲区预测模块以及设置于边缘服务器端的数据调度模块；所述目标检测与追踪模块，用于通过车载摄像头获取车辆前方目标物体图像，对目标物体图像进行检测，识别和获取目标物体的边界框，进行目标追踪，记录过去一段时间内同一目标物体的边界框位置轨迹序列，作为盲区预测模块的输入；所述盲区预测模块，用于将过去一段时间内同一目标物体的边界框位置轨迹序列作为图神经网络的输入进行盲区预测，得到未来边界框轨迹预测位置作为盲区预测值，在边界框轨迹预测位置启动数据调度请求，发送給给位于边缘服务器端的所述数据调度模块；所述数据调度模块，用于根据盲区预测值来进行数据调度，将车辆获取的图像数据上传到边缘服务器和下发给需要的车辆。2.如权利要求1所述的基于盲区预测的V2I车联网图像数据传输系统，其特征在于，所述目标检测与追踪模块具体包括以下处理：获取摄像头数据；将图像数据输入YOLO
‑
V4图像检测模型，获取网络输出层，根据过滤系数得到过滤的检测类别以及2D边界框；根据边界框的范围，提取当前帧所有目标物体的图像特征，保存图像特征；根据前3帧中创建的追踪目标，使用卡尔曼滤波预测其在当前帧的位置；对前3帧追踪目标特征与当前帧所有目标物体的图像特征进行级联特征匹配，若与前3帧都能匹配上，则更新追踪目标或者创建新的追踪目标；绘制追踪目标的边界框；存储得到的追踪目标及其边界框。3.如权利要求1所述的基于盲区预测的V2I车联网图像数据传输系统，其特征在于，所述盲区预测模块具体包括以下处理：将盲区定义为目标检测与追踪的边界框，对于每个时刻t，每一帧目标图像中的每一个目标物体的边界框记为其中，h表示检测到的盲区的边界框，H为边界框集合，t为某时刻，T为时刻的集合，表示输入，分别表示在t时刻时图像中第h个盲区边界框左上角像素坐标的横坐标和纵坐标，相应的表示右下角的横坐标和纵坐标，盲区预测值记为右下角的横坐标和纵坐标，盲区预测值记为右下角的横坐标和纵坐标，盲区预测值记为表示盲区预测值，分别表示在t的下一个时刻t+1时刻，第h个盲区边界框左上角像素坐标的横坐标和纵坐标，分别表示右下角的横坐标和纵坐标，实现了盲区预测数据获取；将盲区预测数据作为图神经网络的输入，输入到Social
‑
STGCNN模型；获取Social
‑
STGCNN模型输出结果，计算预测值，根据二元高斯分布将神经网络的输出值计算为预测值计算第t+1时刻第h个盲区大小的预测值为表达式如下：
如果则此车辆需要数据调度，根据盲区预测值向边缘服务器端发送数据调度请求和本车辆位置信息，P表示盲区预测阈值。4.如权利要求1所述的基于盲区预测的V2I车联网图像数据传输系统，其特征在于，所述数据调度模块具体包括以下处理：获取调度请求，该请求包括每辆车的调度信息k
i
以及每辆车的位置信息；设置车辆i需要车辆j的数据上传标志统计每辆车数据需求量s
j,l,t
，表达式如下：其中，表示车辆j在t时刻以速率l上传数据时边缘服务器的接收概率，i表示需要数据的车辆编号，j表示提供数据的车辆编号；之后，将每辆车数据需求量s
j,l,t
由大到小进行排序；对上传数据进行速率分配：根据每辆车数据需求量s
j,l,t
的排序，按顺序将下标(j,l)赋值给如果表示车辆j的数据在t时刻以速率l上传至边缘服务器，为不上传，计算在一个时隙t内对车辆j的数据内容的接收率表达式如下：；如果则将车辆j的盲区预测数据在t时刻以速率l上传到边缘服务器；统计每个车辆i捕获的目标对象的数量，按从大到小排序；然后，按顺序取出车辆j的盲区预测数据，如没有在选择集合S中，上传盲区预测数据；反之，不上传盲区预测数据；对下发数据进行速率分配：根据每辆车数据需求量s
j,l,t
的排序，按顺序将下标(j,l)赋值给赋值，然后计算车辆i在一个时隙t内对车辆j...

【专利技术属性】
技术研发人员：张朝昆，李泰来，周晓波，石善炜，
申请(专利权)人：天津大学，
类型：发明
国别省市：