一种基于图像特征融合获取车辆排队长度的方法及装置制造方法及图纸

本发明专利技术公开一种基于图像特征融合获取车辆排队长度的方法及装置，涉及智能交通领域。通过获取目标监控点采集的连续相邻的多帧图像数据，通过基于语义分割网络模型得到车辆图像的特征掩码矩阵，基于轻量图像编码神经网络模型，得到第一车道内车辆图像的特征编码矩阵，将特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵，再基于构建的轻量特征融合神经网络模型得到图像融合特征矩阵，根据轻量化神经网络构建的队列状态及长度预测模型与所述图像融合特征矩阵确定出目标监控点的第一车道上的车辆排队长度。在一定程度上能够有效提高排队长度预测精确度，并可以提高预测效率。本发明专利技术适用于交通信号灯及潮汐车道的智能化控制场景中。智能化控制场景中。智能化控制场景中。

【技术实现步骤摘要】
一种基于图像特征融合获取车辆排队长度的方法及装置


[0001]本专利技术涉及智能交通领域，尤其涉及一种基于图像特征融合获取车辆排队长度的方法及装置。

技术介绍

[0002]目前，已知的车辆排队长度确定方法包括：
[0003](1)基于队尾空车道区域纹理特征自动检测路口车辆排队长度，采用固定背景区域窗口最大相似度配准法解决抖动引起的偏差。
[0004](2)以单车道路段当量排队长度模型为依据，建立了最大当量排队长度模型，通过数理统计方法分析其交通流特性、时间特性和空间特性，运用偏微分方法求解了单个时空参数对最大当量排队长度的敏感程度，获得排队长度模型。
[0005](3)使用改进后的FAST角点特征分析技术，以提取出当前交通道路上表征车辆存在的角点特征图和角点位置的运动状态，通过对交通监控下的视频进行预处理后，单一车道内处于静态的角点特征形成车辆排队，并进行PCA处理得到一维向量，最后对一维向量进行形态学处理来检测单一车道内的车辆排队长度。
[0006](4)使用相邻帧差法确定车辆是否处于静止状态，采用轮廓跟踪法进行连通区域搜索，对搜索到得连通区域采用最小边界矩形拟合获取信息，最终获得排队长度。
[0007](5)使用背景差分法获取前景中车辆信息，使用自适应滑动窗口方法，统计滑动窗口中车辆像素占比来判断队首或队尾，已队首和队尾位置获取排队长度。
[0008]专利技术人在实现本专利技术创造的过程中发现：对于以上几种方法，方案(1)和(5)中需要对实际区域进行背景建模，适应性差；方案(2)中采用统计方法，不便于得到实时排队长度，而且短时间的误差较大；方案(3)中角点特征误差较大，针对较差天气效果不好；方案(4)中相邻帧差法和连通域搜索引入较多经验阈值，适应性不够，影响车辆排队长度的预测精确度。

技术实现思路

[0009]有鉴于此，本专利技术实施例提供一种基于图像特征融合获取车辆排队长度的方法及装置，在一定程度上能够有效提高排队长度的预测精确度。
[0010]第一方面，本专利技术实施例提供一种基于图像特征融合获取车辆排队长度的方法，包括：
[0011]获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；
[0012]使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；
[0013]根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换
处理；
[0014]将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；
[0015]对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；
[0016]基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；
[0017]根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
[0018]可选地，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；
[0019]所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度包括：
[0020]将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；
[0021]最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；
[0022]调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；
[0023]根据所述队列状态分类结果确定第一车道上的车辆运动状态；
[0024]根据所述车辆运动状态确定车辆的排队长度。
[0025]可选地，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2
×
2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；
[0026]所述根据所述车辆运动状态确定车辆的排队长度包括：
[0027]若车辆处于运动状态中，则确定车辆的排队长度为0；
[0028]所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度还包括：
[0029]若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；
[0030]最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；
[0031]调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；
[0032]根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
[0033]可选地，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点；
[0034]所述使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵包括：
[0035]将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码；
[0036]根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0；
[0037]计算出每个分区中所述掩码像素值为1的面积占比；
[0038]根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。
[0039]可选地，所述轻量图像编码神经网络模型包括：第一类卷积块、第二类卷积块及通道压缩器，所述第一类卷积块与第二类卷积块之间、所述第二类卷积块输出端与所述通道压缩器之间分别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像特征融合获取车辆排队长度的方法，其特征在于，包括：获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理；将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。2.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度包括：将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；根据所述队列状态分类结果确定第一车道上的车辆运动状态；根据所述车辆运动状态确定车辆的排队长度。3.根据权利要求2所述的获取车辆排队长度的方法，其特征在于，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2
×
2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；所述根据所述车辆运动状态确定车辆的排队长度包括：若车辆处于运动状态中，则确定车辆的排队长度为0；所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度还包括：
若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。4.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点；所述使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵包括：将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码；根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0；计算出每个分区中所述掩码像素值为1的面积占比；根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。5.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述轻量图像编码神经网络模型包括：第一类卷积块、第二类卷积块及通道压缩器，所述第一类卷积块与第二类卷积块之间、所述第二类卷积块输出端与所述通道压缩器之间分别用池化核为1
×
...

【专利技术属性】
技术研发人员：杨云飞，隋立林，
申请(专利权)人：北京英泰智科技股份有限公司，
类型：发明
国别省市：