基于深度学习的车辆侧面图像拼接和车辆尺寸测量方法技术

本发明专利技术提出了基于深度学习的车辆侧面图像拼接和车辆尺寸测量方法，涉及图像拼接技术领域。该方法包括：获取包含车辆画面的连续帧图像队列，同时提取车辆框坐标信息。基于车辆框坐标信息，提取连续帧图像队列中首尾帧图像的车身范围内特征点。将特征点进行匹配，并计算偏移量。根据偏移量对连续帧图像队列中每帧图像进行截取，并拼接至最终图像上。该方法结合深度学习领域知识和特征点法，利用车侧连续视频帧构造车辆侧面全景图，受背景干扰影响小，车辆图像不易形变，使得得到的车辆拼接图像更加准确，进而利用该方法可以更加准确的测出车辆的长度和高度。出车辆的长度和高度。出车辆的长度和高度。

【技术实现步骤摘要】
基于深度学习的车辆侧面图像拼接和车辆尺寸测量方法


[0001]本专利技术涉及图像拼接
，具体而言，涉及基于深度学习的车辆侧面图像拼接和车辆尺寸测量方法。

技术介绍

[0002]随着车辆管理智能化发展，车辆诸如长度、高度、车轴数、车牌号等信息的采集管理越来越重要，如高速收费需根据车长、车轴、载客数为基准的车型进行确定。而传统人工确认的方式，无法满足此类信息的获取和管理。
[0003]在现有技术中，通过车辆侧面图像拼接可获得车辆长度和高度，而车辆侧面图像拼接通常采用如下办法：(1)对包含车的连续帧图像做帧差法，剔除背景的同时获取车身轮廓特征，再对相邻帧的车身轮廓特征进行模板匹配，计算偏移量，根据偏移量控制拼接条宽度进行拼接。该方法由于要对图像做帧差以及模板匹配，性能消耗大，且用于模板匹配的车身轮廓特征误差大，计算出的偏移量存在问题。(2)对包含车的连续帧图像通过光流法计算相邻图像内物体的运动偏移量，根据偏移量控制拼接条宽度进行拼接。该方法采取的光流法对光照要求高，光照亮度一旦发生变化，光流将失效，稳定性差。

技术实现思路

[0004]本专利技术的目的在于提供基于深度学习的车辆侧面图像拼接和车辆尺寸测量方法，其能够结合深度学习领域知识，结合特征点法，利用车侧连续视频帧构造车辆侧面全景图，以避免背景干扰的影响，得到准确的车辆图像，进而可准确的测出车辆的长度和高度。
[0005]本专利技术的实施例是这样实现的：
[0006]第一方面，本申请实施例提供一种基于深度学习的车辆侧面图像拼接方法，其包括如下步骤：
[0007]获取包含车辆画面的连续帧图像队列，同时提取车辆框坐标信息；
[0008]基于车辆框坐标信息，提取连续帧图像队列中首尾帧图像的车身范围内特征点；
[0009]将特征点进行匹配，并计算偏移量；
[0010]根据偏移量对连续帧图像队列中每帧图像进行截取，并拼接至最终图像上。
[0011]在本专利技术的一些实施例中，上述获取包含车辆画面的连续帧图像队列，同时提取车辆框坐标信息的步骤包括：
[0012]设拼接基准竖线为X＝X
l
，实时获取帧画面，用Yolov5模型对每帧画面f
n
进行车侧检测，若检测到车辆，且车辆框与拼接基准竖线相交或者车辆框在车辆运动方向上超过拼接基准竖线，则将检测标志位flag置1，并记录该车辆框的位置和范围Rect＝{x，y，w，h}，其中，x为车辆框左上角点像素坐标x值，y为车辆框左上角点像素坐标y值，w为车辆框像素宽度，h为车辆框像素高度，否则将检测标志位flag置0；
[0013]将连续flag值为1的帧画面f
n
和车辆框Rect加入至拼接队列。
[0014]在本专利技术的一些实施例中，上述基于车辆框坐标信息，提取连续帧图像队列中首
尾帧图像的车身范围内特征点的步骤包括：
[0015]若拼接队列检测到车侧，则对该拼接队列首尾帧原始图像提取车侧框Rect区域的ROI图像，否则等待下一个拼接队列；
[0016]利用SuperPoint模型，提取该ROI图像的特征点p和描述子v；
[0017]设原始图像宽W
image
、高H
image
，设浮点数向上取整函数为ceil、浮点数向下取整函数为floor，预设一个网格宽度W
mesh
，将原始图像划分成ceil(W
image
/W
mesh
)*ceil(H
image
/W
mesh
)个网格，遍历所提取到的特征点p，对每个特征点p的坐标P
sp
(X
sp
，Y
sp
)，利用公式N
sp
＝floor(Y
sp
/W
mesh
)*ceil(W
image
/W
mesh
)+floor(X
sp
/W
mesh
)计算任一特征点p对应的网格序号N
sp
，并将所有特征点p的网格序号记录至网格映射统计表中，其中，网格映射统计表内统计了原始图像中每个网格包含的特征点序号。
[0018]在本专利技术的一些实施例中，上述将特征点进行匹配，并计算偏移量的步骤包括：
[0019]判断当前将首尾帧图像的车身范围内特征点进行匹配的次数；
[0020]若当前匹配为同一车辆拼接周期内的初次匹配，则对特征点进行KNN匹配，得到匹配点，并对匹配点进行最优次优距离筛选；
[0021]若当前匹配不是同一车辆拼接周期内的初次匹配，则遍历队列首帧特征点{p
f
，v
f
}，对该特征点坐标p
f
加上偏移坐标(S，0)，得到该特征点在尾帧时刻的预测点坐标，该预测点坐标为首帧预测特征点坐标，计算预测点坐标对应的网格序号，统计以该预测点坐标对应的网格为中心，半径为R
m
范围内的所有网格，根据网格映射统计表获取对应的所有尾帧特征点{p
b
，v
b
}，遍历所有尾帧特征点，计算首帧预测特征点v
f
与尾帧特征点v
b
的L2距离，并记录最优距离和次优距离，取距离小于距离阈值且最优距离与次优距离的比值低于筛选阈值的尾帧特征点作为首帧预测特征点的匹配点；
[0022]对筛选后剩余的匹配点进行背景点筛选，将Y方向差值大于第一预设差值的匹配点和X方向差值小于第二预设差值的匹配点去除后，对剩余的匹配点X方向差值进行高斯滤波，并计算剩余的匹配点X方向的平均差值作为偏移量S。
[0023]在本专利技术的一些实施例中，上述根据偏移量对连续帧图像队列中每帧图像进行截取，并拼接至最终图像上的步骤包括：
[0024]设拼接基准竖线为X＝X
l
、连续帧图像队列首帧车辆框Rect
s
＝{x
s
，y
s
，w
s
，h
s
}、拼接帧图像高为H，若本次拼接为该车辆的首次拼接且车辆运动方向为从左到右，则将连续帧图像队列中首帧图像内宽为X
l
至x
s
+h
s
、高为0至H范围内的画面存储为拼接结果图；
[0025]若本次拼接为该车辆的首次拼接且车辆运动方向为从右到左，则将连续帧图像队列中首帧图像内宽为x
s
至X
l
，高为0至H范围内的画面存储为拼接结果图；
[0026]设拼接结果图宽为W
result
、高为H
result
，同时初始化一张宽为W
result
+S、高为H
result
的新结果图，若车辆运动方向为从左到右，则将拼接结果图拷贝至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的车辆侧面图像拼接方法，其特征在于，包括如下步骤：获取包含车辆画面的连续帧图像队列，同时提取车辆框坐标信息；基于所述车辆框坐标信息，提取所述连续帧图像队列中首尾帧图像的车身范围内特征点；将所述特征点进行匹配，并计算偏移量；根据所述偏移量对所述连续帧图像队列中每帧图像进行截取，并拼接至最终图像上。2.根据权利要求1所述的基于深度学习的车辆侧面图像拼接方法，其特征在于，所述获取包含车辆画面的连续帧图像队列，同时提取车辆框坐标信息的步骤包括：设拼接基准竖线为X＝X
l
，实时获取帧画面，用Yolov5模型对每帧画面f
n
进行车侧检测，若检测到车辆，且车辆框与所述拼接基准竖线相交或者车辆框在车辆运动方向上超过所述拼接基准竖线，则将检测标志位flag置1，并记录该车辆框的位置和范围Rect＝{x，y，w，h}，其中，x为车辆框左上角点像素坐标x值，y为车辆框左上角点像素坐标y值，w为车辆框像素宽度，h为车辆框像素高度，否则将检测标志位flag置0；将连续flag值为1的帧画面f
n
和车辆框Rect加入至拼接队列。3.根据权利要求2所述的基于深度学习的车辆侧面图像拼接方法，其特征在于，基于所述车辆框坐标信息，提取所述连续帧图像队列中首尾帧图像的车身范围内特征点的步骤包括：若所述拼接队列检测到车侧，则对该拼接队列首尾帧原始图像提取车侧框Rect区域的ROI图像，否则等待下一个拼接队列；利用SuperPoint模型，提取该ROI图像的特征点p和描述子v；设原始图像宽W
image
、高H
image
，设浮点数向上取整函数为ceil、浮点数向下取整函数为floor，预设一个网格宽度W
mesh
，将原始图像划分成ceil(W
image
/W
mesh
)*ceil(H
image
/W
mesh
)个网格，遍历所提取到的特征点p，对每个特征点p的坐标P
sp
(X
sp
，Y
sp
)，利用公式N
sp
＝floor(Y
sp
/W
mesh
)*ceil(W
image
/W
mesh
)+floor(X
sp
/W
mesh
)计算任一特征点p对应的网格序号N
sp
，并将所有特征点p的网格序号记录至网格映射统计表中，其中，所述网格映射统计表内统计了原始图像中每个网格包含的特征点序号。4.根据权利要求3所述的基于深度学习的车辆侧面图像拼接方法，其特征在于，将所述特征点进行匹配，并计算偏移量的步骤包括：判断当前将首尾帧图像的车身范围内特征点进行匹配的次数；若当前匹配为同一车辆拼接周期内的初次匹配，则对所述特征点进行KNN匹配，得到匹配点，并对所述匹配点进行最优次优距离筛选；若当前匹配不是同一车辆拼接周期内的初次匹配，则遍历队列首帧特征点{p
f
，v
f
}，对该特征点坐标p
f
加上偏移坐标(S，0)，得到该特征点在尾帧时刻的预测点坐标，该预测点坐标为首帧预测特征点坐标，计算所述预测点坐标对应的网格序号，统计以该预测点坐标对应的网格为中心，半径为R
m
范围内的所有网格，根据所述网格映射统计表获取对应的所有尾帧特征点{p
b
，v
b
}，遍历所有尾帧特征点，计算首帧预测特征点v
f
与尾帧特征点v
b
的L2距离，并记录最优距离和次优距离，取距离小于距离阈值且最优距离与次优距离的比值低于筛选阈值的尾帧特征点作为首帧预测特征点的匹配点；对筛选后剩余的匹配点进行背景点筛选，将Y方向差值大于第一预设差值的匹配点和X
方向差值小于第二预设差值的匹配点去除后，对剩余的匹配点X方向差值进行高斯滤波，并计算剩余的匹配点X方向的平均差值作为偏移量S。5.根据权利要求2所述的基于深度学习的车辆侧面图像拼接方法，其特征在于，根据所述偏移量对所述连续帧图像队列中每帧图像进行截取，并拼接至最终图像上的步骤包括：设拼接基准竖线为X＝X
l
、连续帧图像队列首帧车辆框Rect
s
＝{x
s
，y
s
，ws，h
s
}、拼接帧图像高为H，若本次拼接为该车辆的首次拼接且车辆运动方向为从左到右，则将连续帧图像队列中首帧图像内宽为X
l
至x
s
+h
s
、高为0至H范围内的画面存储为拼接结果图；若本次拼接为该车辆的首次拼接且车辆运动方向为从右到左，则将连续帧图像队列中首帧图像内宽为x
s
至X
l
，高为0至H范围内的画面存储为拼接结果图；设拼接结果图宽为W
resilt
、高为H
result
，同时初始化一张宽为W
result
+S、高为H
result
的新结果图，若车辆运动方向为从左到右，则将拼接结果图拷贝至新结果图的宽为S至W
result
+S、高为0至H
result
的范围内，若车辆运动方向为从右到左，则将拼接结果图拷贝至新结果图的宽为0至S、高为0至H
result
的范围内；将偏移量S除以队列帧数N
‑
1，得到每帧拼接所需截取的理论宽度W
theory
；设本次拼接的已拼接宽度为W
stitch
，拼接基准竖线为X＝X
l
，每帧在连续帧图像队列中序号为N
frame
；从第二帧起遍历所述连续帧图像队列，若当前遍历的图像帧不是该连续帧图像队列的最后一帧，则该图像帧拼接所需截取的实际宽度W
real
＝W
theory
*N
frame
‑
W
stit...

【专利技术属性】
技术研发人员：孙杰，余佳骏，
申请(专利权)人：感知信息科技浙江有限责任公司，
类型：发明
国别省市：