一种基于单目视觉的目标跟踪方法、终端设备及存储介质技术

本发明专利技术涉及一种基于单目视觉的目标跟踪方法、终端设备及存储介质，该方法中包括：S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。本发明专利技术能够有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。实际道路中园区无人驾驶的感知能力提升。实际道路中园区无人驾驶的感知能力提升。

【技术实现步骤摘要】
一种基于单目视觉的目标跟踪方法、终端设备及存储介质


[0001]本专利技术涉及目标跟踪领域，尤其涉及一种基于单目视觉的目标跟踪方法、终端设备及存储介质。

技术介绍

[0002]当前园区无人驾驶视觉感知技术，主要有单目视觉和双目视觉两个方向，由于双目摄像头制作工艺及稳定性要求高等原因，成本较高。而单目摄像头因其成本较低，被更加广泛运用于感知系统。但是在实际道路行驶过程中，由于车身抖动、路面不平、斜坡等原因，现有的基于单目视觉的感知系统的精度并不尽如人意，尤其在复杂道路环境中适应性较差。

技术实现思路

[0003]为了解决上述问题，本专利技术提出了一种基于单目视觉的目标跟踪方法、终端设备及存储介质。
[0004]具体方案如下：
[0005]一种基于单目视觉的目标跟踪方法，包括以下步骤：
[0006]S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；
[0007]S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；
[0008]S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；
[0009]S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
[0010]进一步的，目标信息还包括置信度。
[0011]进一步的，目标类型包括车辆、行人和其他。
[0012]进一步的，目标类型为车辆时，其目标信息还包括车辆下半部分感兴趣区域的图像。
[0013]进一步的，当目标类型为车辆时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
[0014]S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
[0015]S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
[0016]S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
[0017]S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
[0018]S105：对第二次过滤后的所有轮廓进行椭圆拟合；
[0019]S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
[0020]S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
[0021]S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶。
[0022]S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
[0023]进一步的，当目标类型为行人时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
[0024]S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
[0025]S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
[0026]进一步的，当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
[0027]进一步的，步骤S4中对目标的实时跟踪采用的具体步骤如下：
[0028]S401：通过卡尔曼滤波算法对t
‑
1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
[0029]S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功，否则，判定为匹配不成功；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
[0030]一种基于单目视觉的目标跟踪终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例上述的方法的步骤。
[0031]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例上述的方法的步骤。
[0032]本专利技术采用如上技术方案，能够有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。
附图说明
[0033]图1所示为本专利技术实施例一的流程图。
[0034]图2所示为该实施例中目标与本车之间的距离计算的流程图。
具体实施方式
[0035]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0036]现结合附图和具体实施方式对本专利技术进一步说明。
[0037]实施例一：
[0038]本专利技术实施例提供了一种基于单目视觉的目标跟踪方法，如图1所示，其为本专利技术实施例所述的基于单目视觉的目标跟踪方法的流程图，所述方法包括以下步骤：
[0039]S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像。
[0040]S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息。
[0041]对视频帧图像进行目标检测时可以采用现有的目标检测算法即可，在此不做限制。
[0042]该实施例中设定目标类型包括车辆、行人和其他，目标信息包括目标的类型和目标边界框。为了更好地方便用户对目标检测结果进行判断，该实施例中目标信息还包括置信度。另外，为了方便对车辆类型的目标进行距离计算，车辆类型的目标相对于行人和其他两种类型的目标，其目标信息还包括车辆下半部分感兴趣区域(ROI)的图像。
[0043]S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离。
[0044]如图2所示，为了提高距离计算的准确性，该实施例中针对不同类型的目标设定了不同的测距算法，具体如下：
[0045](1)当目标类型为车辆时，测距算法具体为：
[0046]S101：将车辆下半部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的目标跟踪方法，其特征在于，包括以下步骤：S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。2.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：目标信息还包括置信度。3.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：目标类型包括车辆、行人和其他。4.根据权利要求3所述的基于单目视觉的目标跟踪方法，其特征在于：目标类型为车辆时，其目标信息还包括车辆下半部分感兴趣区域的图像。5.根据权利要求4所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为车辆时，用于计算目标与本车之间的距离的测距算法包括以下步骤：S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；S105：对第二次过滤后的所有轮廓进行椭圆拟合；S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶；S109：当目标车辆为...

【专利技术属性】
技术研发人员：陈祥勇，柯英杰，陈卫强，苏亮，刘强生，邹雪滢，陈燕丽，蔡奇晟，
申请(专利权)人：厦门金龙联合汽车工业有限公司，
类型：发明
国别省市：