基于计算机视觉识别的路面目标检测方法技术

本发明专利技术提供一种基于计算机视觉识别的路面目标检测方法，包括S1、制作数据集并从数据集中的每个路面图片中提取路面目标且对路面目标进行分类；S2、搭建基于图像语义分割的训练模型网络，通过数据集对训练模型网络进行训练，使训练模型网络的性能达到最优；S3、将相机采集的图片输入到完成测试的训练模型网络中进行图像语义分割获得分割结果，将激光雷达采集的点云数据投影到相机采集的图片上，根据分割结果确定路面目标的类别。本发明专利技术使用语义分割方法对路面目标进行检测与识别，可以更准确的提取路面坑洼等不规则的轮廓信息，以便精确的进行点云分类。的进行点云分类。的进行点云分类。

【技术实现步骤摘要】
基于计算机视觉识别的路面目标检测方法


[0001]本专利技术涉及视觉识别图像语义分割
，特别涉及一种基于计算机视觉识别的路面目标检测方法。

技术介绍

[0002]随着计算机视觉及智能驾驶感知技术的蓬勃发展，促进了主动悬架系统路面预瞄技术的变革，由最初的轴间预瞄发展为加装摄像头或激光雷达等可以采集路面三维数据的传感器，提前采集路面激励输入主动悬架系统的车前预瞄。但是由于没有类别标签信息，仅利用三维信息的车前预瞄容易对路面上的柔性物体如塑料袋、树叶等产生误判，造成悬架系统的错误动作，导致车辆舒适性和安全性的降低。同时路面上的坑洼多为不规则形状，若采用一般目标检测方法识别路面目标，算法框出的目标范围并不能很好贴合目标轮廓，导致悬架系统针对目标的动作精度降低。

技术实现思路

[0003]本专利技术的目的是为了克服已有技术的缺陷，提出一种基于计算机视觉识别的路面目标检测方法，通过对路面目标进行检测和分类，同时提供像素级的目标检测精度，提高悬架系统的动作精度和控制效果，保证车辆的舒适性和安全性。
[0004]为实现上述目的，本专利技术采用以下具体技术方案：
[0005]本专利技术提供的基于计算机视觉识别的路面目标检测方法，其特征在于，包括如下步骤：
[0006]S1、制作数据集并从所述数据集中的每个路面图片中提取路面目标且对所述路面目标进行分类；
[0007]S2、搭建基于图像语义分割的训练模型网络，并通过所述数据集对所述训练模型网络进行训练；
[0008]S3、将相机采集的图片输入到完成训练的训练模型网络中进行图像语义分割获得分割结果，将激光雷达采集的点云数据投影到所述相机采集的图片上，根据所述分割结果确定所述路面目标的类别。
[0009]优选地，步骤S1具体包括如下子步骤：
[0010]S11、使用开源图片标记工具对每个路面图片中的路面目标进行轮廓提取，同时进行类别标注；其中，路面目标的类别分为减速带、井盖和路面坑洼；
[0011]S12、将完成类别标注的数据集按照6∶2∶2的比例划分成训练集、验证集和测试集。
[0012]优选地，将数据集分成训练集、验证集和测试集，以及步骤S2具体包括如下步骤：
[0013]S21、将所述训练集输入训练模型网络进行训练，并将训练结果使用验证集进行验证，通过调整初始超参数使训练模型网络的性能达到最优；
[0014]S22、将测试集输入完成训练的训练模型网络进行测试，计算训练模型网络识别路面目标的准确率、精确率和召回率，衡量训练模型网络的识别性能和泛化能力。
[0015]优选地，在步骤S2搭建训练模型网络的过程中，使用pytorch深度学习框架，搭建maskrcnn检测算法，使用Resnet101作为主干网络进行特征提取，使用FPN作为颈部网络进行特征融合，使用RPN网络进行区域建议，使用ROIAlign层调整特征尺寸，使用全卷积网络进行像素分类；
[0016]训练模型网络的损失函数L
final
为：
[0017]L
final
＝L({p
i
}，{t
i
})+(L
cls
+L
box
+L
mask
)；
[0018]其中，L({p
i
}，{t
i
})为训练RPN网络的损失，L
cls
为类别损失，L
box
为目标框损失，L
mask
为掩码损失。
[0019]优选地，ROIAlign层通过双线性差值法调整特征尺寸，利用路面图片中四个点的像素值计算目标值；其中，路面图片中四个点的四个点分别为Q
11
(x1，y1)，Q
12
(x1，y2)，Q
21
(x2，y1)和Q
22
(x2，y2)；
[0020]首先，在x方向上进行线性插值，得到R1和R2两个点：
[0021][0022][0023]之后，在y方向上进行线性插值，通过R1、R2计算目标点P。
[0024][0025]优选地，在将训练集输入训练模型网络进行训练之前，先设置初始超参数并对训练集进行数据增强。
[0026]优选地，对训练集中的路面图片进行几何变换和颜色变换，实现数据增强。
[0027]优选地，路面目标的准确率P
acc
的计算公式为：
[0028]P
acc
＝(TP+TN)/(TP+TN+FP+FN)；
[0029]路面目标的精确率P
pre
的计算公式为：
[0030]P
pre
＝TP/(TP+FP)；
[0031]路面目标的召回率P
re
的计算公式为：
[0032]P
re
＝TP/(TP+FN)；
[0033]其中，TP表示将正类预测为正类数，TN表示将负类预测为负类数，FP表示将负类预测为正类数，FN表示将正类预测为负类数。
[0034]优选地，步骤S4在将激光雷达采集的点云数据投影到相机采集的图片上的过程中，通过坐标变换矩阵T将点云数据置于相机坐标系下，再通过相机内参数矩阵K将点云数据投影于相机采集的图片上。
[0035]优选地，设P
c
是点云数据P
l
在相机坐标系下的坐标，使用旋转矩阵R
m
和平移向量t，将P
c
变换为P
l
，则：
[0036]P
c
＝R
m
P
l
+t；
[0037]其中，R
m
为3
×
3的旋转矩阵，t为3
×
1的平移向量，将P
c
改写为齐次坐标的形式：
[0038][0039]其中，X
c
、Y
c
、Z
c
表示P
c
的三维坐标；
[0040]相机内参变换矩阵K写成齐次坐标的形式为：
[0041][0042]其中，f
x
，f
y
分别为相机在u轴和v轴方向上的尺度因子，(c
x
，c
y
)为相机主点。
[0043]本专利技术能够取得如下技术效果：
[0044]1、本专利技术使用语义分割方法对路面目标进行检测与识别，可以更准确的提取路面坑洼等不规则的轮廓信息，以便精确的进行点云分类；
[0045]2、本专利技术通过投影对点云数据增加类别信息，保证悬架的正确动作，提高车辆的舒适性及安全性；
[0046]3、本专利技术使用maskrcnn检测方法进行路面检测，其对于路面目标的检测精度，准确率更高。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉识别的路面目标检测方法，其特征在于，包括如下步骤：S1、制作数据集并从所述数据集中的每个路面图片中提取路面目标且对所述路面目标进行分类；S2、搭建基于图像语义分割的训练模型网络，并通过所述数据集对所述训练模型网络进行训练；S3、将相机采集的图片输入到完成训练的训练模型网络中进行图像语义分割获得分割结果，将激光雷达采集的点云数据投影到所述相机采集的图片上，根据所述分割结果确定所述路面目标的类别。2.如权利要求1所述的基于计算机视觉识别的路面目标检测方法，其特征在于，所述步骤S1具体包括如下子步骤：S11、使用开源图片标记工具对每个路面图片中的路面目标进行轮廓提取，同时进行类别标注；其中，所述路面目标的类别分为减速带、井盖和路面坑洼；S12、将完成类别标注的数据集按照6∶2∶2的比例划分成训练集、验证集和测试集。3.如权利要求1或2所述的基于计算机视觉识别的路面目标检测方法，其特征在于，将所述数据集分成训练集、验证集和测试集，以及步骤S2具体包括如下步骤：S21、将所述训练集输入所述训练模型网络进行训练，并将训练结果使用所述验证集进行验证，通过调整初始超参数使所述训练模型网络的性能达到最优；S22、将所述测试集输入完成训练的训练模型网络进行测试，计算所述训练模型网络识别路面目标的准确率、精确率和召回率，衡量所述训练模型网络的识别性能和泛化能力。4.如权利要求3所述的基于计算机视觉识别的路面目标检测方法，其特征在于，在所述步骤S2搭建训练模型网络的过程中，使用pytorch深度学习框架，搭建maskrcnn检测算法，使用Resnet101作为主干网络进行特征提取，使用FPN作为颈部网络进行特征融合，使用RPN网络进行区域建议，使用ROIAlign层调整特征尺寸，使用全卷积网络进行像素分类；所述训练模型网络的损失函数L
final
为：L
final
＝L({p
i
}，{t
i
})+(L
cls
+L
box
+L
mask
)；其中，L({p
i
}，{t
i
})为训练RPN网络的损失，L
cls
为类别损失，L
box
为目标框损失，L
mask
为掩码损失。5.如权利要求4所述的基于计算机视觉识别的路面目标检测方法，其特征在于，所述ROIAlign层通过双线性差值法调整特征尺寸，利用路面图片中四个点的像素值计算目标值；其中，路面图片中四个点的四个点分别为...

【专利技术属性】
技术研发人员：赵添一郎，张博宇，董志圣，李朝健，
申请(专利权)人：浙江孔辉汽车科技有限公司，
类型：发明
国别省市：