一种交通执法影像中基于AI技术的车道线自动检测方法技术

本发明专利技术公开了一种交通执法影像中基于AI技术的车道线自动检测方法，属于图像识别领域。因此本发明专利技术方法提出一种只预测车道线两个端点的方法，并针对车道线的特殊性对端点特征点对组合分析，最终达到标注工作量小，要求低，预测速度快，预测准确的有益效果。本发明专利技术方法检测速度快、准确率高。该检测结果除应用在车辆违法变道检测(压实线检测)外，还可以应用在一些需要使用图像数据检测车道线位置的实际场景应用中如车道数判断等。

【技术实现步骤摘要】
一种交通执法影像中基于AI技术的车道线自动检测方法
本专利技术属于深度学习的目标检测领域，具体涉及到一种交通执法影像中基于AI技术的车道线自动检测方法。
技术介绍
车道线识别技术很早就有人开始研究，he/Rong等人使用Canny算子进行边缘检测，配合Hough变换方法进行车道线检测，时间复杂度较高，而且其车道线检测的适用范围小，主要是针对无人驾驶数据的车道线检测，而且其只关注左右两个车道。上述识别方法所针对的场景都是自动驾驶中的车道线检测。而近年来随着交通设施和违法抓拍系统的健全，在一定程度上减少了交通事故的发生。但是其违法数据都是由人工筛选，分类出违法、不违法数据。其数据量庞大，人工效率低，故而存在许多交通违法行为的二次检测方法。而在检测方法的前提中正确识别出车道线的所在位置至关重要。车道线识别的准确率直接影响违法判断的准确率。而原有的基于图像处理技术的车道线检测，在复杂的交通场景中受光照、天气、时间的影响，识别效果不佳。基于深度学习技术的车道线检测一般使用于自动驾驶，其只关注左右两个车道，而且数据标注工作量大，需耗费巨大的人力物力，因此也很难应用与交通场景中的车道线检测。
技术实现思路
本专利技术的目的在于解决现有技术中车道线标注困难的问题，并提供一种交通执法影像中基于AI技术的车道线自动检测方法。本专利技术所采用的具体技术方案如下：一种交通执法影像中基于AI技术的车道线自动检测方法，其步骤如下：S1：获取交通执法设备所拍摄的含有路口处车道线的违法图像数据集，且数据集的每张图像中均预先对车道线的两个端点进行标注；S2：对违法图像数据集中的每张违法图像及其对应的标注数据，依次进行预处理和数据增强，得到相同大小的输入数据；S3：构建用于车道线检测的卷积神经网络模型，所述卷积神经网络模型以Hourglass网络作为基础网络结构，其输入为归一化处理后的违法图像，在模型卷积神经网络最后一层得到5个通道，每个通道各自输出一个数值矩阵，分别为车道线上端点热图、车道线下端点热图、车道线中心端点热图、车道线上端点偏移量和车道线下端点偏移量；所述卷积神经网络模型的总损失函数为5个通道的输出结果损失之和；S4：将S2的输入数据中的违法图像进行归一化处理后，转换为数值矩阵并输入所述卷积神经网络模型中，输出所述5个通道的数值矩阵；同时将S2的输入数据中的标注数据转换为所述5个通道输出结果的真值标签，一并输入所述卷积神经网络模型中；通过最小化总损失函数对卷积神经网络模型进行训练，直至模型收敛；S5：将待检测的违法图像进行与S2中相同的预处理后，输入S4中训练完毕的卷积神经网络模型中，得到5个通道输出的数值矩阵，分别从车道线上端点热图、车道线下端点热图中提取符合车道线端点阈值范围的特征点，并将提取到的上端点特征点和下端点特征点两两组合得到若干特征点对，对所有特征点对进行异常值筛除，得到满足车道线分布规律的最终特征点对；以每一对最终特征点对作为车道线的两个端点，在图像中确定一条车道线。作为优选，步骤S2中，所述预处理方法为：对每张违法图像进行灰度化处理，将其转换为灰度图像；然后将灰度图像进行二值化处理，使图像中的单个像素由0或255表示，形成黑白图像。作为优选，步骤S2中，所述数据增强的方法为：将预处理后的违法图像缩放至512*512大小的图像中，并对其图像四周的空值区域进行填充；通过图像翻转、改变图像对比度或改变图像亮度进行调整，扩增新的图像样本。作为优选，步骤S3中，输入所述卷积神经网络模型的违法图像，均需要预先除以255以进行归一化处理，保证数据值在0-1之间。作为优选，步骤S3中，车道线上端点热图、车道线下端点热图和车道线中心端点热图的损失采用二分类交叉熵损失，车道线上端点偏移量和车道线下端点偏移量的损失采用平方差损失。作为优选，步骤S4中，将S2的输入数据中的标注数据转换为所述5个通道输出结果的真值标签的具体方法为：S41：从输入数据内违法图像的标注数据中提取每条车道线的两个端点作为特征点对((x1，y1)，(x2，y2))，并得到该车道线的宽度width＝|x2-x1|和高度height＝|y2-y1|；S42：根据数据增强后的不同违法图像样本中同一条车道线的特征点对，计算其高斯半径，生成车道线上端点热图、车道线下端点热图、车道线中心端点热图；其中高斯半径F(x)的计算公式为：其中x＝width+height，σ为x的标准差；S43：基于车道线上端点热图和车道线下端点热图两个数值矩阵，分别计算得到其车道线上端点偏移量和车道线下端点偏移量。进一步的，步骤S43中，对于车道线上端点热图或车道线下端点热图，根据端点热图计算得到对应端点偏移量的方法如下：构造一个与端点热图相同大小的新数值矩阵用于记录端点偏移量数值；新数值矩阵中任一位置i的取值Xi为：若端点热图中相同位置i存在端点特征点，则若端点热图中相同位置i不存在端点特征点，则Xi＝0；其中：k为端点热图中位置i处的取值。作为优选，步骤S4中，卷积神经网络模型训练过程中的模型收敛条件为：当测试集的总损失值在50个epoch中变化不再超过阈值T时，模型收敛。作为优选，步骤S5中，获取所述特征点对的具体方法为：针对车道线上端点热图或车道线下端点热图，若热图的数值矩阵中矩阵元素值大于0.1，则将该元素位置视为特征点；所有上端点特征点和下端点特征点两两组合得到初步特征点对；对每一个初步特征点对，若两者的中间位置在卷积神经网络模型输出的车道线中心端点热图中的特征值大于0.1，则保存该特征点对，否则剔除该特征点对；保存的所有特征点对用于进行后续异常值筛除。作为优选，步骤S5中，对特征点对进行异常值筛除的步骤如下：S51：遍历每一对特征点对，若上端点特征点的纵坐标值大于或等于下端点特征点的纵坐标值，则筛除该特征点对；S52：遍历每一对特征点对，若特征点对中两点之间的斜率绝对值小于斜率阈值，则筛除该特征点对；S53：对所有重叠的特征点对，利用soft_nms算法进行筛选，剔除iou>iou阈值的特征点对；S54：遍历每一对特征点对，若特征点对的置信度未大于置信度阈值，则将其筛除。本专利技术相对于现有技术而言，具有以下有益效果：1、本专利技术方法对数据标注工作量小，要求低。相对于目标检测的矩形框标注、语义分割精细区域标注，本专利技术只使用线段标注，其工作量大大减低。另外，相对于目标检测的矩形框预测、语义分割精细像素预测，其矩形框并不能够对倾斜角度大，长宽比例差距大的车道很好的预测其位置信息。而语义分割需对像素点逐个预测，交通场景复杂情况多变，标注数据少等是瓶颈问题。因此本专利技术方法提出一种只预测车道线两个端点的方法，并针对车道线的特殊性对端点特征点对组合分析，最终达到标注工作量小，要求低，预测速度快，预测准确的有益效果。2、本专利技术方法检测速度快、准确率高。实验使用2700张数本文档来自技高网...

【技术保护点】
1.一种交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤如下：/nS1：获取交通执法设备所拍摄的含有路口处车道线的违法图像数据集，且数据集的每张图像中均预先对车道线的两个端点进行标注；/nS2：对违法图像数据集中的每张违法图像及其对应的标注数据，依次进行预处理和数据增强，得到相同大小的输入数据；/nS3：构建用于车道线检测的卷积神经网络模型，所述卷积神经网络模型以Hourglass网络作为基础网络结构，其输入为归一化处理后的违法图像，在模型卷积神经网络最后一层得到5个通道，每个通道各自输出一个数值矩阵，分别为车道线上端点热图、车道线下端点热图、车道线中心端点热图、车道线上端点偏移量和车道线下端点偏移量；所述卷积神经网络模型的总损失函数为5个通道的输出结果损失之和；/nHourglass网络的输出经过卷积和激活后，在卷积神经网络模型的最后一层得到5个通道，每个通道各自输出一个数值矩阵/nS4：将S2的输入数据中的违法图像进行归一化处理后，转换为数值矩阵并输入所述卷积神经网络模型中，输出所述5个通道的数值矩阵；同时将S2的输入数据中的标注数据转换为所述5个通道输出结果的真值标签，一并输入所述卷积神经网络模型中；通过最小化总损失函数对卷积神经网络模型进行训练，直至模型收敛；/nS5：将待检测的违法图像进行与S2中相同的预处理后，输入S4中训练完毕的卷积神经网络模型中，得到5个通道输出的数值矩阵，分别从车道线上端点热图、车道线下端点热图中提取符合车道线端点阈值范围的特征点，并将提取到的上端点特征点和下端点特征点两两组合得到若干特征点对，对所有特征点对进行异常值筛除，得到满足车道线分布规律的最终特征点对；以每一对最终特征点对作为车道线的两个端点，在图像中确定一条车道线。/n...

【技术特征摘要】
1.一种交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤如下：
S1：获取交通执法设备所拍摄的含有路口处车道线的违法图像数据集，且数据集的每张图像中均预先对车道线的两个端点进行标注；
S2：对违法图像数据集中的每张违法图像及其对应的标注数据，依次进行预处理和数据增强，得到相同大小的输入数据；
S3：构建用于车道线检测的卷积神经网络模型，所述卷积神经网络模型以Hourglass网络作为基础网络结构，其输入为归一化处理后的违法图像，在模型卷积神经网络最后一层得到5个通道，每个通道各自输出一个数值矩阵，分别为车道线上端点热图、车道线下端点热图、车道线中心端点热图、车道线上端点偏移量和车道线下端点偏移量；所述卷积神经网络模型的总损失函数为5个通道的输出结果损失之和；
Hourglass网络的输出经过卷积和激活后，在卷积神经网络模型的最后一层得到5个通道，每个通道各自输出一个数值矩阵
S4：将S2的输入数据中的违法图像进行归一化处理后，转换为数值矩阵并输入所述卷积神经网络模型中，输出所述5个通道的数值矩阵；同时将S2的输入数据中的标注数据转换为所述5个通道输出结果的真值标签，一并输入所述卷积神经网络模型中；通过最小化总损失函数对卷积神经网络模型进行训练，直至模型收敛；
S5：将待检测的违法图像进行与S2中相同的预处理后，输入S4中训练完毕的卷积神经网络模型中，得到5个通道输出的数值矩阵，分别从车道线上端点热图、车道线下端点热图中提取符合车道线端点阈值范围的特征点，并将提取到的上端点特征点和下端点特征点两两组合得到若干特征点对，对所有特征点对进行异常值筛除，得到满足车道线分布规律的最终特征点对；以每一对最终特征点对作为车道线的两个端点，在图像中确定一条车道线。


2.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S2中，所述预处理方法为：对每张违法图像进行灰度化处理，将其转换为灰度图像；然后将灰度图像进行二值化处理，使图像中的单个像素由0或255表示，形成黑白图像。


3.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S2中，所述数据增强的方法为：将预处理后的违法图像缩放至512*512大小的图像中，并对其图像四周的空值区域进行填充；通过图像翻转、改变图像对比度或改变图像亮度进行调整，扩增新的图像样本。


4.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S3中，输入所述卷积神经网络模型的违法图像，均需要预先除以255以进行归一化处理，保证数据值在0-1之间。


5.如权利要求1所述的交通执法影像中基于AI技术的车道线自动检测方法，其特征在于，步骤S3中，车道线上端点热图、车道线下端点热图和车道线中心端点热图的损失采用二分类交叉熵损失，车道线上端点偏移量和车道线下端点偏移量的损失采用...

【专利技术属性】
技术研发人员：李万清，刘俊，林永杰，袁友伟，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33