交通非现场的基于AI技术的斑马线区域自动检测方法技术

本发明专利技术公开了一种交通非现场的基于AI技术的斑马线自动检测方法，属于图像识别领域。本发明专利技术以Darknet‑53网络作为骨架网络构建斑马线识别模型，模型输入为包含斑马线的图片，Darknet‑53网络从输入的图片中提取3种尺寸的特征图，并通过9个不同尺寸的锚框进行多尺度目标检测，输出图片中每条斑马线的边界框数据，最终边界框数据包括边界框中心点坐标、边界框宽度、边界框高度、第一斜率、第二斜率、目标类别和置信度，通过斜率即可将边界框转换为斑马线。本发明专利技术即使在复杂多变的场景中，也可以有效准确的识别出斑马线，而且识别速度大大快于人工识别。

【技术实现步骤摘要】
交通非现场的基于AI技术的斑马线区域自动检测方法
本专利技术属于图像识别领域，具体涉及一种交通非现场的基于AI技术的斑马线自动检测方法。
技术介绍
斑马线检测技术早有人研究，但现有技术大多都是基于传统图像处理方法，比如通过Canny算法进行边缘检测，然后使用Hough变换提取直线，最后根据提取到的直线来进行斑马线的识别。但这种方法对图像要求较高，光照、行人、车辆、恶劣天气都会对其造成影响，局限性较强，无法应付复杂的交通场景。近些年来，随着交通设施和违法抓拍系统的健全，在一定程度上减少了交通事故的发生。但是其违法数据都是由人工筛选，分类出违法、不违法数据。其数据量庞大，人工效率低，因此需要交通违法行为的二次检测方法来帮助人工缓解压力。而要进行礼让行人的违法检测，斑马线的检测是必不可少的。本文针对的场景是交通执法二次违法检测中的斑马线检测。由于实际交通场景复杂多变，传统图像方法无法有效处理，因此亟需一种即使在复杂多变的场景中也可以有效准确的识别出斑马线的检测方法。
技术实现思路
本专利技术的目的在于解决现有技术中存在的问题，并提供一种交通非现场的基于AI技术的斑马线自动检测方法。本专利技术所采用的具体技术方案如下：一种交通非现场的基于AI技术的斑马线区域自动检测方法，其步骤如下：S1、获取由包含斑马线的图片样本组成的训练数据集，每一张图片样本均包含标注，所述标注包括图片中每一条斑马线的中心线两端端点坐标以及目标类别；以每一条斑马线的中心线两端端点作为对角顶点形成一个标注框；r>S2、以Darknet-53网络作为骨架网络构建斑马线识别模型，模型输入为包含斑马线的图片，Darknet-53网络从输入的图片中提取3种尺寸的特征图，并通过9个不同尺寸的锚框进行多尺度目标检测，输出图片中每条斑马线的边界框数据，所述边界框数据包括边界框中心点坐标、边界框宽度、边界框高度、第一斜率、第二斜率、目标类别和置信度；所述第一斜率和第一斜率均以设定阈值为基准二值化为0或1，第一斜率为1且第二斜率为0表示该边界框中的斑马线位于边界框的主对角线上，第一斜率为0且第二斜率为1表示该边界框中的斑马线位于边界框的副对角线上；S3、利用所述训练数据集，通过最小化总损失函数对斑马线识别模型进行训练，所有样本的标注预先通过维度聚类，获得所述9个不同尺寸的锚框；所述总损失函数为边界框损失、置信度和类别损失的加权和，且所述边界框损失包含边界框中心坐标误差、边界框宽度误差、边界框高度误差、第一斜率误差和第二斜率误差；S4、将含有斑马线的待识别图片输入训练后的所述斑马线识别模型中，得到待识别图片中每条斑马线的边界框数据；S5、针对S4中得到的待识别图片内每条斑马线的边界框数据，根据其中的第一斜率和第二斜率确定斑马线所在的边界框对角线，然后将边界框的中心点坐标、宽度和高度进行坐标变换，得到斑马线所在的边界框对角线的两个顶点坐标，作为边界框中斑马线的两个端点坐标；S6、对待识别图片中所有斑马线每一侧的端点进行多项式拟合，得到分别贴合斑马线区域上边缘和下边缘的两条横线，然后将两条横线与待识别图片中位于最左侧和最右侧的两条斑马线所在直线进行围合，得到一个四边形区域作为待识别图片中的斑马线区域。作为优选，所述维度聚类采用改进k-means聚类，通过计算标注框之间的距离d来找到9个聚类中心，以获取最佳覆盖锚框：d(box,centroid)＝1-IOU(box,centroid)其中：d表示后面二者之间的距离，box代表标注框，centroid代表聚类中心，IOU是计算标注框和聚类中心的交并比。作为优选，所述斑马线识别模型中，Darknet-53网络从输入的图片中提取的3种尺寸的特征图大小分别为：(13*13),(26*26),(52*52)，每个特征图都有N*N个网格，N对应每个特征图的大小，N＝13或26或52；所述9个不同尺寸的锚框按大小排序后分为三组，最大的三个锚框为一组，最小的三个锚框为一组，中间的三个锚框为一组，每一组锚框分别对应一个特征图，分别用于预测大、中、小三种尺寸的斑马线。作为优选，在模型训练过程中，单个图片样本的所述总损失函数为：loss＝lbox+lobj+lcls其中lbox代表边界框带来的损失，lobj代表置信度带来的损失，lcls代表类别带来的损失；且式中，λcoord为lbox的权重系数，S代表网格大小，3种尺寸特征图的S2分别代表13×13，26×26，52×52；B代表S2对应的锚框box，表示如果在i,j处的box有目标，其值为1，否则为0；xi、yi、wi、hi分别代表第i个网格标注框的中心横坐标、中心纵坐标、宽度和高度；t1i、t1i分别代表第i个网格标注框的第一斜率、第二斜率；分别代表模型预测第i个网格的横坐标、纵坐标、宽度、高度、第一斜率和第二斜率；式中，λnoobj表示lobj的权重系数，λobj表示找到目标导致的损失在lobj中的权重系数；用于表示在i,j处的box是否存在目标，如果在i,j处的box没有目标，其值为1，否则为0；ci代表第i个网格标注框的置信度，代表模型预测第i个网格的置信度；式中，λclass表示lcls的权重系数；pi(cls)代表标注中第i个网格类别的概率，代表模型预测的第i个网格类别的概率。作为优选，所述图片样本为路口监控摄像头拍摄到的车辆不礼让行人违章时的包含斑马线的图片。作为优选，每个图片样本的标注内容为(c,x1,y1,x2,y2)，c代表线的类别，(x1,y1)代表一条斑马线中位于中心点左侧的端点坐标，(x2,y2)代表一条斑马线中位于中心点右侧的端点坐标。作为优选，所述权重系数λcoord，λnoobj，λobj，λclass均设为1。作为优选，所述斑马线识别模型中，用于二值化第一斜率和第一斜率值的设定阈值为0.5，高于0.5的斜率置为1，不高于0.5的斜率置为0。作为优选，所述S5中，若斑马线位于边界框的主对角线上，坐标变换由以下公式实现：若斑马线位于边界框的副对角线上，坐标变换由以下公式实现：其中，(x,y)为边界框中心点坐标，w为边界框宽度，h为边界框高度。作为优选，所述多项式拟合时，端点拟合公式如下：y＝kx+b其中，k为直线的斜率，b为截距。本专利技术相对于现有技术而言，具有以下有益效果：1.抗干扰能力强。现有的图像处理方法提取斑马线，要求天气好，干扰少，斑马线要明显，极易受复杂的交通环境干扰。本专利技术方法即使在复杂的交通场景下，也可以有效又准确的提取出斑马线。2.速度快，准确率高。本方法训练集1000张，在测试集500张图片中，预测准确率达到490张，准确率高达98％，检测速度达到30FPS，可以进行实时检测。3.节省人力，提高效率。使用本方法，可以省去不必要的人力标注，节省人工费用，还可以本文档来自技高网...

【技术保护点】
1.一种交通非现场的基于AI技术的斑马线区域自动检测方法，其特征在于，步骤如下：/nS1、获取由包含斑马线的图片样本组成的训练数据集，每一张图片样本均包含标注，所述标注包括图片中每一条斑马线的中心线两端端点坐标以及目标类别；以每一条斑马线的中心线两端端点作为对角顶点形成一个标注框；/nS2、以Darknet-53网络作为骨架网络构建斑马线识别模型，模型输入为包含斑马线的图片，Darknet-53网络从输入的图片中提取3种尺寸的特征图，并通过9个不同尺寸的锚框进行多尺度目标检测，输出图片中每条斑马线的边界框数据，所述边界框数据包括边界框中心点坐标、边界框宽度、边界框高度、第一斜率、第二斜率、目标类别和置信度；所述第一斜率和第一斜率均以设定阈值为基准二值化为0或1，第一斜率为1且第二斜率为0表示该边界框中的斑马线位于边界框的主对角线上，第一斜率为0且第二斜率为1表示该边界框中的斑马线位于边界框的副对角线上；/nS3、利用所述训练数据集，通过最小化总损失函数对斑马线识别模型进行训练，所有样本的标注预先通过维度聚类，获得所述9个不同尺寸的锚框；所述总损失函数为边界框损失、置信度和类别损失的加权和，且所述边界框损失包含边界框中心坐标误差、边界框宽度误差、边界框高度误差、第一斜率误差和第二斜率误差；/nS4、将含有斑马线的待识别图片输入训练后的所述斑马线识别模型中，得到待识别图片中每条斑马线的边界框数据；/nS5、针对S4中得到的待识别图片内每条斑马线的边界框数据，根据其中的第一斜率和第二斜率确定斑马线所在的边界框对角线，然后将边界框的中心点坐标、宽度和高度进行坐标变换，得到斑马线所在的边界框对角线的两个顶点坐标，作为边界框中斑马线的两个端点坐标；/nS6、对待识别图片中所有斑马线每一侧的端点进行多项式拟合，得到分别贴合斑马线区域上边缘和下边缘的两条横线，然后将两条横线与待识别图片中位于最左侧和最右侧的两条斑马线所在直线进行围合，得到一个四边形区域作为待识别图片中的斑马线区域。/n...

【技术特征摘要】
1.一种交通非现场的基于AI技术的斑马线区域自动检测方法，其特征在于，步骤如下：
S1、获取由包含斑马线的图片样本组成的训练数据集，每一张图片样本均包含标注，所述标注包括图片中每一条斑马线的中心线两端端点坐标以及目标类别；以每一条斑马线的中心线两端端点作为对角顶点形成一个标注框；
S2、以Darknet-53网络作为骨架网络构建斑马线识别模型，模型输入为包含斑马线的图片，Darknet-53网络从输入的图片中提取3种尺寸的特征图，并通过9个不同尺寸的锚框进行多尺度目标检测，输出图片中每条斑马线的边界框数据，所述边界框数据包括边界框中心点坐标、边界框宽度、边界框高度、第一斜率、第二斜率、目标类别和置信度；所述第一斜率和第一斜率均以设定阈值为基准二值化为0或1，第一斜率为1且第二斜率为0表示该边界框中的斑马线位于边界框的主对角线上，第一斜率为0且第二斜率为1表示该边界框中的斑马线位于边界框的副对角线上；
S3、利用所述训练数据集，通过最小化总损失函数对斑马线识别模型进行训练，所有样本的标注预先通过维度聚类，获得所述9个不同尺寸的锚框；所述总损失函数为边界框损失、置信度和类别损失的加权和，且所述边界框损失包含边界框中心坐标误差、边界框宽度误差、边界框高度误差、第一斜率误差和第二斜率误差；
S4、将含有斑马线的待识别图片输入训练后的所述斑马线识别模型中，得到待识别图片中每条斑马线的边界框数据；
S5、针对S4中得到的待识别图片内每条斑马线的边界框数据，根据其中的第一斜率和第二斜率确定斑马线所在的边界框对角线，然后将边界框的中心点坐标、宽度和高度进行坐标变换，得到斑马线所在的边界框对角线的两个顶点坐标，作为边界框中斑马线的两个端点坐标；
S6、对待识别图片中所有斑马线每一侧的端点进行多项式拟合，得到分别贴合斑马线区域上边缘和下边缘的两条横线，然后将两条横线与待识别图片中位于最左侧和最右侧的两条斑马线所在直线进行围合，得到一个四边形区域作为待识别图片中的斑马线区域。


2.如权利要求1所述的交通非现场的基于AI技术的斑马线区域自动检测方法，其特征在于，所述维度聚类采用改进k-means聚类，通过计算标注框之间的距离d来找到9个聚类中心，以获取最佳覆盖锚框：
d(box,centroid)＝1-IOU(box,centroid)
其中：d表示后面二者之间的距离，box代表标注框，centroid代表聚类中心，IOU是计算标注框和聚类中心的交并比。


3.如权利要求1所述的交通非现场的基于AI技术的斑马线区域自动检测方法，其特征在于，所述斑马线识别模型中，Darknet-53网络从输入的图片中提取的3种尺寸的特征图大小分别为：(13*13),(26*26),(52*52)，每个特征图都有N*N个网格，N对应每个特征图的大小，N＝13或26或52；所述9个不同尺寸的锚框按大小排序后分为三组，最大的三个锚框为一组，最小的三个锚框为一组，中间的三个锚框为一组，每一组锚框分别对应一个特征图，分别用于预测大、中、小三种尺寸的斑马线。


4.如权...

【专利技术属性】
技术研发人员：李万清，林永杰，刘俊，李华，袁友伟，俞东进，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33