一种无人机场景的实时虚车道线轮廓自动提取方法技术

一种无人机场景的实时虚车道线轮廓自动提取方法，首先使用深度学习的车道线检测网络实现车道线中心的若干像素点表征，接着基于色度特征差异，使用多层感知机MLP机器学习的方法实现每条车道线的虚实分类，然后基于单条虚车道线，使用LSD线段检测算法实现虚车道线区域图像内线段端点的提取，接着通过斜率筛选确定虚车道线线段端点，最后经过点与线的关系判别及y坐标高低实现线段端点所属虚车道线线段的准确定位。本发明专利技术实现无人机巡航下虚车道线轮廓的实时自动提取。轮廓的实时自动提取。轮廓的实时自动提取。

【技术实现步骤摘要】
一种无人机场景的实时虚车道线轮廓自动提取方法


[0001]本专利技术属于智能视频图像处理
，涉及无人机监测，为一种无人机场景的实时虚车道线轮廓自动提取方法。

技术介绍

[0002]无人机凭借着高机动性、高灵活性、拍摄范围广等优点正逐渐成为道路智能巡检新的有效方式。区别于固定道路摄像头，无人机巡航最大的特点在于其动态性，由此也给智能化检测带来了一定的困难。
[0003]道路智能巡检中的车速智能测算、异常停车行为的智能抓拍等功能均依赖相机标定以获取车辆行驶的实际物理距离，进而判断车辆的行为状态。固定摄像机拍摄画面中易通过选取固定参照物或人为提取虚车道线线段端点的坐标信息实现相机标定，而无人机道路巡航下无固定参照物，大都借助已知的车道线规范，结合虚车道线的精准线段端点坐标信息以实现相机标定。但无人机道路巡航多为动态飞行，车道线不断变动，要求虚车道线轮廓提取方法有较高准确率的同时也有着较快的检测速度。虽已有霍夫变换直线检测、Canny边缘检测等线段检测方法，但均无法兼顾提取准确率和提取速度。同时自动驾驶领域虽已有SwiftLane、LaneFormer等较快速的车道线检测方法，但其均局限于车道线检测，无法实现车道线检测、虚实车道线分类、虚车道线轮廓提取的实时全流程自动化，同时场景与无人机道路巡航场景有着很大的差异，无法适用。

技术实现思路

[0004]本专利技术要解决的问题是：固定摄像机拍摄画面中虚车道线固定，只需提前人为获取虚车道线线段端点坐标信息即可实现相机标定。而无人机道路巡航下虚车道线不断变动，现有技术无法在兼顾提取准确率和提取速度的同时，实现虚车道线检测、虚实线分类、虚车道线轮廓提取的全流程自动化。
[0005]本专利技术的技术方案为：一种无人机场景的实时虚车道线轮廓自动提取方法，在无人机巡航场景下实时识别虚车道线并提取虚车道线的轮廓，无人机沿道路与车辆同方向或相反方向巡航拍摄，包括以下步骤：
[0006]Step1:使用OpenCV开源工具读取无人机实时拍摄的道路视频流，并对读取的视频帧图像做尺寸归一化、标准化预处理；
[0007]Step2：训练一个深度学习网络作为车道线检测网络，使用车道线检测网络进行车道线检测，获得表征每条车道线中心的m个像素点坐标信息；
[0008]Step3：基于车道线中心像素点坐标信息和色度特征差异，通过多层感知机MLP网络对每条车道线进行虚实分类，对得到的虚车道线运用最小二乘法进行中心拟合，得到虚车道线的直线方程，以所得直线左右扩展k个像素，截取直线所在区域的图像；
[0009]Step4：对Step3截取的图像灰度化处理，基于LSD线段检测算法进行线段端点的提取，得到若干线段的端点坐标信息，并依据虚车道线的线段两侧边缘斜率绝对值均大于1的
条件，滤除不满足条件的线段；
[0010]Step5：依据Step4所得虚车道线线段端点与Step3所得虚车道线中心直线方程的点线关系，区分虚线段左侧和右侧的端点，依据像素点的y坐标信息定位端点所属虚车道线线段，得到虚车道线线段的端点，用于虚车道线轮廓的标记。
[0011]本专利技术实现无人机巡航下虚车道线轮廓的实时自动提取。针对无人机巡航下车道线不断变动，现有技术无法在兼顾提取准确率和提取速度的同时，实现虚车道线检测、虚实线分类、虚车道线轮廓提取的全流程自动化这一问题。本专利技术设计了车道线中心像素点色彩强度值与该条车道线所有中心像素点色彩强度平均值的差值作为特征值的MLP机器学习方法，实现了快速且准确的车道线虚实线分类。基于车道线的虚实分类结果，本专利技术进一步针对单条虚车道线，设计了综合LSD线段检测和多种决策判断条件的虚车道线线段端点精准定位算法，实现了具有较高处理速度和较高准确率的端点定位能力。
附图说明
[0012]图1为本专利技术一种无人机场景的实时虚车道线轮廓自动提取方法流程图。
[0013]图2为本专利技术应用于真实无人机场景下的虚车道线轮廓自动提取实施效果图。
具体实施方式
[0014]下面结合附图说明本专利技术的具体实施。本专利技术要求无人机沿着道路，与车辆同方向或相反方向巡航飞行，采集道路视频时使车道线在图像中尽量垂直，具体方案流程如图1所示。
[0015]Step1:使用OpenCV开源工具读取无人机实时拍摄道路视频流，并对读取的图像做尺寸归一化、标准化预处理。
[0016]Step2：使用车道线检测网络进行车道线检测，可获得表征每条车道线中心的m个像素点坐标信息。所述车道线检测网络包括但不限于UltraLane、PolyLaneNet等深度学习方法，但需保证其有超快的检测速度和较高的检测准确率，检测速度和准确率要求在算力为6.1的显卡配置下分别不低于100FPS和90％。
[0017]Step2.1：基于无人机拍摄道路场景的视频画面标注车道线数据集，提前训练车道线检测网络，可得到相应的权重模型；
[0018]Step2.2：基于Step2.1得到的训练权重模型，将实时采集的无人机拍摄图像输入车道线检测网络，可得到表征每条车道线中心的若干像素点坐标信息。
[0019]Step3：基于车道线中心像素点坐标信息和色度特征差异，通过多层感知机MLP网络对每条车道线进行虚实分类，对得到的虚车道线，运用最小二乘法进行中心拟合，得到虚车道线的直线方程，以所得直线左右扩展k个像素，例如分别向左向右扩展10个像素点所得的图像区域，截取直线所在区域的图像，得到虚车道线的图像。本专利技术为一种实时处理方案，并且是为了相机标定才需要提取确定虚车道线轮廓，因此处理一条虚车道线即可满足需求。若需提取多条虚车道线轮廓，对各条虚车道线中心的像素点坐标进行线性拟合并重复后续操作即可。
[0020]Step3.1：为了突出虚车道线与实车道线的色度特征差异，针对每条车道线，该条车道线的每个中心像素点色彩强度值与该条车道线所有中心像素点色彩强度平均值差值
的集合作为特征值，如下式所示，式中x
i
为像素点色彩强度值，i从1到m表示组成车道线中心的m个像素点，本实施例取m＝40，y
i
为单个车道线中心像素点的差值，40个车道线中心像素点的差值集合Y构成此条车道线的特征值；
[0021][0022]Y＝[y1,y2,
……
,y
40
][0023]Step3.2：基于已知车道线虚实信息的无人机拍摄道路视频制作机器学习分类数据集，提前训练MLP车道线虚实分类网络，可得到相应的权重模型；
[0024]Step3.3：依据Step2所得车道线中心像素点坐标信息，按照Step3.1公式可得所需特征信息，输入MLP车道线虚实分类网络，可得每条车道线的虚实线信息；
[0025]Step3.4：选取图像中的一条虚线，如图2所示实施例中的左侧第一条虚线，对所有表征该条车道线中心的40个像素点进行最小二乘法拟合，可得该车道线的直线方程，并截取直线所在区域图像。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机场景的实时虚车道线轮廓自动提取方法，其特征是在无人机巡航场景下实时识别虚车道线并提取虚车道线的轮廓，无人机沿道路与车辆同方向或相反方向巡航拍摄，包括以下步骤：Step1:使用OpenCV开源工具读取无人机实时拍摄的道路视频流，并对读取的视频帧图像做尺寸归一化、标准化预处理；Step2：训练一个深度学习网络作为车道线检测网络，使用车道线检测网络进行车道线检测，获得表征每条车道线中心的m个像素点坐标信息；Step3：基于车道线中心像素点坐标信息和色度特征差异，通过多层感知机MLP网络对每条车道线进行虚实分类，对得到的虚车道线，运用最小二乘法进行中心拟合，得到虚车道线的直线方程，以所得直线左右扩展k个像素，截取直线所在区域的图像；Step4：对Step3截取的图像灰度化处理，基于LSD线段检测算法进行线段端点的提取，得到若干线段的端点坐标信息，并依据虚车道线的线段两侧边缘斜率绝对值均大于1的条件，滤除不满足条件的线段；Step5：依据Step4所得虚车道线线段端点与Step3所得虚车道线中心直线方程的点线关系，区分虚线段左侧和右侧的端点，依据端点像素点的y坐标信息定位端点所属虚车道线线段，得到虚车道线线段的端点，用于虚车道线轮廓的标记。2.根据权利要求1所述的一种无人机场景的实时虚车道线轮廓自动提取方法，其特征是Step2具体为：Step2.1：基于无人机拍摄道路场景的视频画面标注车道线数据集，训练深度学习网络，得到相应的权重，即车道线检测网络；所述深度学习网络包括UltraLane、PolyLaneNet，检测速度和准确率要求在算力为6.1的显卡配置下分别不低于100FPS和90％；Step2.2：基于Step2.1得到的车道线检测网络，输入实时采集的无人机拍摄图像，得到m个表征每条车道线中心的像素点坐标信息。3.根据权利要求1所述的一种无人机场景的实时虚车道线轮廓自动提取方法，其特征是Step3具体为：Step3.1：为了突出虚车道线与实车道线的色度特征差异，针对每条车道线，该条车道线的每个中心像素点色彩强度值与该条车道线所有中心像素点色彩强度平均值差值的集合作为特征值，如下式所示，式中x
i

【专利技术属性】
技术研发人员：阮雅端，孟凡泽，李佳勋，陈启美，
申请(专利权)人：南京大学，
类型：发明
国别省市：