用于自动驾驶系统的障碍物定位方法及装置制造方法及图纸

本发明专利技术公开了一种用于自动驾驶系统的障碍物定位方法及装置，障碍物定位方法包括：步骤S1：对双目相机采集的图像数据进行预处理；步骤S2：根据预处理后的图像数据获得每一车道线像素的视差值；步骤S3：对车道线像素的视差值进行拟合获得多个车道线，并对多个车道线进行增强；步骤S4：通过搜索获得的障碍物两侧的车道线及图像数据获得障碍物的深度信息。

【技术实现步骤摘要】
用于自动驾驶系统的障碍物定位方法及装置
本专利技术涉及一种障碍物定位方法及装置，具体地说，尤其涉及一种用于自动驾驶系统的障碍物定位方法及装置。
技术介绍
近一个多世纪来，汽车的出现取代了传统交通运输方式，使得人们的生活更为便捷。近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。麦肯锡发布的“决定未来经济的12项前沿技术”报告探讨了12项前沿技术对未来经济、社会的影响程度，分析估测了2025年12项技术各自的经济与社会影响力，其中自动驾驶汽车技术排在第6位，其2025年影响力估测为：经济效益每年约0。2-1。9万亿美元，社会效益每年可挽回3-15万个生命。通常，自动驾驶汽车的系统一般分为三个模块，一是感知模块，相当于人的眼睛，通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态，二是决策模块，相当于人的大脑，根据环境状态计算出最优的驾驶决策规划，三是执行模块，相当于人的手与脚，用于执行决策命令，进行油门、刹车、转向等相应的驾驶操作。感知模块是自动驾驶系统的一个重要模块，没有可靠的感知模块，就无法实现安全的自动驾驶系统。而在感知模块中，双目是一个重要的设备装置，双目不仅具备单目的功能，还能提供距离信息。双目设备已经逐渐成为自动驾驶系统中一个不可或缺的传感器。实时、可靠、稳定的距离信息是感知模块的一个重要保证。没有准确和平滑的距离信息，感知就无法稳定给出可靠的障碍物距离速度等信息。双目测距是一种通过计算双目采集的左图和右图的位置差异的视觉测距算法。传统双目视测距方法首先需要计算视差图。然后根据视差图计算图片上点的3D坐标。双目视差图计算包括代价计算，代价聚合，视差图计算，视差图提精4个步骤。传统方法受限于匹配效果，对于遮挡区域处理不好。此外，当应用于高分辨率图像时，处理延时迅速增加，无法实时生成视差图。近年来随着深度学习技术的发展，传统双目测距算法也得到了快速的发展，目前发展了很多基于深度学习的视觉算法，但是目前基于深度学习的双目测距算法并没有超出传统双目测距算法的流程，只是将其中一些步骤做了些改进，由于视差图真值难以获得，深度学习的双目测距模型缺乏训练数据，许多模型容易过拟合到特定的相机，泛化性较弱。此外现在深度学习模型网络层数高，模型复杂，实时性差，仍无法应用到实际中。得到视差图之后，就是计算目标的深度信息。通常在计算目标的深度信息时，将目标矩形框的平均深度信息作为目标的深度信息。但是在实际中由于障碍物的矩形框通常会包含很多背景区域，这就会影响实际目标的距离测量，使得实际得到的目标距离充满噪声，所以实际中计算得到的障碍物距离信息多会出现抖动，不平滑，甚至有时无法测量处距离信息。这难以满足自动驾驶的需求。在获得目标的深度之后，通常还需要知道目标所在的车道信息。目前对于所在车道信息的处理方式有两种。一是在分别检测障碍物位置和车道线信息后，然后结合地图的方式来判断车辆所属车道。这种方式分别估计车道线和目标距离，然后在3D空间中对齐两者的方法。由于障碍物3D位置充满噪声，所以难以直接利用3D坐标去分配车道线。二是在图像上分配障碍物所属车道，这就需要得到一个比较好的车道线检测信息。但是往往由于车道线容易受遮挡，就难以得到比较稳定的结果。此外，这类方法仍旧面临着如何准确测量障碍物的3D坐标。因此急需开发一种克服上述缺陷的用于自动驾驶系统的障碍物定位方法及装置。
技术实现思路
本专利技术所要解决的技术问题在于提供一种用于自动驾驶系统的障碍物定位方法，其中，包括：步骤S1：对双目相机采集的图像数据进行预处理；步骤S2：根据预处理后的所述图像数据获得每一车道线像素的视差值；步骤S3：对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；步骤S4：通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。上述的障碍物定位方法，其中，于所述步骤S1中包括：对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。上述的障碍物定位方法，其中，于所述步骤S2中包括：步骤S21：根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；步骤S22：通过所述透视投影变换矩阵将所述第一图像数据及所述第二图像数据的视角变换为俯仰视角；步骤S23：将变换为俯仰视角的所述第一图像数据及所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；步骤S24：计算n段内每一车道线像素点深度值；步骤S25：根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。上述的障碍物定位方法，其中，于所述步骤S3中包括：步骤S31：根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；步骤S32：根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；步骤S33：根据车道线增强模型延长每一车道线至指定距离；步骤S34：确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线；步骤S35：将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。上述的障碍物定位方法，其中，于所述步骤S4中包括：步骤S41：选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；步骤S42：根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。本专利技术还提供一种用于自动驾驶系统的障碍物定位装置，其中，包括：双目相机，用以提供图像数据；预处理单元，对所述双目相机采集的图像数据进行预处理；视差值获得单元，根据预处理后的所述图像数据获得每一车道线像素的视差值；车道线处理单元，对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；深度信息获得单元，通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。上述的障碍物定位装置，其中，所述预处理单元对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。上述的障碍物定位装置，其中，所述视差值获得单元包括：透视投影变换矩阵获得模块，根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；视角变换模块，通过所述透视投本文档来自技高网...

【技术保护点】
1.一种用于自动驾驶系统的障碍物定位方法，其特征在于，包括：/n步骤S1：对双目相机采集的图像数据进行预处理；/n步骤S2：根据预处理后的所述图像数据获得每一车道线像素的视差值；/n步骤S3：对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；/n步骤S4：通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。/n

【技术特征摘要】
1.一种用于自动驾驶系统的障碍物定位方法，其特征在于，包括：
步骤S1：对双目相机采集的图像数据进行预处理；
步骤S2：根据预处理后的所述图像数据获得每一车道线像素的视差值；
步骤S3：对所述车道线像素的视差值进行拟合获得多个车道线，并对多个所述车道线进行增强；
步骤S4：通过搜索获得的障碍物两侧的所述车道线及所述图像数据获得所述障碍物的深度信息。


2.如权利要求1所述的障碍物定位方法，其特征在于，于所述步骤S1中包括：对所述双目相机采集的第一图像数据或第二图像数据通过双目校准矩阵矫正，并对所述第一图像数据或所述第二图像数据中的障碍物进行识别并标记检测矩形框。


3.如权利要求2所述的障碍物定位方法，其特征在于，于所述步骤S2中包括：
步骤S21：根据所述双目相机的安装高度和安装角度获得BEV视角的透视投影变换矩阵；
步骤S22：通过所述透视投影变换矩阵将所述第一图像数据及所述第二图像数据的视角变换为俯仰视角；
步骤S23：将变换为俯仰视角的所述第一图像数据及所述第二图像数据按照BEV视角图像的高度切分成n段，其中n为大于1的正整数；
步骤S24：计算n段内每一车道线像素点深度值；
步骤S25：根据i+1段的深度值获得视差范围，根据所述视差范围在未标记检测矩形框的所述第二图像数据或所述第一图像数据中搜索最佳匹配点，然后根据视差计算公式得到每一车道线像素的视差值，其中i取值[n-1，1]。


4.如权利要求3所述的障碍物定位方法，其特征在于，于所述步骤S3中包括：
步骤S31：根据每一车道线像素的视差值恢复得到每一车道线像素的3D位置坐标；
步骤S32：根据每一车道线像素的3D位置坐标通过拟合获得多个车道线；
步骤S33：根据车道线增强模型延长每一车道线至指定距离；
步骤S34：确定当前所在车道的左侧车道线及右侧车道线，生成N条等距平行的3D车道线；
步骤S35：将所述3D车道线根据投影矩阵投影到标记检测矩形框的所述第一图像数据或所述第二图像数据上，并对每一3D车道线进行编号。


5.如权利要求4所述的障碍物定位方法，其特征在于，于所述步骤S4中包括：
步骤S41：选取每一障碍物的检测矩形框的底部中点，从底部中点出发向左查找第一个车道线点，从底部中点出发向右查找第二个车道线点，根据所述第一个车道线点及所述第二个车道线点所属车道线的编号，获得障碍物所在车道；
步骤S42：根据所述第一个车道线点及所述第二个车道线点的3D坐标位置获得底部中点的3D坐标位置，并经过双目校准矩阵获得底部中点的最终的3D坐标位置。


6.一种用于自动驾驶系统的障碍物定位...

【专利技术属性】
技术研发人员：陈安，崔迪潇，江志浩，龚伟林，
申请(专利权)人：苏州智加科技有限公司，
类型：发明
国别省市：江苏;32