基于语义分割的可行驶区域检测方法技术

本发明专利技术公开了基于语义分割的可行驶区域检测方法，其步骤：1）区域分割：对输入的原始图像进行分割，得到包含路面标签、移动目标标签、障碍物标签及背景标签的分割结果图像；2）区域像素扫描：对分割后的图像进行扫描，逐列扫描，找到每列的关键点对，即像素列中成对的道路边缘点；3）关键点提取：经过区域扫描，得到一对或多对关键点，确定具体的可行驶区域范围；4）反投影变换：将像素坐标系下的可行驶区域信息，通过反投影变换将像素位置还原到车辆坐标系下，得到基于语义分割的可行驶区域图像。本发明专利技术经过特定区域扫描，形成关键点对，再筛选出最终的可行驶区域边界，有效剔除了因检测引入的路面空白噪声。的路面空白噪声。的路面空白噪声。

【技术实现步骤摘要】
基于语义分割的可行驶区域检测方法


[0001]本专利技术涉及汽车智能驾驶车外视觉感知应用
，具体涉及基于语义分割的可行驶区域检测方法。

技术介绍

[0002]近年来，自动驾驶、智能辅助驾驶等技术逐渐成为汽车行业的研究热点，要发展此类技术，离不开行车场景车外环境感知技术的辅助支持。车外环境感知主要依靠雷达和摄像头两类传感器，相较于雷达，摄像头具有成本低、可探测信息丰富等优点。在ADAS视觉感知领域，静态场景信息的检测包括车道线、交通标识、道路标识及可行驶区域等。其中，可行驶区域为智能驾驶控制决策提供了避开各类障碍物的参考行驶区域，是重要的道路环境信息之一。
[0003]现有技术中，对可行驶区域的检测有相应的技术方案，如CN202010726575.7 可行驶区域判定的方法、智能驾驶系统和智能汽车，需要依赖多传感器协作，其感知设备有摄像头、红外感应器、化学检测器、麦克风、激光雷达以及相关速度角度传感器等，还包括全球定位系统(global positioning system,GPS)、惯性导航系统(inertial navigation system,INS)等定位装置，通过智能驾驶系统检测到当前可行驶区域后，再查询历史可行驶区域，将二者进行一定规则的叠加得到当前最终的可行驶区域。该方案硬件系统复杂，成本相对较高，应用中受到一定限制。
[0004]现有技术的另一方案，如CN202011478180.6 一种可行驶区域检测方法及装置，对单目摄像头采集的图片用神经网络模型进行推理，检测图像信息得到分割后的区域块，然后构建可行驶区域像素轮廓，此方案侧重于神经网络的结构设计，并未涉及如何得到具体的可行驶区域的像素边缘，若网络检测的结果存在一定误差，将对最终的可行驶区域检测精度造成影响。

技术实现思路

[0005]针对现有技术存在的上述不足，本专利技术的目的是提供一种基于语义分割的可行驶区域检测方法，适用于单目摄像头车外环境感知场景，能够实现提取经过语义分割后的图像上的道路可行驶区域信息；进一步还能够解决分割后的图像区域检测不准确（例如路面检测空洞）等问题。
[0006]本专利技术的技术方案是这样实现的：基于语义分割的可行驶区域检测方法，其特征在于包括如下步骤：1）区域分割：对输入的原始图像进行基于深度学习的语义分割或者基于传统算法的图像阈值分割，得到包含路面标签、移动目标标签、障碍物标签及背景标签等的分割结果图像；2）区域像素扫描：对分割后的图像进行扫描，逐列扫描，找到每列的关键点对，即像素列中成对的道路边缘点；
3）关键点提取：经过区域扫描，得到一对或多对关键点，确定具体的可行驶区域范围；4）反投影变换：将像素坐标系下的可行驶区域信息，通过反投影变换将像素位置还原到车辆坐标系下，得到基于语义分割的可行驶区域图像。
[0007]这样，本专利技术经过特定区域扫描，形成关键点对，再筛选出最终的可行驶区域边界，有效剔除了因检测引入的路面空白噪声；在对障碍物进行分类贴标签的前提下，本方法仅通过一次遍历就能够给出可行驶区域的动静属性，为后续控制决策提供了更多参考。
[0008]进一步的：还包括步骤的5）测试数据，对步骤4）得到的可行驶区域图像进行实际上路行驶检测。本专利技术筛选出最终的可行驶区域边界，再进行实际上路行驶检测，能不断更新迭代。
[0009]进一步的：所述障碍物标签的障碍物主要包括路桩、锥筒、水马、栅栏 。
[0010]进一步的：所述步骤2）的扫描操作，首先，在分割后的图像上设置一个扫描停止线；然后采用两个循环遍历下半部分图像，先是列，再是行，这样依次按列扫描。先设置一个扫描停止线，能够只对扫描停止线一下的区域扫描，节约扫描时间，提高效率。
[0011] 进一步的： 开始每列的扫描前，需要将该列的关键点对坐标缓存数组top和bottom全部值初始化为0，同时设置一个flag标签，初始值为1；然后从下至上开始扫描，当遇到路面标志物时将flag置为0，并在缓存数组中记录下该bottom点的像素坐标；分割图像识别了移动目标标签，将该属性也记录下来；当遇到背景标签、障碍物标签或者停止扫描线时，将flag置为1，记录下该点同列下一行像素点的位置坐标到top缓存数组中，到此一个关键点对已形成，需要将关键点对缓存数量加1。这样再扫描时能够更快、更准确得到每列的关键点对。
[0012]进一步的：所述扫描停止线位置是图像像素高度的一半，或是图像主点所在的位置，或者主点以下再多几行，保证最远距离需求即可。 进一步缩小扫描停止线的区域，能够只对扫描停止线一下的区域扫描，节约扫描时间，提高效率。
[0013]进一步的： 每扫描完一列，首先判断一下当前列的关键点对数量是否大于0；若关键点对数量等于0，说明该列不存在可行驶区域边界点；若关键点对数量等于1，取top点作为最终的输出，直接提取该关键点对的top点作为可行驶区域的像素边界；若关键点对数量大于1，则存在多对关键点。对扫描后可能存在的一个至多个关键点对进行说明和操作处理。
[0014]进一步的： 若存在多对关键点，这时候如果对路面的隔离带或者道路中央的栏杆、绿化带等做了分割标签，可以判断是检测存在误差导致路面有空洞区域，应输出隔离带或者道路中央的栏杆、绿化带所在位置最后一对关键点的top点坐标；如果未对隔离带或者道路中央的栏杆、绿化带做单独的分割标签，则需要根据像素距离判断此时的路面空洞是噪声还是隔离带，可以先遍历该列所有空洞，找到空洞长度最大值，对最大值进行判断，若该值不超过设定的自设阈值，可以认为全部空洞为检测误差，输出最上方关键点对的top点，作为可行驶区域像素边界；如果空洞长度最大值大于设定的自设阈值，说明该处是路中央隔离带，需要输出隔离带下方的关键点对的top点。
[0015]进一步的：遍历所有空洞时，对其两边的top点和bottom点通过反投影变换转到车辆坐标系下，再对纵向坐标取差值绝对值，同自设阈值做对比。
[0016]进一步的：在步骤4）中，选取车辆后轴中点对应的路面点为车辆坐标系原点，坐标变换采用接地点法，建立路面像素坐标与车辆物理坐标间的对应关系。这样，能够通过反投影变换，建立高精度的路面像素坐标与车辆物理坐标间的对应关系。
[0017]总之，本专利技术具有如下有益效果：1、本专利技术提出的检测方案在设备方面仅依靠一个单目摄像头就可以实现，具有操作简单成本较低的优点；算法方面，该方案对区域分割后的图像进行处理，但对分割方式没有限制，具有一定程度的普适性。
[0018]2、本专利技术经过特定区域扫描，形成关键点对，再筛选出最终的可行驶区域边界，有效剔除了因检测引入的路面空白噪声；在对障碍物进行分类贴标签的前提下，本方法仅通过一次遍历就能够给出可行驶区域的动静属性，为后续控制决策提供了更多参考。
[0019]3、本专利技术提出的可行驶区域扫描方法非常灵活，如果输入的场景图像分辨率较高，为节约运行时间提高效率，可对结果图像先进行降采样再做扫描处理，然后将可行驶区域像素边界还原到原始图像相应位置，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于语义分割的可行驶区域检测方法，其特征在于包括如下步骤：1）区域分割：对输入的原始图像进行基于深度学习的语义分割或者基于传统算法的图像阈值分割，得到包含路面标签、移动目标标签、障碍物标签及背景标签等的分割结果图像；2）区域像素扫描：对分割后的图像进行扫描，逐列扫描，找到每列的关键点对，即像素列中成对的道路边缘点；3）关键点提取：经过区域扫描，得到一对或多对关键点，确定具体的可行驶区域范围；4）反投影变换：将像素坐标系下的可行驶区域信息，通过反投影变换将像素位置还原到车辆坐标系下，得到基于语义分割的可行驶区域图像。2.根据权利要求1所述的基于语义分割的可行驶区域检测方法，其特征在于：还包括步骤的5）测试数据，对步骤4）得到的可行驶区域图像进行实际上路行驶检测。3.根据权利要求1所述的基于语义分割的可行驶区域检测方法，其特征在于：所述障碍物标签的障碍物主要包括路桩、锥筒、水马、栅栏 。4.根据权利要求1所述的基于语义分割的可行驶区域检测方法，其特征在于：所述步骤2）的扫描操作，首先，在分割后的图像上设置一个扫描停止线；然后采用两个循环遍历下半部分图像，先是列，再是行，这样依次按列扫描。5.根据权利要求4所述的基于语义分割的可行驶区域检测方法，其特征在于： 开始每列的扫描前，需要将该列的关键点对坐标缓存数组top和bottom全部值初始化为0，同时设置一个flag标签，初始值为1；然后从下至上开始扫描，当遇到路面标志物时将flag置为0，并在缓存数组中记录下该bottom点的像素坐标；分割图像识别了移动目标标签，将该属性也记录下来；当遇到背景标签、障碍物标签或者停止扫描线时，将flag置为1，记录下该点同列下一行像素点的位置坐标到top缓存数组中，到此一个关键点对已形成，需要将关键点对缓存数量加1。6.根据权利要求4或5所述的基于语义分割...

【专利技术属性】
技术研发人员：唐如欲，单玉梅，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：