障碍物检测的方法、装置、系统、设备以及存储介质制造方法及图纸

本申请提供了一种障碍物检测的方法、装置、设备、系统以及存储介质，涉及智能设备技术领域，旨在基于单目摄像头检测得到障碍物的三维信息。对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；对所述前景区域图像进行障碍物提取，得到目标障碍物在相机坐标下的平面信息；基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框。

Method, device, system, equipment and storage medium of obstacle detection

【技术实现步骤摘要】
障碍物检测的方法、装置、系统、设备以及存储介质
本申请涉及智能设备
，具体而言，涉及一种障碍物检测的方法、装置、设备、系统以及存储介质。
技术介绍
在城市新型基础设施、未来社区等商业领域，车路协同，自动驾驶，辅助驾驶等需求已愈加迫切，在无人驾驶车辆行驶过程中，需要实时检测行驶道路的障碍物，根据障碍物信息进行规避障碍物等操作。现有技术下大多基于激光雷达，毫米波雷达，摄像头或组合多种传感器，对无人驾驶车辆的行驶道路进程障碍物检测；然而毫米波雷达尺寸大，不方便安装，并且带宽与分辨率低，感知的数据不够准确，也不能获得障碍物的高度信息；激光雷达能够获得障碍物较准确的三维数据，但制造成本较高，批量生产困难，并且数据的精度易受感知距离和环境的影响；采用多种传感器组合测量障碍物需要将多个不同的传感器采集的数据进行同步，利用软件对数据同步误差较大，利用硬件对数据同步则需要额外的硬件装备，并且多种传感器融合算法设计复杂，导致计算复杂，且对处理器的计算能力要求较高。摄像头成本低，像素语义丰富，相关图像算法简单、成熟度高。但目前基于摄像头只能获得障碍物的二维信息，定位精度不高，不能映射到实际的三维空间，影响障碍物速度信息的计算。
技术实现思路
本申请实施例提供一种障碍物检测的方法、装置、设备、系统以及存储介质，旨在仅利用单目摄像头检测得到障碍物的三维信息。本申请实施例第一方面提供一种障碍物检测的方法，所述方法包括：对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；对所述前景区域图像进行障碍物提取，得到目标障碍物在相机坐标下的平面信息；基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框。可选地，所述方法还包括：汇总测量得到的参照障碍物的底面三维坐标点集；将所述底面三维坐标点集代入第一预设方程；利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。可选地，基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框，包括；对代入所述平面信息的所述预设平面方程进行计算机视觉投影反变换，得到所述目标障碍物的深度信息；结合所述平面信息和所述深度信息，得到所述目标障碍物的三维信息；以所述三维信息进行几何绘制得到所述三维立体框。可选地，所述方法还包括：利用标注工具，对第一样本障碍物图像标注相机坐标下的平面信息；基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；对所述前景区域图像进行障碍物提取，包括：将所述前景区域图像输入所述障碍物提取模型，得到所述目标障碍物在相机坐标下的平面信息。可选地，所述方法还包括：在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；在所述障碍物提取模型适应所述特定环境时，得到稳定的障碍物提取模型；在所述障碍物提取模型不适应所述特定环境时，重新设计所述第一预设模型。可选地，在得到所述目标障碍物的三维立体框之后，所述方法还包括：根据所述目标障碍物的三维立体框，得到所述目标障碍物的位移量、旋转量、比例量信息。本申请实施例第二方面提供一种障碍物检测的装置，所述装置包括：前景分割模块，用于对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；障碍物提取模块，用于对所述前景区域图像进行障碍物提取，以二维图像平面框选定目标障碍物，其中，所述二维图像平面框携带所述目标障碍物在相机坐标系下的信息；转换模块，用于对所述二维图像平面框进行计算机视觉投影反变换，得到所述目标障碍物在相机坐标系下的正面平面框；第一计算模块，用于根据所述正面平面框和预设平面方程，得到所述目标障碍物的三维立体框。可选地，所述装置还包括：测量模块，用于汇总测量得到的参照障碍物的底面三维坐标点集；代入模块，用于将所述底面三维坐标点集代入第一预设方程；第二计算模块，用于利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。可选地，所述第一计算模块包括：坐标获得子模块，用于获得所述正面平面框的顶点坐标；深度计算子模块，用于将所述正面平面框的顶点坐标代入所述预设平面方程，得到所述障碍物的深度点坐标；几何绘制子模块，用于对所述正面平面框的顶点坐标和所述深度点坐标进行几何绘制，得到所述目标障碍物的三维立体框。可选地，所述装置还包括：第一样本标注模块，对第一样本障碍物图像标注相机坐标下的平面信息；第一模型训练模块，用于基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；所述障碍物提取模块包括：模型计算子模块，用于将所述前景区域图像输入所述障碍物提取模型，得到所述二维图像平面框。可选地，所述装置还包括：样本获得模块，用于在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；第二样本标注模块，利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；第二模型训练模块，用于基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；第三模型训练模块，在所述障碍物提取模型适应所述特定环境时，得到稳定障碍物提取模型；模型设计模块，用于在所述障碍物提取模型不适应所述特定环境时，重新设计所述第一预设模型。可选地，所述装置还包括：九自由度信息模块，用于根据所述目标障碍物的三维立体框，得到所述目标障碍物的位移量、旋转量、比例量信息。本申请实施例第三方面提供一种障碍物检测的系统，所述系统包括：单目摄像头、计算单元、信息传输单元以及配套电源；所述单目摄像头用于获取路况图像，并发送给所述计算单元；所述计算单元执行如权利要求1-6任一所述的障碍物检测的方法，获取所述路况图像中障碍物的二维信息和三维信息；所述信息传输单元将所述障碍物的二维信息和三维信息发送至数字轨控制器，或保存所述障碍物的二维信息和三维信息；所述配套电源提供系统所需电源。本申请实施例第四方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。本申请实施例第五方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。本申请实施例基于单目摄像头采集的路况图像进行前景分割，再将前景分割后的路况图像输入障碍物提取模型，经过神经网络计算得到目标障碍物在相机坐标下的平面信息本文档来自技高网...

【技术保护点】
1.一种障碍物检测的方法，其特征在于，所述方法包括：/n对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；/n对所述前景区域图像进行障碍物提取，得到目标障碍物在相机坐标下的平面信息；/n基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框。/n

【技术特征摘要】
1.一种障碍物检测的方法，其特征在于，所述方法包括：
对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；
对所述前景区域图像进行障碍物提取，得到目标障碍物在相机坐标下的平面信息；
基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
汇总测量得到的参照障碍物的底面三维坐标点集；
将所述底面三维坐标点集代入第一预设方程；
利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。


3.根据权利要求1所述的方法，其特征在于，基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框，包括；
对代入所述平面信息的所述预设平面方程进行计算机视觉投影反变换，得到所述目标障碍物的深度信息；
结合所述平面信息和所述深度信息，得到所述目标障碍物的三维信息；
以所述三维信息进行几何绘制得到所述三维立体框。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用标注工具，对第一样本障碍物图像标注相机坐标下的平面信息；
基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；
对所述前景区域图像进行障碍物提取，包括：
将所述前景区域图像输入所述障碍物提取模型，得到所述目标障碍物在相机坐标下的平面信息。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；
利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；
基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；
在所述障碍物提取...

【专利技术属性】
技术研发人员：冯家政，程邦胜，方晓波，张辉，
申请(专利权)人：新奇点企业管理集团有限公司，
类型：发明
国别省市：浙江;33