自动驾驶车辆的道路目标与距离检测方法、系统、装置制造方法及图纸

本发明专利技术属于自动驾驶技术领域，具体涉及了一种自动驾驶车辆的道路目标与距离检测方法、系统、装置，旨在解决现有技术在实现自动驾驶车辆的道路目标与距离检测时速度不够快、精度不够高的问题。本发明专利技术方法包括：获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；通过目标检测网络获取目标的类别标签信息和2D包围边界框信息；将道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；通过目标检测获取目标点云，将目标点云质心的距离作为当前目标的距离。本发明专利技术方法能够计算目标的实际距离，不易受复杂天气及地理环境的影响，仅需处理2D检测框的点云数据，速度快、精度高。

Road target and distance detection method, system and device of automatic driving vehicle

【技术实现步骤摘要】
自动驾驶车辆的道路目标与距离检测方法、系统、装置
本专利技术属于自动驾驶
，具体涉及了一种自动驾驶车辆的道路目标与距离检测方法、系统、装置。
技术介绍
自动驾驶车辆也可以称之为轮式自动机器人，其主要依靠车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。自动驾驶车辆是集自动控制、视觉计算、体系结构等众多技术于一体的高度发展的产物。环境感知、精确定位、路径规划、线控执行等是自动驾驶的核心技术，其中，环境感知直接决定后续的路侧规划决策是否准确，因此其至关重要。在环境感知中，如果能实时获取车周目标的类别、距离等信息，那么可以使辅助车辆预先进行决策，进一步提高了车辆的安全性能。目前，测量车周目标距离的方法主要为以下方向：1)基于光学原理测距[1]，在车周四周安装激光器，通过对比收发信号的时间差来获取目标距离，但是这种方法只能获取车周这四点处的目标距离，检测距离很局限。2)基于单目或双目摄像头的深度估计方法[2]，基于视差跟目标距离相机的深度的立体几何关系来进行数据分析。其存在的问题为：一方面，由于双目视觉的检测距离较短、标定较难等问题，限制了双目相机在自动驾驶的应用；另一方面，基于深度网络的单目估计网络，通过视差得到是目标的相对深度，无法获取其真实距离，且相对深度信息精度较低。3)基于混合传感器融合的数据测距[3]，首先，求解激光雷达数据中每个点的深度值且将深度值进行分类；然后，将分类结果作为热红外采集的图像的像素类别标签，再然后对图片采用深度卷积和反卷积进行处理后得到近似语义分割的结果图，最后将该图中每个像素点对应的类别对应回激光雷达的深度类别，获取该像素的深度。其存在的问题为：一方面，将连续的深度信息量化为离散的深度类别信息，会显著降低精度，最后得到的像素深度只是一个大概的距离范围；另一方面，深度信息量化后本身数据已经不够精确，尤其是处于分类边界的点的深度类别信息。将不准确的数据作为标签数据放入深度网络数据训练，也会再次降低网络的分类结果精度等。总的来说，现有技术在实现自动驾驶车辆的道路目标与距离检测时速度不够快、精度不够高。以下文献是与本专利技术相关的技术背景资料：[1]楼英、唐瑒、周宏禹，自动驾驶测距系统及自动驾驶系统，201901.[2]陈雪锦、吴枫、王超群，一种单目深度估计方法及系统，201908.[3]姚广顺、孙韶媛、叶国林、高凯珺，基于红外图像和雷达数据的夜间无人车场景深度估计方法，201707.
技术实现思路
为了解决现有技术中的上述问题，即现有技术在实现自动驾驶车辆的道路目标与距离检测时速度不够快、精度不够高的问题，本专利技术提供了一种自动驾驶车辆的道路目标与距离检测方法，该目标与距离检测方法包括：步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；步骤S30，结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；步骤S40，对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。在一些优选的实施例中，该目标与距离检测方法还包括：步骤S50，基于所述目标点云的质心、点云数据和目标类别，通过对点云的聚类来拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。在一些优选的实施例中，所述目标检测网络基于深度目标检测模型构建，并通过图像目标检测数据集进行训练。在一些优选的实施例中，步骤S30中“结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和目标点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云”，其方法为：步骤S31，基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定，并将目标点云数据映射到道路目标图像；步骤S32，将所述映射到道路目标图像的目标点云数据中处于所述2D包围边界框内的目标点云数据增加标签信息，得到2D包围边界框里的带有图像标签信息的点云。在一些优选的实施例中，步骤S31中“基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定”，其方法为：步骤S311，获取道路目标图像采集相机和目标点云数据采集激光雷达的内部参数；步骤S322，通过所述相机与激光雷达采集同一场景数据，并采用关键点匹配法确定相机和激光雷达的位姿关系，标定外部参数，完成相机和激光雷达的联合标定。在一些优选的实施例中，所述相机内部参数包括：相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数。在一些优选的实施例中，步骤S40中“对所述带有图像标签信息的点云进行目标检测，获取目标点云”，其方法为：采用聚类、面拟合等方法对所述带有图像标签信息的点云进行处理，选取簇中点数最多的簇作为目标点云。本专利技术的另一方面，提出了一种自动驾驶车辆的道路目标与距离检测系统，该目标与距离检测系统包括数据采集模块、图像目标检测模块、融合模块、距离计算模块；所述数据采集模块，配置为获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；所述图像目标检测模块，配置为基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；所述融合模块，配置为结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；所述距离计算模块，配置为对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的自动驾驶车辆的道路目标与距离检测方法。本专利技术的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的自动驾驶车辆的道路目标与距离检测方法。本专利技术的有益效果：(1)本专利技术自动驾驶车辆的道路目标与距离检测方法，由于只需要处理图像的目标检测输出的2D检测框范围里的点云数据，显著降低了需进行计算处理的数据量，省去了传统的激光雷达点云预处理操作，算法计算速度快。(2)传统基于激光雷达进行目标检测进而获取目标距离时，需要首先滤除地面点，算法较耗时。此外，对于非结构化道路，例如矿山等环境下，道路起伏严重，地面滤除算法精度受限，得到的最终检测目标精度下降。而本专利技术方法，由于地面点映射到图像上时，只有较少的凸起地面点会投影到图像的目标区域内，那么，对这部分区域里的原始点云采用聚类等处理方法，很容易把这些地面杂点滤除，算法精度本文档来自技高网...

【技术保护点】
1.一种自动驾驶车辆的道路目标与距离检测方法，其特征在于，该目标与距离检测方法包括：/n步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；/n步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；/n步骤S30，结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；/n步骤S40，对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。/n

【技术特征摘要】
1.一种自动驾驶车辆的道路目标与距离检测方法，其特征在于，该目标与距离检测方法包括：
步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；
步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；
步骤S30，结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；
步骤S40，对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。


2.根据权利要求1所述的自动驾驶车辆的道路目标与距离检测方法，其特征在于，该目标与距离检测方法还包括：
步骤S50，基于所述目标点云的质心、点云数据和目标类别，通过对点云的聚类来拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。


3.根据权利要求1或2所述的自动驾驶车辆的道路目标与距离检测方法，其特征在于，所述目标检测网络基于深度目标检测模型构建，并通过图像目标检测数据集进行训练。


4.根据权利要求1所述的自动驾驶车辆的道路目标与距离检测方法，其特征在于，步骤S30中“结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和目标点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云”，其方法为：
步骤S31，基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定，并将目标点云数据映射到道路目标图像；
步骤S32，将所述映射到道路目标图像的目标点云数据中处于所述2D包围边界框内的目标点云数据增加标签信息，得到2D包围边界框里的带有图像标签信息的点云。


5.根据权利要求4所述的自动驾驶车辆的道路目标与距离检测方法，其特征在于，步骤S31中“基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定”，其方法为：
步骤S311，获取道路目标图像采集...

【专利技术属性】
技术研发人员：李静，田滨，王晓，胡成云，要婷婷，王飞跃，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11