用于检测车辆位姿的方法及装置制造方法及图纸

本申请公开了一种用于检测车辆位姿的方法和装置，涉及自动驾驶领域。具体实现方案为：将车辆左视点图像和车辆右视点图像输入部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点及其部位坐标；基于车辆左视点图像和车辆右视点图像的视差图、前景像素点的部位坐标和基准图像的相机内参，得到伪点云；将伪点云输入预先训练的位姿预测模型中，得到待检测的车辆的位姿信息。基于车辆部位先验数据对采集到的车辆左视点图像和右视点图像进行部位预测和掩膜分割，可以获得更准确地分割结果，因此提高了车辆位姿预测的准确度。

【技术实现步骤摘要】
用于检测车辆位姿的方法及装置
本申请公开了一种用于检测车辆位姿的方法及装置，涉及计算机
，尤其涉及自动驾驶领域。
技术介绍
三维车辆跟踪是自动驾驶、机器人等应用场景中不可或缺的重要技术，其中固有的难点是如何获取精确的深度信息，实现对每个车辆的精确检测和定位。三维位姿检测技术依据深度信息获取的方式，可以分为3类：基于单目视觉的三维位姿检测技术、基于双目视觉的三维位姿检测技术以及基于激光雷达的三维位姿检测技术。相关技术中，基于双目视觉预测车辆三维位姿的方法分为两种，一种是Stereo-RCNN，该方法可以实现左右图同时完成二维检测与检测框的匹配，随后基于左右检测框提取的特征，回归二维关键点与三维长宽高信息，最后利用关键点建立三维-二维投影方程，求解得到车辆的三维位姿。另一种是Pseudo-LiDAR，该方法首先对全图做像素级视差估计，然后得到较为稀疏的伪点云，并将基于激光雷达真实点云数据训练得到的点云三维检测模型应用在伪点云上，以预测出车辆的三维位姿。
技术实现思路
本申请实施例提供了一种用于检测车辆位姿的方法、装置、设备以及存储介质。根据第一方面，本申请实施例提供了一种用于检测车辆位姿的方法，该方法包括：将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点以及每个前景像素点的部位坐标，部位坐标用于表征前景像素点在待检测的车辆的坐标系中的位置，基准图像为车辆左视点图像或车辆右视点图像；基于车辆左视点图像和车辆右视点图像的视差图、前景像素点的部位坐标和基准图像的相机内参，将前景像素点在基准图像中的坐标转化为前景像素点在相机坐标系中的坐标，得到伪点云；将伪点云输入预先训练的位姿预测模型中，得到待检测的车辆的位姿信息。根据第二方面，本申请实施例提供了一种用于检测车辆位姿的装置，该装置包括：图像分割模块，被配置成将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点以及每个前景像素点的部位坐标，部位坐标用于表征前景像素点在待检测的车辆的坐标系中的位置，基准图像为车辆左视点图像或车辆右视点图像；点云生成模块，被配置成基于车辆左视点图像和车辆右视点图像的视差图、前景像素点的部位坐标和基准图像的相机内参，将前景像素点在基准图像中的坐标转化为前景像素点在相机坐标系中的坐标，得到伪点云；位姿预测模块，被配置成将伪点云输入预先训练的位姿预测模型中，得到待检测的车辆的位姿信息。根据本申请的上述实施例，解决了遮挡现象降低车辆的三维位姿预测准确度的问题，基于车辆部位先验数据对采集到的车辆左视点图像和右视点图像进行部位预测和掩膜分割，可以获得更准确地分割结果，因此提高了车辆位姿预测的准确度。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请的实施例可以应用于其中的示例性系统架构图；图2是根据本申请第一实施例的示意图；图3是根据本申请的实施例提供的用于检测车辆位姿的方法的场景实施例的示意图；图4是根据本申请第二实施例的示意图；图5是用来实现本申请实施例的用于检测车辆位姿的方法的电子设备的框图；图6是可以实现本申请实施例的计算机可存储介质的场景图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示出了可以应用本申请的实施例的用于检测车辆位姿的方法或用于检测车辆位姿的装置的示例性系统架构100。如图1所示，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送数据等，例如将获取到的待检测车辆的左视点图像和右视点图像发送至服务器105，以及接收服务器105检测出的待检测车辆的位姿信息。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有与服务器进行数据交互功能的各种电子设备，包括但不限于智能手机、平板电脑和车载电脑等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以是提供数据处理服务的服务器，例如对终端设备101、102、103上传的待检测车辆的左视点图像和右视点图像进行处理的后台数据服务器。需要说明的是，本申请的实施例所提供的用于检测车辆位姿的方法可以由服务器105执行，相应地，用于检测车辆位姿的装置可以设置于服务器105中。此时，终端设备可以通过网络将双目相机采集到的场景图像或待检测车辆的左视点图像和右视点图像发送至服务器105，由服务器105从中预测出车辆的位姿信息。本申请的实施例所提供的用于检测车辆位姿的方法还可以由终端设备执行，例如车载电脑，相应地，用于检测车辆位姿的装置可以设置于终端设备中，车载电脑从车载双目相机采集到的场景图像中提取出待检测车辆的左视点图像和右视点图像，然后从中预测出待检测车辆的位姿信息，本申请对此不作限定。继续参考图2，图2示出了根据本申请公开的用于检测车辆位姿的方法的第一个实施例的流程图，包括以下步骤：步骤S201、将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出基准图像中的前景像素点以及每个前景像素点的部位坐标，其中部位坐标用于表征前景像素点在待检测车辆的坐标系中的位置，基准图像为车辆左视点图像或车辆右视点图像。在本实施例中，前景像素点用于表征基准图像中位于待检测车辆的轮廓区域内的像素点，即实际场景中位于待检测车辆表面的点。在本实施例中，车辆左视点图像和车辆右视点图像是根据双目相机采集到的场景图像中提取出的待检测车辆的两帧图像，而执行主体所预测的位姿信息是基准图像中所呈现的待检测车辆的位姿。作为示例，执行主体可以将双目相机采集到的同一场景的场景左视点图像和场景右视点图像输入预先构建的Stereo-RPN模型中，可以同时实现场景左视点图像和场景右视点图像的二维检测和检测框匹配，从两帧场景图像中分割出的同一个车辆实例的两帧本文档来自技高网...

【技术保护点】
1.一种用于检测车辆位姿的方法，包括：/n将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出所述基准图像中的前景像素点以及每个前景像素点的部位坐标，所述部位坐标用于表征所述前景像素点在所述待检测的车辆的坐标系中的位置，所述基准图像为所述车辆左视点图像或所述车辆右视点图像；/n基于所述车辆左视点图像和所述车辆右视点图像的视差图、所述前景像素点的部位坐标和所述基准图像的相机内参，将所述前景像素点在所述基准图像中的坐标转化为所述前景像素点在相机坐标系中的坐标，得到伪点云；/n将所述伪点云输入预先训练的位姿预测模型中，得到所述待检测的车辆的位姿信息。/n

【技术特征摘要】
1.一种用于检测车辆位姿的方法，包括：
将车辆左视点图像和车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出所述基准图像中的前景像素点以及每个前景像素点的部位坐标，所述部位坐标用于表征所述前景像素点在所述待检测的车辆的坐标系中的位置，所述基准图像为所述车辆左视点图像或所述车辆右视点图像；
基于所述车辆左视点图像和所述车辆右视点图像的视差图、所述前景像素点的部位坐标和所述基准图像的相机内参，将所述前景像素点在所述基准图像中的坐标转化为所述前景像素点在相机坐标系中的坐标，得到伪点云；
将所述伪点云输入预先训练的位姿预测模型中，得到所述待检测的车辆的位姿信息。


2.根据权利要求1所述的方法，其中，所述车辆左视点图像和所述车辆右视点图像经由如下步骤确定：
从双目相机采集到的同一场景的场景左视点图像和场景右视点图像中，分别提取出所述待检测的车辆的原始左视点图像和原始右视点图像；
将原始左视点图像和原始右视点图像分别缩放至预设尺寸，得到车辆左视点图像和车辆右视点图像；
以及，所述车辆左视点图像和所述车辆右视点图像的视差图基于以下步骤确定：
基于所述场景左视点图像的初始相机内参、所述场景右视点图像的初始相机内参和缩放系数，分别确定出所述车辆左视点图像的相机内参和所述车辆右视点图像的相机内参；
基于所述车辆左视点图像的相机内参和所述车辆右视点图像的相机内参，确定出所述车辆左视点图像和所述车辆右视点图像的视差图。


3.根据权利要求2所述的方法，其中，所述部位预测和掩膜分割网络模型为采用编码器-解码器的框架的模型；以及，
所述将所述车辆左视点图像和所述车辆右视点图像输入基于车辆的部位先验数据构建的部位预测和掩膜分割网络模型，确定出所述基准图像中的前景像素点以及每个前景像素点的部位坐标，包括：
将所述车辆左视点图像和所述车辆右视点图像分别输入所述部位预测和掩膜分割网络模型，得到所述车辆左视点图像的编码特征向量和所述车辆右视点图像的编码特征向量；
将所述车辆左视点图像的编码特征向量和所述车辆右视点图像的编码特征向量进行融合，得到融合后的编码特征向量；
对所述融合后的编码特征向量进行解码，得到所述基准图像中的前景像素点和每个前景像素点的部位坐标。


4.根据权利要求3所述的方法，所述将所述伪点云输入预先训练的位姿预测模型中，得到所述待检测的车辆的位姿信息，包括：
基于所述前景像素点的伪点云坐标和部位坐标，确定所述待检测的车辆的全局特征向量；
从所述伪点云中采样出预设数量的前景像素点；
基于所述预设数量的前景像素点的伪点云坐标、部位坐标和所述全局特征向量，预测出所述基准图像的相机外参；
基于所述相机外参，确定所述待检测的车辆的位姿信息。


5.根据权利要求4所述的方法，所述方法还包括：
将所述融合后的编码特征向量作为立体特征向量；
基于所述立体特征向量和所述全局特征向量，得到三维拟合分数，所述三维拟合分数用于指导所述位姿预测模型的训练。


6.根据权利要求1至5之一所述的方法，其中，所述基于所述车辆左视点图像和所述车辆右视点图像的视差图、所述前景像素点的部位坐标和所述基准图像的相机内参，将所述前景像素点在所述基准图像中的坐标转化为所述前景像素点在相机坐标系中的坐标，得到伪点云，包括：
基于所述基准图像的相机内参以及所述车辆左视点图像和所述车辆右视点图像的视差图，确定出所述前景像素点的深度值；
基于所述前景像素点在所述基准图像中的坐标和所述深度值，得到所述前景像素点在所述相机坐标系中的初始坐标；
基于所述前景像素点的部位坐标，更新所述初始坐标，得到所述前景像素点的伪点云坐标。


7.一种用于检测车辆位姿的装置，包括：
图像分割模块，被配置成将车辆左视点图像和车辆右视点图像输入基于车辆的部位...

【专利技术属性】
技术研发人员：张伟，叶晓青，谭啸，孙昊，文石磊，章宏武，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11