用于三维(3D)对象检测的系统和方法技术方案

本文公开了一种用于三维(3D)对象检测的系统和方法。特定实施例可以被配置成：从与自主车辆相关联的至少一个相机接收图像数据，所述图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在所述图像帧中检测到的对象周围的二维(2D)边界框的像素坐标；使用所述经训练的深度学习模块，以确定所述对象周围的三维(3D)边界框的顶点；使用拟合模块，以获得与关联于所述图像帧的特定环境相关的地质信息并获得与所述至少一个相机相关联的相机校准信息；以及使用所述拟合模块，以使用所述3D边界框、所述地质信息和所述相机校准信息来确定所述对象的3D属性。

【技术实现步骤摘要】
【国外来华专利技术】用于三维(3D)对象检测的系统和方法优先权要求和相关专利申请该PCT申请要求2018年9月12日提交的美国专利申请第16/129,040号的优先权和权益。上文申请的全部公开内容以引用的方式被并入作为本专利文档的公开内容的一部分。版权声明该专利文档的公开内容的一部分包含受版权保护的材料。版权所有人不反对任何人对本专利文档或专利公开内容进行复制，按照本专利文档在美国专利和商标局的专利文件或记录中的形式，但版权所有人保留所有其他权利。以下声明适用于本文中的公开内容以及形成本文档的一部分的附图：版权所有2017-2018，TuSimple，保留所有权利。
本专利文档一般涉及用于图像处理、车辆控制系统和自主驾驶系统的工具(系统、装置、方法、计算机程序产品等)，并且更具体地但非限制性地涉及一种用于三维(3D)对象检测的系统和方法。
技术介绍
对象检测是许多视觉任务的基本问题，包括对象跟踪、语义实例分割和对象行为预测。检测交通环境中的所有对象(诸如汽车、公共汽车、行人和自行车)对于构建自主驾驶系统至关重要。未能检测到对象(例如汽车或人)可能导致自主驾驶汽车的运动计划模块的故障，从而导致灾难性事故。如此，用于自主驾驶车辆的对象检测是重要的操作和安全问题。基于深度学习的2D对象检测模型已成功地被应用于各种计算机视觉任务，包括面部检测、实例分割、点云处理和自主驾驶。给定输入图像，2D对象检测的目标是输出所有感兴趣对象的类别标签和地点(使用矩形边界框)。然而，因为所有操作都在2D图像平面上被执行，所以常规模型只能获取相对地点信息(以像素为单位)，而不是绝对值(以米为单位)。对于现代自主驾驶系统来说，传统2D模型产生的该行为是不希望的，因为失去精确的地点(以及潜在的汽车尺寸)会严重损害感知模块的输出质量，从而影响后续运动计划和控制模块的执行并产生潜在的危害。
技术实现思路
该PCT申请中公开的技术可以被实施以提供用于三维(3D)对象检测的系统和方法。在一个方面中，所公开的技术可以被实施以提供一种系统，该系统包括数据处理器和3D图像处理系统。图像处理系统被配置成：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2D)边界框的像素坐标；使用经训练的深度学习模块，以确定对象周围的三维(3D)边界框的顶点；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息；以及使用拟合模块，以使用3D边界框、地质信息和相机校准信息来确定对象的3D属性。在另一方面中，所公开的技术可以被实施以提供一种方法，该方法包括：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2D)边界框的像素坐标；使用经训练的深度学习模块，以确定对象周围的三维(3D)边界框的顶点；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息；以及使用拟合模块，以使用3D边界框、地质信息和相机校准信息来确定对象的3D属性。在又一方面中，所公开的技术可以被实施以提供一种实施指令的非暂时性机器可用存储介质，这些指令当被机器执行时使得机器：从与自主车辆相关联的至少一个相机接收图像数据，该图像数据表示至少一个图像帧；使用经训练的深度学习模块，以确定在图像帧中检测到的对象周围的二维(2D)边界框的像素坐标；使用经训练的深度学习模块，以确定对象周围的三维(3D)边界框的顶点；使用拟合模块，以获得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息；以及使用拟合模块，以使用3D边界框、地质信息和相机校准信息来确定对象的3D属性。在一些实施方式中，非暂时性机器可用存储介质还可以被配置成将对象的3D属性提供给自主驾驶感知系统。在一些实施方式中，至少一个相机包括来自由以下各项组成的组的类型的相机镜头：广角或近距镜头、中距镜头和远距镜头。在一些实施方式中，在对象周围的三维(3D)边界框的顶点以像素坐标被确定。在一些实施方式中，地质信息从包括具有地形的高度的全球定位系统(GPS)地点的地形图被获得。在一些实施方式中，对象的3D属性包括对象长度、高度、宽度、3D空间地点和对象的行进方向。此外，在一些实施方式中，所公开的技术可以被用于提供用于3D对象检测的示例系统和方法，以包括3D图像处理系统，该3D图像处理系统被配置成从与自主车辆相关联的至少一个相机接收图像数据。示例实施例可以被配置成输出在检测到的对象周围的2D边界框的地点和描绘对象的大小和方向(行进方向)的八个角的地点。这是对不提供真实世界3D信息的常规系统的改进。利用与特定环境相关的地质信息(例如道路或地形信息)和相机校准矩阵，示例实施例可以以3D坐标准确计算由相机成像的对象的精确大小和地点。示例实施例实时运行并且用作自主驾驶感知系统中的关键组件。在本文中所描述的各种实施例中，3D图像处理模块被配置成解决前述问题。如本文中所描述，3D图像处理模块可以被用于获得对象的3D属性，包括对象的长度、高度、宽度、相机坐标空间中的3D空间地点(均以米为单位)以及对象的移动方向(行进方向)。在示例实施例中，3D图像处理模块包括两个子模块，即：1)深度学习模块，学习在图像平面中2D边界框的像素坐标和3D边界框的所有顶点；以及2)拟合模块，使用来自地形图的地质信息和相机信息(包括具有相机非固有和固有矩阵的相机校准矩阵)来求解3D属性。3D对象检测模块可以跨多个相机实时运行，并且可以显著地对感知管线做贡献并且提高自主驾驶系统的鲁棒性和安全性水平。下文提供各种示例实施例的细节。附图说明在随附图式的图中，通过示例的方式而不是通过限制的方式来对各种实施例进行图示，在图中：图1图示了可以实施示例实施例的车载图像处理模块的示例生态系统的框图；图2图示了示例图像，该示例图像示出了图像平面中车辆的二维(2D)和三维(3D)边界框；图3和图4图示了包括来自广角相机的图像的第一图像样本集；图3图示了如由示例实施例的深度学习模块处理的第一图像集的广角图像；图4图示了如由示例实施例的拟合模块处理的第一图像集的广角图像；图5和图6图示了包括来自中距相机的图像的第一图像样本集；图5图示了如由示例实施例的深度学习模块处理的第一图像集的中距图像；图6图示了如由示例实施例的拟合模块处理的第一图像集的中距图像；图7和图8图示了包括来自远距相机的图像的第一图像样本集；图7图示了如由示例实施例的深度学习模块处理的第一图像集的远距图像；图8图示了如由示例实施例的拟合模块处理的第一图像集的远距图像；图9和图10图示了包括来自广角相机的图像的第二图像样本集；图9图示了如由示例实施例的深度学习模块处理的第二图像集的广角图像；图10图示了如由示例实施例的拟合模块处理的第二图像集的广角图像；...

【技术保护点】
1.一种系统，包括：/n数据处理器；以及/n3D图像处理系统，能够由所述数据处理器执行，所述图像处理系统被配置成：/n从与自主车辆相关联的至少一个相机接收图像数据，所述图像数据表示至少一个图像帧；/n使用经训练的深度学习模块，以确定在所述图像帧中检测到的对象周围的二维(2D)边界框的像素坐标；/n使用所述经训练的深度学习模块，以确定所述对象周围的三维(3D)边界框的顶点；/n使用拟合模块，以获得与关联于所述图像帧的特定环境相关的地质信息，并获得与所述至少一个相机相关联的相机校准信息；以及/n使用所述拟合模块，以使用所述3D边界框、所述地质信息和所述相机校准信息来确定所述对象的3D属性。/n

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：
数据处理器；以及
3D图像处理系统，能够由所述数据处理器执行，所述图像处理系统被配置成：
从与自主车辆相关联的至少一个相机接收图像数据，所述图像数据表示至少一个图像帧；
使用经训练的深度学习模块，以确定在所述图像帧中检测到的对象周围的二维(2D)边界框的像素坐标；
使用所述经训练的深度学习模块，以确定所述对象周围的三维(3D)边界框的顶点；
使用拟合模块，以获得与关联于所述图像帧的特定环境相关的地质信息，并获得与所述至少一个相机相关联的相机校准信息；以及
使用所述拟合模块，以使用所述3D边界框、所述地质信息和所述相机校准信息来确定所述对象的3D属性。


2.根据权利要求1所述的系统，还被配置成将所述对象的所述3D属性提供给自主驾驶感知系统。


3.根据权利要求1所述的系统，其中所述至少一个相机包括来自由以下各项组成的组的类型的相机镜头：广角或近距镜头、中距镜头和远距镜头。


4.根据权利要求1所述的系统，其中在所述对象周围的所述三维(3D)边界框的所述顶点以像素坐标被确定。


5.根据权利要求1所述的系统，其中所述地质信息从地形图获得，所述地形图包括具有所述地形的高度的全球定位系统(GPS)地点。


6.根据权利要求1所述的系统，其中所述相机校准信息包括具有相机非固有和固有矩阵的相机校准矩阵。


7.根据权利要求1所述的系统，其中所述对象的所述3D属性包括对象长度、高度、宽度...

【专利技术属性】
技术研发人员：王泮渠，
申请(专利权)人：图森有限公司，
类型：发明
国别省市：美国;US