对象姿态估计制造技术

本公开提供了“对象姿态估计”。随机选择分布在包括多个相机的相机阵列的参考3D平面上的多个虚拟三维(3D)点。所述多个相机包括主相机和一个或多个附加相机。基于所述相机的相应姿态来确定所述多个相机的所述多个虚拟3D点的相应二维(2D)投影。针对相应的一个或多个附加相机，基于相应相机的2D投影和主相机的2D投影来确定相应的单应性矩阵。相应的单应性矩阵将相应相机的2D投影映射到主相机的2D投影。基于由所述多个相机捕获的相应图像和所述相应的单应性矩阵来生成拼接图像。的单应性矩阵来生成拼接图像。的单应性矩阵来生成拼接图像。

【技术实现步骤摘要】
对象姿态估计


[0001]本公开涉及车辆中的深度神经网络。

技术介绍

[0002]可以训练深度神经网络以执行各种计算任务。例如，可以训练神经网络以从图像中提取数据。计算装置可以使用由深度神经网络从图像中提取的数据来操作系统，所述系统包括车辆、机器人、安全、产品制造和产品跟踪。图像可以由包括在系统中的传感器获取并使用深度神经网络进行处理以确定关于系统周围环境中的对象的数据。系统的操作可以通过获取关于系统环境中的对象的准确且及时的数据而得到支持。

技术实现思路

[0003]可以使用用于包括车辆引导、机器人操作、安全、制造和产品跟踪的系统的训练数据集来训练深度神经网络(DNN)以确定由传感器获取的图像数据中的对象。车辆引导可包括车辆在自主或半自主模式下的操作。机器人引导可包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以进行组装。安全系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测未经授权进入的特征。例如，安全系统还可向授权用户提供对计算装置或蜂窝电话的访问权限。例如，在制造系统中，计算机中的DNN可通过确定人的手在特定时间相对于机器操作循环的位置来检测机器在制造操作中的不期望操作。例如，在产品跟踪系统中，深度神经网络可检测到人从搁架移除对象并将其放入购物车中，并且自动向人收取对象的费用。例如，其他产品跟踪系统包括用于运输的包裹分拣。
[0004]本文中将车辆引导描述为使用DNN来检测对象(例如车辆)的非限制性示例。例如，交通基础设施系统中的计算装置可以被编程为获取关于其环境的数据并使用DNN来检测所述数据中的对象。所述数据可包括从静态相机或视频相机获取的图像数据和从包括激光雷达传感器的距离传感器获取的距离数据。可以训练DNN以标记和定位图像数据或距离数据中的对象。包括在交通基础设施系统中的计算装置可以使用检测到的对象的身份和位置来确定以自主或半自主模式操作车辆的车辆路径。车辆可以基于车辆路径通过确定命令来指示车辆的动力传动系统、制动和转向部件操作车辆以沿着所述路径行驶而操作。
[0005]然而，来自交通基础设施系统中的多个相机中的一个相机的图像数据可能缺乏关于检测到的车辆的足够数据来正确地确定检测到的车辆的取向。例如，来自一个相机的图像数据可以包括检测到的车辆的一部分。在这种情况下，车辆的多个取向可以对应于来自一个相机的图像数据中的车辆的所检测部分。本文讨论的技术通过从多个相机获取车辆的相应图像数据并基于多个相机中的主相机与附加相机之间的相应单应性矩阵从多个图像生成拼接图像来改进对检测到的车辆的取向的确定。
[0006]一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以随机选择分布在包括多个相机的相机阵列的3D参考平面上
的多个虚拟三维(3D)点。所述多个相机包括主相机和一个或多个附加相机。所述指令还包括用于基于所述相机的相应姿态来确定所述多个相机的所述多个虚拟3D点的相应二维(2D)投影的指令。所述指令还包括用于进行以下操作的指令：针对相应的一个或多个附加相机，基于相应相机的2D投影和主相机的2D投影来确定相应的单应性矩阵。相应的单应性矩阵将相应相机的2D投影映射到主相机的2D投影。所述指令还包括用于基于由所述多个相机捕获的相应图像和所述相应的单应性矩阵来生成拼接图像的指令。
[0007]所述指令还可以包括用于将所述拼接图像输入到神经网络中的指令，所述神经网络输出包括在所述拼接图像中的对象的姿态。
[0008]可以基于正交的x轴、y轴和z轴以及围绕z轴的横摆旋转在真实世界坐标系的坐标中确定对象的姿态。
[0009]所述对象可以是车辆。所述指令还可以包括用于基于所确定的姿态来生成所述车辆的路径的指令。所述指令还可以包括用于沿着所生成的路径操作车辆的指令。
[0010]所述指令还可以包括用于基于将所述对象的所述姿态和所述对象的3D模型输入到轮廓渲染程序来确定所述对象的第一2D轮廓的指令。所述指令还可以包括用于基于拼接图像来确定所述对象的第二2D轮廓的指令。所述指令还可以包括用于基于所述第一2D轮廓和所述第二2D轮廓之间的差异来训练所述神经网络的指令。
[0011]所述指令还可以包括用于基于由相应相机捕获并且包括基准标记的校准图像来确定所述多个相机的相应姿态的指令。
[0012]可基于正交的x轴、y轴和z轴以及分别围绕所述x轴、y轴和z轴的侧倾旋转、俯仰旋转和横摆旋转在真实世界坐标系的坐标中确定所述相应相机的所述姿态。
[0013]所述指令还可以包括用于基于所述拼接图像中的再投影误差来确定相应相机的更新的姿态的指令。
[0014]3D参考平面可以由地面或对象的表面中的一者限定。
[0015]图像可以是时间同步的。
[0016]所述多个相机可以是红
‑
绿
‑
蓝
‑
深度(RGB
‑
D)相机。
[0017]一种方法包括随机选择分布在包括多个相机的相机阵列的参考3D平面上的多个虚拟三维(3D)点。所述多个相机包括主相机和一个或多个附加相机。所述方法还包括基于所述相机的相应姿态来确定所述多个相机的所述多个虚拟3D点的相应二维(2D)投影。所述方法还包括针对相应的一个或多个附加相机，基于相应相机的2D投影和主相机的2D投影来确定相应的单应性矩阵。相应的单应性矩阵将相应相机的2D投影映射到主相机的2D投影。所述方法还包括基于由所述多个相机捕获的相应图像和所述相应的单应性矩阵来生成拼接图像。
[0018]所述方法还可以包括将所述拼接图像输入到神经网络中，所述神经网络输出包括在所述拼接图像中的对象的姿态。
[0019]可以基于正交的x轴、y轴和z轴以及围绕z轴的横摆旋转在真实世界坐标系的坐标中确定对象的姿态。
[0020]所述对象可以是车辆。所述方法还可以包括基于所确定的姿态来生成所述车辆的路径。所述方法还可以包括沿所生成的路径操作所述车辆。
[0021]所述方法还可以包括基于将所述对象的所述姿态和所述对象的3D模型输入到轮
廓渲染程序来确定所述对象的第一2D轮廓。所述方法还可以包括基于所述拼接图像来确定所述对象的第二2D轮廓。所述方法还可以包括基于所述第一2D轮廓和所述第二2D轮廓之间的差异来训练所述神经网络。
[0022]所述方法还可以包括基于由相应相机捕获并且包括基准标记的校准图像来确定所述多个相机的相应姿态。
[0023]可基于正交的x轴、y轴和z轴以及分别围绕所述x轴、y轴和z轴的侧倾旋转、俯仰旋转和横摆旋转在真实世界坐标系的坐标中确定所述相应相机的所述姿态。
[0024]所述方法还可以包括基于所述拼接图像中的再投影误差来确定相应相机的更新的姿态。
[0025]本文还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。本文还公开了一种计算机程序产品，所述计算机程序产品包括计算机可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以进行以下操作：随机选择分布在包括多个相机的相机阵列的参考3D平面上的多个虚拟三维(3D)点，所述多个相机包括主相机和一个或多个附加相机；基于所述相机的相应姿态来确定所述多个相机的所述多个虚拟3D点的相应二维(2D)投影；针对相应的一个或多个附加相机，基于所述相应相机的所述2D投影和所述主相机的所述2D投影来确定相应的单应性矩阵，其中所述相应的单应性矩阵涉及所述2D投影在由所述相应相机限定的图像平面和由所述主相机限定的图像平面之间的变换；以及基于由所述多个相机捕获的相应图像和所述相应的单应性矩阵来生成拼接图像。2.如权利要求1所述的方法，其还包括将所述拼接图像输入到神经网络中，所述神经网络输出包括在所述拼接图像中的对象的姿态。3.如权利要求2所述的方法，其中基于正交的x轴、y轴和z轴以及围绕所述z轴的横摆旋转在真实世界坐标法的坐标中确定所述对象的所述姿态。4.如权利要求2所述的方法，其中所述对象为车辆，并且所述方法还包括基于所确定的姿态来生成所述车辆的路径。5.如权利要求4所述的方法，其还包括沿所生成的路径操作所述车辆。6.如权利要求2所述的方法，其还包括：基于将所述对象的所述姿态和所述对象的3D模型输入到轮廓渲染程序来确定所述...

【专利技术属性】
技术研发人员：普纳杰，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：