用于使用视觉和距离传感器数据来实现快速且可靠的接触时间估计以便进行自主导航的系统和方法技术方案

描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的机器人系统。在操作中，所述系统接收来自单眼视频的图像和来自距离传感器的、接近移动平台的场景的距离深度数据。所述图像被分割成多个感兴趣对象区域，并且通过估计运动场并对图像强度进行运算来计算接触时间(TTC)值。然后，通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维(2D)TTC图。然后，通过将所述距离深度数据与图像融合来生成三维TTC图。最后，通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。

【技术实现步骤摘要】
【国外来华专利技术】用于使用视觉和距离传感器数据来实现快速且可靠的接触时间估计以便进行自主导航的系统和方法相关申请的交叉引用本申请是2016年9月20日提交的美国序列号No.15/271,025的部分继续申请，其是2015年9月21日提交的美国临时申请No.62/221,523的非临时申请，这两者由此都通过引用并入本文中。本申请也是2015年7月9日提交的美国序列号No.14/795,884的部分继续申请，其是2015年4月6日提交的美国序列号No.14/680,057的部分继续申请，这两者由此都通过引用并入本文中。本申请也是2016年2月10日提交的美国临时申请No.62/293,649的非临时专利申请，其整体由此通过引用并入本文中。有关联邦政府资助的研究和开发的声明本专利技术是在由DARPA授予的合同No.HR011-09-C-000的政府支持下完成的。该政府拥有本专利技术的某些权利。专利技术的背景(1)
本专利技术涉及描述了一种用于通过二维感测和三维感测的组合来利用障碍物的距离可靠地检测这些障碍物的系统，并且更具体地说，涉及这样一种被用于为了自主导航目的而生成准确的接触时间图的系统。(2)背景本文档来自技高网...

【技术保护点】
1.一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的系统，该系统包括：一个或更多个处理器和一存储器，所述存储器具有在上面编码的可执行指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；通过估计运动场并对图像强度进行运算来计算接触时间TTC值；通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维2D TTC图；将来自距离传感器的距离深度数据与所述图像融合，以生成三维3D TTC图；以及通过对所述2D TTC图和所述3D TTC图进行平均化来生成距离融合TTC图。

【技术特征摘要】
【国外来华专利技术】2016.02.10 US 62/293,649;2016.09.20 US 15/271,0251.一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的系统，该系统包括：一个或更多个处理器和一存储器，所述存储器具有在上面编码的可执行指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；通过估计运动场并对图像强度进行运算来计算接触时间TTC值；通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维2DTTC图；将来自距离传感器的距离深度数据与所述图像融合，以生成三维3DTTC图；以及通过对所述2DTTC图和所述3DTTC图进行平均化来生成距离融合TTC图。2.根据权利要求1所述的系统，所述系统还包括以下操作：检测所述距离融合TTC图中的一对象；以及生成用于使移动平台移动以避免与所述对象接触的命令。3.根据权利要求1所述的系统，其中，在生成所述3DTTC图时，将距离数据读数与所述图像中的每个像素相关联。4.根据权利要求1所述的系统，其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC。5.根据权利要求1所述的系统，其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象。6.根据权利要求1所述的系统，其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。7.根据权利要求1所述的系统，其中，在生成所述3DTTC图时，将距离数据读数与所述图像中的每个像素相关联；其中，在生成所述距离融合TTC图时，所述距离融合TTC图利用视差的距离籽化传播来生成，并且与前景对象中的突出特征整合，以生成针对接近所述移动平台的所述场景中的对象的精确障碍物边界和TTC；其中，在将来自所述单眼视频的图像分割成多个感兴趣对象区域时，前景检测器被用于分割所述图像的前景内的多个对象；并且其中，脉冲神经网络被用于通过估计运动场并对图像强度进行运算来计算TTC值。8.一种用于使用视觉和距离传感器数据来估计对象接触时间以便进行自主导航的计算机程序产品，该计算机程序产品包括：非暂时性计算机可读介质，该非暂时性计算机可读介质具有在上面编码的可执行指令，使得当由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：将来自单眼视频的图像分割成多个感兴趣对象区域，所述图像是接近移动平台的场景；通过估计运动场并对图像强度进行运算来计算接触时间TTC值；通过估计所述多个感兴趣对象区域上的平均TTC值来生成二维2DTTC图；将来自距离传感器的距离深度数据与所述图像融合，以生成三维3DTTC图；以及通过对所述2DTTC图和所述3DTTC图进行平均化来生成距离融合TTC图。9.根据权利要求8所述的计算机程序产品，所述计算机程序产品还包括用于使所述一个或更多个处理器执行以下操作的指令：检测所述距离融合TTC图中的一对象；以及生成用于使移动平台移动以避免与所述对象接触的命令。10.根据权利要求8所述的计算机程序产品，其中，在生成所述3DTT...

【专利技术属性】
技术研发人员：F·蒙特罗扎，金劲男，D·科斯拉，
申请(专利权)人：赫尔实验室有限公司，
类型：发明
国别省市：美国,US