根据图像数据的距离确定制造技术

本公开提供“根据图像数据的距离确定”。一种计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：从相机接收图像数据，根据所述图像数据生成深度图，在所述图像数据中检测对象，将围绕所述对象的边界框应用于所述深度图，通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，以及基于所述掩蔽的深度图来确定距所述对象的距离。所述最近像素在所述边界框中的所述像素中距所述相机最近。述像素中距所述相机最近。述像素中距所述相机最近。

【技术实现步骤摘要】
根据图像数据的距离确定


[0001]本公开涉及用于使用图像数据确定从相机到对象的距离的技术。

技术介绍

[0002]车辆通常包括传感器。传感器可以提供关于车辆操作的数据，例如车轮速度、车轮取向以及发动机和变速器数据(例如，温度、燃料消耗等)。传感器可检测车辆的位置和/或取向。传感器可以是全球定位系统(GPS)传感器；加速度计，诸如压电或微机电系统(MEMS)；陀螺仪，诸如速率、环形激光器或光纤陀螺仪；惯性测量单元(IMU)；和/或磁力计。传感器可以检测外部世界，例如车辆的周围环境的对象和/或特性，诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如，传感器可以是雷达传感器、扫描激光测距仪、光检测和测距(激光雷达)装置和/或图像处理传感器(诸如相机)。

技术实现思路

[0003]本公开提供了用于使用来自相机的图像数据确定从所述相机到对象的距离的技术。相机可以例如安装在车辆上。具体地，所述技术可以使用单目图像数据，即，来自单个相机而不是一对立体相机的图像数据。所述技术可以包括：根据图像数据生成深度图，在图像数据中检测对象，将围绕对象的边界框应用于深度图，掩蔽深度图，以及基于掩蔽的深度图来确定到对象的距离。掩蔽深度图包括用边界框中距相机最近的像素的深度值掩蔽包含在边界框中的像素，使得边界框中的所有像素都具有最近像素的深度值。
[0004]与用于根据图像确定距离的先前技术相比，所述技术可以提供更高的准确度。先前技术通常对相机的固有和外部校准高度敏感，但是本文的技术独立于相机的校准并且独立于相机在车辆上的放置。因此，更高的准确度和降低的敏感度可以允许车辆放弃用于检测距离的其他传感器，诸如雷达或激光雷达传感器，而支持相机，或者通过将来自图像数据的确定的距离与来自雷达和/或激光雷达传感器的数据融合来获得增加的准确度。
[0005]一种计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：从相机接收图像数据，根据所述图像数据生成深度图，在所述图像数据中检测对象，将围绕所述对象的边界框应用于所述深度图，通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，以及基于所述掩蔽的深度图来确定距所述对象的距离。所述最近像素在所述边界框中的所述像素中距所述相机最近。
[0006]深度图可以是有序深度图。
[0007]图像数据可以是单目图像数据。
[0008]确定距所述对象的所述距离可包括执行机器学习程序，并且所述掩蔽的深度图为所述机器学习程序的输入。机器学习程序可以是距离回归器。
[0009]所述对象可以是第一对象，所述边界框可以是第一边界框，在所述图像数据中检测所述第一对象可以包括在所述图像数据中检测第二对象，并且所述指令还可以包括用于
在掩蔽所述深度图之前将围绕所述第二对象的第二边界框应用于所述深度图的指令。所述像素可以是第一像素，所述最近像素可以是第一最近像素，所述第二边界框可以包括第二像素，所述第二像素包括第二最近像素，所述第二最近像素可以在所述第二边界框中的所述第二像素中距所述相机最近，所述第二边界框可以与所述第一边界框重叠，所述第一最近像素距所述相机可以比所述第二最近像素距所述相机更近，并且用于掩蔽所述深度图的指令可以包括用于将所述第二边界框中位于所述第一边界框内的所述第二像素的所述深度值设置为所述第一最近像素的所述深度值的指令。用于掩蔽所述深度图的指令可以包括用于将所述第二边界框中位于所述第一边界框外的所述第二像素的所述深度值设置为所述第二最近像素的所述深度值的指令。
[0010]第二最近像素可以在第一边界框内。
[0011]所述指令还可以包括用于根据图像数据确定对象的类型的指令。确定所述对象的所述类型可包括执行机器学习程序。图像数据可以是机器学习程序的输入。
[0012]所述机器学习程序可以是第一机器学习程序，确定距所述对象的所述距离可包括执行第二机器学习程序，并且所述第一机器学习程序和所述第二机器学习程序可为一起经训练的程序。
[0013]确定距所述对象的所述距离可基于所述对象的所述类型。
[0014]在所述图像数据中检测所述对象可包括执行机器学习程序，并且所述图像数据可为所述机器学习程序的输入。机器学习程序可以是特征金字塔网络。
[0015]生成所述深度图可包括执行机器学习程序，并且所述图像数据可为所述机器学习程序的输入。机器学习程序可以是使用沙漏网络的深度神经网络。
[0016]所述指令还可以包括用于基于距对象的距离来致动车辆部件的指令。
[0017]一种方法包括：从相机接收图像数据，根据所述图像数据生成深度图，在所述图像数据中检测对象，将围绕所述对象的边界框应用于所述深度图，通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，以及基于所述掩蔽的深度图来确定距所述对象的距离。所述最近像素在所述边界框中的所述像素中距所述相机最近。
附图说明
[0018]图1是示例性车辆的框图。
[0019]图2A是来自车辆的相机的示例性图像数据。
[0020]图2B是根据图像数据生成的示例性深度图。
[0021]图2C是根据图像数据生成的示例性掩蔽深度图。
[0022]图3是用于确定距图像数据中的对象的距离的示例性过程的过程流程图。
具体实施方式
[0023]参考附图，其中贯穿若干视图，相同的附图标记指示相同的部分，车辆100的计算机102包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：从相机106接收图像数据104，根据所述图像数据104生成深度图108，在所述图像数据104中检测对象110，将围绕所述对象110的边界框112应用于所述深度图108，通过将所述边界框
112中的像素在所述深度图108中的深度值设置为所述边界框112中的最近像素118的深度值来掩蔽所述深度图108以创建掩蔽的深度图114，以及基于所述掩蔽的深度图114来确定距所述对象110的距离。最近像素118在所述边界框112中的所述像素中距所述相机106最近。
[0024]参考图1，车辆100可以是任何乘用汽车或商用汽车，诸如轿车、卡车、运动型多功能车、跨界车、货车、小型货车、出租车、公共汽车等。
[0025]车辆100可以是自主或半自主车辆。计算机102可被编程为完全地或在较小程度上独立于人类操作员的干预而操作车辆100。计算机102可以被编程为至少部分地基于来自相机106的图像数据104来操作推进装置120、制动系统122、转向系统124和/或其他车辆系统。出于本公开的目的，自主操作意指计算机102在没有来自人类操作员的输入的情况下控制推进装置120、制动系统122和转向系统124；半自主操作意指计算机102控制推进装置120、制动系统122和转向系统124中的一者或两者，且人类操作员控制其余部分；并且非自主操作意指人类操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，其包括：从相机接收图像数据；根据所述图像数据生成深度图；在所述图像数据中检测对象；将围绕所述对象的边界框应用于所述深度图；通过将所述深度图中的所述边界框中的像素的深度值设置为所述边界框中的最近像素的深度值来掩蔽所述深度图，所述最近像素在所述边界框中的所述像素中距所述相机最近；以及基于所述掩蔽的深度图来确定距所述对象的距离。2.如权利要求1所述的方法，其中所述深度图是有序深度图。3.如权利要求1所述的方法，其中所述图像数据是单目图像数据。4.如权利要求1所述的方法，其中确定距所述对象的所述距离包括执行机器学习程序，并且所述掩蔽的深度图为所述机器学习程序的输入。5.如权利要求1所述的方法，其中所述对象是第一对象；所述边界框是第一边界框；并且在所述图像数据中检测所述第一对象包括在所述图像数据中检测第二对象；所述方法还包括在掩蔽所述深度图之前将围绕所述第二对象的第二边界框应用于所述深度图。6.如权利要求5所述的方法，其中所述像素是第一像素；所述最近像素是第一最近像素；所述第二边界框包括第二像素，所述第二像素包括第二最近像素；所述第二最近像素在所述第二边界框中的所述第二像素中距所述相机最近；所述第二边界框与所述第一边界框重叠；所述第一最近像素距所述相机比所述第二最近像素距所述相机更近；并且掩蔽所述深度图包括将所述第二边界框中...

【专利技术属性】
技术研发人员：Z，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：