【技术实现步骤摘要】
本公开涉及用于使用来自相机的图像数据确定从相机到对象的距离的技术。
技术介绍
1、车辆通常包括传感器。传感器可以提供关于车辆操作的数据，例如车轮速度、车轮定向以及发动机和变速器数据(例如，温度、燃料消耗等)。传感器可检测车辆的位置和/或定向。传感器可以是全球定位系统(gps)传感器；加速度计，诸如压电或微机电系统(mems)；陀螺仪，诸如速率、环形激光器或光纤陀螺仪；惯性测量单元(imu)；和/或磁力计。传感器可以检测外部世界，例如车辆的周围环境的对象和/或特征，诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如，传感器可以是雷达传感器、扫描激光测距仪、光检测和测距(激光雷达)装置和/或图像处理传感器(诸如相机)。
技术实现思路
1、本公开提供了用于使用来自相机的图像数据确定从相机到对象的距离的技术。相机可以例如安装在车辆上。具体地，所述技术能够使用单目图像数据，即，来自单个相机而不是一对立体相机的图像数据。所述技术可以包括根据来自所述相机的图像帧生成特征图，根据所述特征图生成深度图，基于所述特征图对所述图像帧中的对象进行分类，以及基于所述深度图并基于用于生成特征图的输入来估计距所述对象的距离。用于生成特征图的输入可以是例如图像帧或用于生成特征图的机器学习程序的中间输出。
2、与用于根据图像确定距离的先前技术相比，所述技术可以提供更高的准确度。先前技术通常对相机的固有和外部校准高度敏感，但是本文的技术独立于相机的校准并且独立于相机在车辆上的放置。因此，更高的
3、一种计算机包括处理器和存储器，并且所述存储器存储指令，所述指令可由所述处理器执行以：接收来自相机的图像帧，根据所述图像帧生成特征图，根据所述特征图生成深度图，基于所述特征图对所述图像帧中的对象进行分类，以及基于所述深度图并基于用于生成所述特征图的输入来估计距所述对象的距离。
4、所述指令还可以包括用于基于距对象的距离来致动车辆部件的指令。
5、用于生成所述特征图的所述输入可以为所述图像帧。所述指令还可以包括用于将所述图像帧和所述深度图组合成多通道图像的指令，所述多通道图像包括用于深度的一个通道和用于相应颜色的多个通道。
6、用于估计所述距离的指令可包括用于执行机器学习程序的指令，并且所述深度图和用于生成所述特征图的所述输入可被输入到所述机器学习程序。
7、用于生成所述特征图的指令可包括用于执行被组织为一系列层的机器学习程序的指令，并且用于生成所述特征图的所述输入可以是所述层中的一者的中间输出，所述中间输出被传递到所述层中的下一层。所述机器学习程序可以是第一机器学习程序，用于估计所述距离的指令可包括用于执行被组织为一系列层的第二机器学习程序的指令，并且所述中间输出可被输入到所述第二机器学习程序，位于所述第二机器学习程序的所述层中的中间位置处。所述深度图可被输入到所述第二机器学习程序的所述层中的第一执行层。
8、深度图可以是有序深度图。
9、所述指令可还包括用于将用于生成所述特征图的所述输入存储在队列中直到生成所述深度图的指令，并且估计距所述对象的所述距离可基于从所述队列接收的用于生成所述特征图的所述输入。
10、所述指令还可包括用于检测图像帧中的对象的位置的指令。用于检测图像帧中的对象的位置的指令可以包括用于生成限定对象周围的边界框的像素坐标的指令。估计距对象的距离可以基于边界框的坐标。
11、用于对对象进行分类的指令可以包括用于执行第一机器学习程序的指令，用于检测对象的位置的指令可以包括用于执行第二机器学习程序的指令，并且特征图可以被输入到第一机器学习程序和所述第二机器学习程序。
12、所述指令还可以包括用于为包括所述对象的多个对象生成多个边界框的指令。所述指令还可以包括用于将由所述边界框包围的共同区域池化到单个通道中的指令，用于估计所述距离的指令可包括用于执行机器学习程序的指令，并且所述共同区域的所述单个通道可被输入到所述机器学习程序。机器学习程序可以被组织为一系列层，用于生成特征图的输入可以被输入到机器学习程序，并且共同区域的单个通道可以被输入到机器学习程序的与用于生成所述特征图的所述输入被输入到的层相比更后的执行层。
13、用于对所述对象进行分类的指令可包括用于执行机器学习程序的指令，并且所述特征图可被输入到所述机器学习程序。
14、所述图像帧可以是单目图像帧。
15、一种方法包括接收来自相机的图像帧，根据所述图像帧生成特征图，根据所述特征图生成深度图，基于所述特征图对所述图像帧中的对象进行分类，以及基于所述深度图并基于用于生成所述特征图的输入来估计距所述对象的距离。
本文档来自技高网...【技术保护点】
1.一种方法，其包括：
2.如权利要求1所述的方法，其还包括基于距所述对象的所述距离来致动车辆部件。
3.如权利要求1所述的方法，其中用于生成所述特征图的所述输入为所述图像帧。
4.如权利要求3所述的方法，其还包括将所述图像帧和所述深度图组合成多通道图像，所述多通道图像包括用于深度的一个通道和用于相应颜色的多个通道。
5.如权利要求3所述的方法，其中估计所述距离包括执行机器学习程序，并且所述深度图和用于生成所述特征图的所述输入被输入到所述机器学习程序。
6.如权利要求1所述的方法，其中生成所述特征图包括执行被组织为一系列层的机器学习程序，并且用于生成所述特征图的所述输入是所述层中的一者的中间输出，所述中间输出被传递到所述层中的下一层。
7.如权利要求6所述的方法，其中所述机器学习程序是第一机器学习程序，估计所述距离包括执行被组织为一系列层的第二机器学习程序，并且所述中间输出被输入到所述第二机器学习程序，位于所述第二机器学习程序的所述层中的中间位置处。
8.如权利要求7所述的方法，其中所述深度图被输
9.如权利要求1所述的方法，其中所述深度图是有序深度图。
10.如权利要求1所述的方法，其还包括将用于生成所述特征图的所述输入存储在队列中直到生成所述深度图，其中估计距所述对象的所述距离是基于从所述队列接收的用于生成所述特征图的所述输入。
11.如权利要求1所述的方法，其还包括检测所述图像帧中的所述对象的位置。
12.如权利要求11所述的方法，其中检测所述图像帧中的所述对象的所述位置包括生成限定所述对象周围的边界框的像素坐标，并且估计距所述对象的所述距离是基于所述边界框的所述坐标。
13.如权利要求1所述的方法，其还包括为包括所述对象的多个对象生成多个边界框。
14.如权利要求13所述的方法，其还包括将由所述边界框包围的共同区域池化到单个通道中，其中估计所述距离包括执行机器学习程序，并且所述共同区域的所述单个通道被输入到所述机器学习程序。
15.一种计算机，其包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以执行如权利要求1至14中的一项所述的方法。
...【技术特征摘要】
1.一种方法，其包括：
2.如权利要求1所述的方法，其还包括基于距所述对象的所述距离来致动车辆部件。
3.如权利要求1所述的方法，其中用于生成所述特征图的所述输入为所述图像帧。
4.如权利要求3所述的方法，其还包括将所述图像帧和所述深度图组合成多通道图像，所述多通道图像包括用于深度的一个通道和用于相应颜色的多个通道。
5.如权利要求3所述的方法，其中估计所述距离包括执行机器学习程序，并且所述深度图和用于生成所述特征图的所述输入被输入到所述机器学习程序。
6.如权利要求1所述的方法，其中生成所述特征图包括执行被组织为一系列层的机器学习程序，并且用于生成所述特征图的所述输入是所述层中的一者的中间输出，所述中间输出被传递到所述层中的下一层。
7.如权利要求6所述的方法，其中所述机器学习程序是第一机器学习程序，估计所述距离包括执行被组织为一系列层的第二机器学习程序，并且所述中间输出被输入到所述第二机器学习程序，位于所述第二机器学习程序的所述层中的中间位置处。
8.如权利要求7所述的方法，其中所述深度图被输入到所述第二...
【专利技术属性】
技术研发人员：Z·伊克巴尔，希塔·瑞瓦拉，A·马利克，古吉特·辛格，维贾伊·纳加萨米，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。