基于单目视觉的目标深度估计方法、装置及车辆制造方法及图纸

本公开提供的一种基于单目视觉的目标深度估计方法、装置及车辆，涉及自动驾驶技术，包括：获取摄像机采集获取的目标物的原始视频帧数据；从原始视频帧数据中抽取多个目标图像，由多个目标图像构成目标视频帧数据；识别目标图像中的目标物以获取目标物的实际像素坐标；按照时间顺序依次确定目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；根据预测像素坐标和实际像素坐标，以更新获取目标深度值。可利用目标图像中目标物的实际像素坐标，确定与之相邻的下一个目标图像中目标物的预测像素坐标；然后根据实际像素坐标与预测像素坐标之间的距离，以更新获取目标深度值，从而可以满足实时性要求。性要求。性要求。

【技术实现步骤摘要】
基于单目视觉的目标深度估计方法、装置及车辆


[0001]本公开涉及自动驾驶技术，尤其涉及一种基于单目视觉的目标深度估计方法、装置及车辆。

技术介绍

[0002]随着人们对汽车安全型和舒适性需求的日益增长，智能驾驶技术受到了广泛的关注和研究。环境感知是实现汽车智能化的重要基础。目标深度估计，即估计目标物与车辆中设置的摄像头之间的纵向距离(也可以近似为目标物与车辆之间的纵向距离)，是环境感知中的一个重要环节。
[0003]现有技术中，主要是利用空间测量方式，并依赖相机位姿数据进行计算，以实现对目标深度估计。但是，由于需要依赖相机位姿数据，从而导致计算量大，进而导致计算速度较慢，难以满足实时性要求。

技术实现思路

[0004]本公开提供了一种基于单目视觉的目标深度估计方法、装置及车辆，以解决现有技术中利用空间测量方式来进行目标深度估计，难以满足实时性要求的问题。
[0005]根据本公开第一方面，提供了一种基于单目视觉的目标深度估计方法，包括：
[0006]获取车辆在行驶过程中，所述车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从所述原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由所述多个目标图像构成目标视频帧数据；
[0007]分别识别每个目标图像中的目标物，以获取所述目标物的实际像素坐标；
[0008]按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，所述每个其他目标图像中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型而确定的；
[0009]根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取所述时间最晚的目标图像中目标物的目标深度值；其中，所述深度值用于表征采集所述时间最晚的目标图像时所述目标物与所述摄像机之间的纵向距离的估计值。
[0010]根据本公开第二方面，提供了一种基于单目视觉的目标深度估计装置，包括：
[0011]获取单元，用于获取车辆在行驶过程中，所述车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从所述原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由所述多个目标图像构成目标视频帧数据；
[0012]识别单元，用于分别识别每个目标图像中的目标物，以获取所述目标物的实际像素坐标；
[0013]预测单元，用于按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，所述每个其他目标图像
中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型而确定的；
[0014]更新单元，用于根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取所述时间最晚的目标图像中目标物的目标深度值；其中，所述深度值用于表征采集所述时间最晚的目标图像时所述目标物与所述摄像机之间的纵向距离的估计值。
[0015]根据本公开第三方面，提供了一种车控设备，包括存储器和处理器；其中，
[0016]所述存储器，用于存储计算机程序；
[0017]所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行如第一方面所述的基于单目视觉的目标深度估计方法。
[0018]根据本公开第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的基于单目视觉的目标深度估计方法。
[0019]根据本公开第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的基于单目视觉的目标深度估计方法。
[0020]本公开提供的基于单目视觉的目标深度估计方法、装置及车辆，包括：获取车辆在行驶过程中，车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由多个目标图像构成目标视频帧数据；分别识别每个目标图像中的目标物，以获取目标物的实际像素坐标；按照时间顺序，依次确定目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，每个其他目标图像中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、摄像机的参数信息和车辆的行驶信息，以及预设的运动模型而确定的；根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取时间最晚的目标图像中目标物的目标深度值；其中，深度值用于表征采集时间最晚的目标图像时目标物与摄像机之间的纵向距离的估计值。本方案提供的基于单目视觉的目标深度估计方法、装置及车辆中，可以利用目标图像中目标物的实际像素坐标，以及预设的运动模型，确定出与之相邻的下一个目标图像中目标物的预测像素坐标；然后，可以根据获取的目标图像中目标物的实际像素坐标与预测像素坐标之间的距离，以更新获取目标深度值。与空间量测方式相比，不依赖位姿数据，仅对深度值单一参数优化求解，计算量小，速度快，可以满足实时性要求。
附图说明
[0021]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本公开一示例性实施例示出的基于单目视觉的目标深度估计方法的流程示意图；
[0023]图2为本公开另一示例性实施例示出的基于单目视觉的目标深度估计方法的流程
示意图；
[0024]图3为本公开一示例性实施例示出的按照时间从晚到早的顺序，排序第3的目标图像的示意图；
[0025]图4为本公开一示例性实施例示出的按照时间从晚到早的顺序，排序第2的目标图像的示意图；
[0026]图5为本公开一示例性实施例示出的按照时间从晚到早的顺序，排序第1的目标图像的示意图；
[0027]图6为本公开一示例性实施例示出的运动模型的示意图；
[0028]图7为本公开一示例性实施例示出的摄像机安装角度的示意图；
[0029]图8为本公开一示例性实施例示出的基于单目视觉的目标深度估计过程示意图；
[0030]图9为本公开一示例性实施例示出的基于单目视觉的目标深度估计装置的结构图；
[0031]图10为本公开一示例性实施例示出的车控设备的结构图。
具体实施方式
[0032]随着人们对汽车安全型和舒适性需求的日益增长，智能驾驶技术受到了广泛的关注和研究。环境感知是实现汽车智能化的重要基础。目标深度估计，即估计目标物与车辆中设置的摄像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的目标深度估计方法，其特征在于，包括：获取车辆在行驶过程中，所述车辆上设置的摄像机采集获取的目标物的原始视频帧数据；并从所述原始视频帧数据中按照时间的顺序，抽取多个目标图像，以由所述多个目标图像构成目标视频帧数据；分别识别每个目标图像中的目标物，以获取所述目标物的实际像素坐标；按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标；其中，所述每个其他目标图像中的目标物的预测像素坐标是基于与之相邻的上一个目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型而确定的；根据其他目标图像中的目标物的预测像素坐标和实际像素坐标，以更新获取所述时间最晚的目标图像中目标物的目标深度值；其中，所述深度值用于表征采集所述时间最晚的目标图像时所述目标物与所述摄像机之间的纵向距离的估计值。2.根据权利要求1所述的方法，其特征在于，当所述目标图像为M个时，所述按照时间顺序，依次确定所述目标视频帧数据中除了时间最晚的目标图像之外的其他目标图像中的目标物的预测像素坐标，包括：按照时间从晚到早的顺序，从所述目标视频帧数据中，根据排序第N的目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型，确定排序第N+1的目标图像中的预测像素坐标，将N加1，重复所述按照时间从晚到早的顺序的步骤，直至确定所述目标视频帧数中排序第M的目标图像中目标物的预测像素坐标；其中，N、M均为正整数，且N初始时为1，M大于1。3.根据权利要求2所述的方法，其特征在于，M＝3，则所述按照时间从晚到早的顺序，从所述目标视频帧数据中，根据排序第N的目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型，确定排序第N+1的目标图像中的预测像素坐标，将N加1，重复所述按照时间从晚到早的顺序的步骤，直至确定所述目标视频帧数中排序第M的目标图像中目标物的预测像素坐标，包括：按照时间从晚到早的顺序，根据排序第1的目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型，确定排序第2的目标图像中目标物的预测像素坐标；根据排序第2的目标图像中的目标物的实际像素坐标，获取的初始深度值、所述摄像机的参数信息和所述车辆的行驶信息，以及预设的运动模型，确定排序第3的目标图像中目标物的预测像素坐标。4.根据权利要求3所述的方法，其特征在于，所述摄像机的参数信息包括像元尺寸、焦距、偏航角、俯仰角、主点坐标；所述车辆的行驶信息包括车辆速度信息；则通过如下公式确定所述排序第2的目标图像中目标物的预测像素坐标：
其中，z
′
表示所述初始深度值；(x0，t0)表示所述排序第1的目标图像中目标物的实际像素坐标与所述主点坐标之间的差；(x1′
，y1′
)表示所述排序第2的目标图像中目标物的预测像素坐标与所述主点坐标之间的差；Δz1表示所述车辆从采集所述排序第2的目标图像时刻到采集排序第1的目标图像时刻之间的行驶距离，Δz1为根据所述车辆速度信息，以及采集所述排序第2的目标图像时刻与采集所述排序第1的目标图像时刻之间的时间差确定的；(f
x
，f
y
)表示等效焦距，为利用所述焦距除以所述像元尺寸确定的；θ表示所述偏航角；β表示所述俯仰角。5.根据权利要求3所述的方法，其特征在于，所述摄像机的参数信息包括像元尺寸、焦距、偏航角、俯仰角、主点坐标；所述车辆的行驶信息包括车辆速度信息；则通过如下公式确定所述...

【专利技术属性】
技术研发人员：苏国威，张超，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：