图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：获取目标摄像头采集的多个图像帧；对该多个图像帧分别进行下采样，得到对应的多个图像集；对任一图像帧，基于该图像帧对应的图像集和该图像帧的上一帧对应的图像集，获取该图像帧的光流检测信息和深度检测信息。本申请通过使用图像集中层级式的图像金字塔特征，使得光流检测信息和深度检测信息所包含的细节更加丰富，从而提高了光流检测信息和深度检测信息的准确度，也即提高了场景流分析的准确度。度。度。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术和移动通信技术的发展，自动驾驶车辆作为一项新兴逐渐引起广泛关注。自动驾驶车辆又称无人驾驶车辆、轮式移动机器人，是一种由自动驾驶系统控制以进行无人驾驶的智能车辆。
[0003]在自动驾驶系统中摄像头(即相机)是一种重要的传感器，摄像头能够采集车辆周围环境的视频流，通过对视频流进行场景流分析(包括光流分析和深度预测)，能够用于感知车辆外界物体的运动情况，因此，亟需一种能够提升场景流分析准确度的方法。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，能够提升场景流分析的准确度。该技术方案如下：
[0005]一方面，提供了一种图像处理方法，该方法包括：
[0006]获取目标摄像头采集的多个图像帧，所述多个图像帧具有时序上的关联关系；
[0007]对所述多个图像帧分别进行下采样，得到对应的多个图像集，每个图像集中包括对应的图像帧和基于所述图像帧下采样得到的图像；
[0008]对所述多个图像帧中的任一图像帧，基于所述图像帧对应的图像集和所述图像帧的上一帧对应的图像集，获取所述图像帧的光流检测信息和深度检测信息，所述光流检测信息用于表征所述图像帧和上一帧之间同一对象的运动情况，所述深度检测信息用于表征所述图像帧中的对象与所述目标摄像头的距离。
[0009]在一种可能实施方式中，所述多个图像集中的每个图像集包括对应的图像帧和基于所述图像帧以不同采样倍数下采样得到的多个下采样图像，其中，所述下采样图像的尺寸与采样倍数呈负相关，且所述下采样图像的尺寸小于所述图像帧的尺寸。
[0010]在一种可能实施方式中，所述基于所述图像帧对应的图像集和所述图像帧的上一帧对应的图像集，获取所述图像帧的光流检测信息和深度检测信息包括：
[0011]从所述图像帧对应的图像集和所述图像帧的上一帧对应的图像集中，确定多个采样倍率各自对应的下采样图像对；
[0012]基于每个所述下采样图像对，获取中间光流检测信息和中间深度检测信息；
[0013]基于所述中间光流检测信息和中间深度检测信息，获取所述图像帧的光流检测信息和深度检测信息。
[0014]在一种可能实施方式中，所述基于每个所述下采样图像对，获取中间光流检测信息和中间深度检测信息包括：
[0015]对任一采样倍率，从所述图像帧对应的图像集中，获取所述采样倍率对应的第一
下采样图像；
[0016]从所述图像帧的上一帧对应的图像集中，获取所述采样倍率对应的第二下采样图像；
[0017]基于所述第一下采样图像和所述第二下采样图像，获取相关性矩阵，所述相关性矩阵用于表征所述图像帧和所述图像帧的上一帧在所述采样倍率下的像素关联程度；
[0018]基于所述相关性矩阵，获取所述中间光流检测信息和中间深度检测信息。
[0019]在一种可能实施方式中，所述目标摄像头为双目摄像头，所述图像帧包括左目图像和右目图像，所述第一下采样图像包括第一左目下采样图像和第一右目下采样图像，所述第二下采样图像包括第二左目下采样图像和第二右目下采样图像；
[0020]所述基于所述第一下采样图像和所述第二下采样图像，获取相关性矩阵包括：
[0021]基于所述第一左目下采样图像和所述第二左目下采样图像，获取第一相关性矩阵，所述第一相关性矩阵用于表征所述图像帧和所述图像帧的上一帧在所述采样倍率下的左目图像的像素关联程度；
[0022]基于所述第一左目下采样图像和所述第一右目下采样图像，获取第二相关性矩阵，所述第二相关性矩阵用于表征所述图像帧的左目图像和右目图像在所述采样倍率下的视差；
[0023]基于所述第二左目下采样图像和所述第二右目下采样图像，获取第三相关性矩阵，所述第三相关性矩阵用于表征所述图像帧的上一帧的左目图像和右目图像在所述采样倍率下的视差；
[0024]基于所述第二相关性矩阵和所述第三相关性矩阵，获取第四相关性矩阵，所述第四相关性矩阵用于表征所述图像帧和所述图像帧的上一帧在所述采样倍率下的视差关联程度。
[0025]在一种可能实施方式中，所述基于所述第一下采样图像和所述第二下采样图像，获取相关性矩阵包括：
[0026]对所述第一下采样图像中的每个像素，确定包含所述像素和所述像素的多个邻域像素的滑动窗口；
[0027]基于目标步长，在所述第二下采样图像上按照所述滑动窗口进行滑动采样，得到所述像素与所述第二下采样图像中的每个像素之间的相关性系数。
[0028]在一种可能实施方式中，所述在所述第二下采样图像上按照所述滑动窗口进行滑动采样，得到所述像素与所述第二下采样图像中的每个像素之间的相关性系数包括：
[0029]从所述第一下采样图像中，确定包含所述像素和所述像素的多个邻域像素所构成的第一向量；
[0030]对任一次滑动采样，从所述第二下采样图像中，确定所述滑动窗口内包含的目标像素和所述目标像素的多个邻域像素所构成的第二向量；
[0031]将所述第一向量和所述第二向量之间的点积确定为所述像素和所述目标像素之间的相关性系数。
[0032]在一种可能实施方式中，所述基于所述中间光流检测信息和中间深度检测信息，获取所述图像帧的光流检测信息和深度检测信息包括：
[0033]基于所述中间光流检测信息、所述中间深度检测信息和所述第二下采样图像，获
取第三下采样图像，所述第三下采样图像为基于所述图像帧的上一帧预测得到与所述采样倍率对应的下采样图像；
[0034]对所述第三下采样图像进行上采样，得到目标采样倍率对应的上采样图像，所述目标采样倍率在所述多个采样倍率中小于且最接近所述采样倍率；
[0035]对所述上采样图像和所述图像帧对应的图像集中与所述目标采样倍率对应的下采样图像，迭代执行所述获取中间光流检测信息和中间深度检测信息的步骤；
[0036]在任一次迭代过程中，在得到的上采样图像的尺寸与所述图像帧的尺寸相同时，输出基于所述上采样图像和所述图像帧获取得到的所述光流检测信息和深度检测信息。
[0037]在一种可能实施方式中，所述对所述多个图像帧分别进行下采样，得到对应的多个图像集包括：
[0038]对所述多个图像帧中的每个图像帧，将所述图像帧输入到串联的多个卷积层中，通过所述多个卷积层对所述图像帧进行卷积处理，得到多个下采样图像，其中，每个下采样图像均为一个卷积层输出的特征图；
[0039]将所述图像帧和所述多个下采样图像确定为所述图像帧对应的图像集。
[0040]在一种可能实施方式中，所述目标摄像头为车载摄像头，所述多个图像帧为所述车载摄像头录制的视频流中连续的多个视频帧。
[0041]一方面，提供了一种图像处理装置，该装置包括：
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取目标摄像头采集的多个图像帧，所述多个图像帧具有时序上的关联关系；对所述多个图像帧分别进行下采样，得到对应的多个图像集，每个图像集中包括对应的图像帧和基于所述图像帧下采样得到的图像；对所述多个图像帧中的任一图像帧，基于所述图像帧对应的图像集和所述图像帧的上一帧对应的图像集，获取所述图像帧的光流检测信息和深度检测信息，所述光流检测信息用于表征所述图像帧和上一帧之间同一对象的运动情况，所述深度检测信息用于表征所述图像帧中的对象与所述目标摄像头的距离。2.根据权利要求1所述的方法，其特征在于，所述多个图像集中的每个图像集包括对应的图像帧和基于所述图像帧以不同采样倍数下采样得到的多个下采样图像，其中，所述下采样图像的尺寸与采样倍数呈负相关，且所述下采样图像的尺寸小于所述图像帧的尺寸。3.根据权利要求2所述的方法，其特征在于，所述基于所述图像帧对应的图像集和所述图像帧的上一帧对应的图像集，获取所述图像帧的光流检测信息和深度检测信息包括：从所述图像帧对应的图像集和所述图像帧的上一帧对应的图像集中，确定多个采样倍率各自对应的下采样图像对；基于每个所述下采样图像对，获取中间光流检测信息和中间深度检测信息；基于所述中间光流检测信息和中间深度检测信息，获取所述图像帧的光流检测信息和深度检测信息。4.根据权利要求3所述的方法，其特征在于，所述基于每个所述下采样图像对，获取中间光流检测信息和中间深度检测信息包括：对任一采样倍率，从所述图像帧对应的图像集中，获取所述采样倍率对应的第一下采样图像；从所述图像帧的上一帧对应的图像集中，获取所述采样倍率对应的第二下采样图像；基于所述第一下采样图像和所述第二下采样图像，获取相关性矩阵，所述相关性矩阵用于表征所述图像帧和所述图像帧的上一帧在所述采样倍率下的像素关联程度；基于所述相关性矩阵，获取所述中间光流检测信息和中间深度检测信息。5.根据权利要求4所述的方法，其特征在于，所述目标摄像头为双目摄像头，所述图像帧包括左目图像和右目图像，所述第一下采样图像包括第一左目下采样图像和第一右目下采样图像，所述第二下采样图像包括第二左目下采样图像和第二右目下采样图像；所述基于所述第一下采样图像和所述第二下采样图像，获取相关性矩阵包括：基于所述第一左目下采样图像和所述第二左目下采样图像，获取第一相关性矩阵，所述第一相关性矩阵用于表征所述图像帧和所述图像帧的上一帧在所述采样倍率下的左目图像的像素关联程度；基于所述第一左目下采样图像和所述第一右目下采样图像，获取第二相关性矩阵，所述第二相关性矩阵用于表征所述图像帧的左目图像和右目图像在所述采样倍率下的视差；基于所述第二左目下采样图像和所述第二右目下采样图像，获取第三相关性矩阵，所述第三相关性矩阵用于表征所述图像帧的上一帧的左目图像和右目图像在所述采样倍率下的视差；基于所述第二相关性矩阵和所述第三相关性矩阵，获取第四相关性矩阵，所述第四相
关性矩阵用于表征所述图像帧和所述图像帧的上一帧在所述采样倍率下的视差关联程度。6.根据权利要求4所述的方法，其特征在于，所述基于所述第一下采样图像和所述第二下采样图像，获取相关性矩阵包括：对所述第一下采样图像中的每个像素，确定包含所述像素和所述像素的多个邻域像素的滑动窗口；基于目标步长，在所述第二下采样图像上按照所述滑动窗口进行滑动采样，得到所述像素与所述第二下采样图像中的每个像素之间的相关性系数。7.根据权利要求6所述的方法，其特征在于，所述在所述第二下采样图像上按照所述滑动窗口进行滑动采样，得到所述像素与所述第二下采样图像中的每个像素之间的相关性系数包括：从所述第一下采样图像中，确定包含所述像素和所述像素的多个邻域像素所构成的第一向量；对任一次滑动采样，从所述第二下采样图像中，确定所述滑动窗口内包含的目标像素和所述目标像素的多个邻域像素所构成的第二向量；将所述第一向量和所述第二向量之间的点积确定为所述像素和所述目标像素之间的相关性系数。8.根据权利要求3所述的方法，其特征在于，所述基于所述中间光流检测信息和中间深度检测信息，获取所述图像帧的光流检测信息和深度检测信息包括：基于所述中间光流检测信息、所述中间深度检测信息和所述第二下采样图像，获取第三下采样图像，所述第三下采样图像为基于所述图像帧的上一帧预测得到与所述采样倍率对应的下采样图像；对所述第三下采样图像进行上采样，得到目标采样倍率对应的上采样图像，所述目标采样倍率在所述多个采样倍率中小于且最接近所述采样倍率；对所述上采样图像和所述图像帧对应的图像集中与所述目标采样倍率对应的下采样图像，迭代执行所述获取中间光流检测信息和中间深度检测信息的步骤；在任一次迭代过程中，在得到的上采样图像的尺寸与所述图像帧的尺寸相同时，输出基于所述上采样图像和所述图像帧获取得到的所述光流检测信息和深度检测信息。9.根据权利要求1所述的方法，其特征在于，所述对所述多个图像帧分别进行下采样，得到对应的多个图像集包括：对所述多个图像帧中的每个图像帧，将所述图像帧输入到串联的多个卷积层中，通过所述多个卷积层对所述图像帧进行卷积处理，得到多个下采样图像，其中，每个下采样图像均为一个卷积层输出的特征图；将所述图像帧和所述多个下采样图像确定为所述图像帧对应的图像集。10.根据权利要求1所述的方法，其特征在于，所述目标摄像头为车载摄像头，所述多个图像帧为所述车载摄像头录制的视频流中连续的多个视频帧。11.一种图像处理装置，其特征在于，所述装置包括：第一获取模块，用于获取目标摄像头采集的多个图像帧，所述多个图像帧具有时序上的关联关系；下采样模块，用于对所述多个图像帧分别进行下采样，得到对应的多个图像集，每个图

【专利技术属性】
技术研发人员：李沛东，徐双捷，崔迪潇，
申请(专利权)人：苏州智加科技有限公司，
类型：发明
国别省市：