本申请提供了一种深度图像估计方法、装置、电子设备及存储介质。所述方法包括：将采集的目标车辆在目标时刻的多幅环视图像输入至深度估计模型；所述深度估计模型包括：基于卷积神经网络的特征提取层和基于注意力机制的特征交互层，所述多幅环视图像中每幅环视图像均包含有与相邻环视图像的重叠区域；调用所述特征提取层对所述多幅环视图像的图像特征进行处理，得到所述多幅环视图像对应的目标特征图；调用所述特征交互层对所述目标特征图，及所述目标特征图对应的相邻两幅目标特征图进行特征交互处理，得到所述多幅环视图像对应的深度图像。本申请可以提高深度估计的精度，实现环视效果的成本较低。现环视效果的成本较低。现环视效果的成本较低。
【技术实现步骤摘要】
深度图像估计方法、装置、电子设备及存储介质
[0001]本申请涉及图像处理
，尤其涉及一种深度图像估计方法、装置、电子设备及存储介质。
技术介绍
[0002]在自动驾驶领域中，如何获取车辆行人等目标的深度信息，是当前很多研究中较为重要的技术点，如3D重建，障碍物检测，SLAM(Simultaneous Localization andMapping，即时定位与地图构建)等等。
[0003]目前，深度信息的获取方法通常是采用单目视觉深度估计方法和双目深度估计方法。其中，双目深度估计方法在进行深度估计时，通常是需要左目相机和右目相机之间至少存在百分之八十的重叠区域，若在车上设置多个双目相机实现环视效果，成本较高，同时影响车辆美观。单目视觉深度估计方法是从单幅RGB图像中估计深度的方法，而仅凭单幅RGB图像进行深度估计的方式得到的深度信息效果较差。
技术实现思路
[0004]本申请实施例提供一种深度图像估计方法、装置、电子设备及存储介质，以解决相关技术中双目深度估计的方式成本较高，同时影响车辆美观，而单目视觉深度估计的方式效果较差的问题。
[0005]为了解决上述技术问题，本申请实施例是这样实现的：
[0006]第一方面，本申请实施例提供了一种深度图像估计方法，包括：
[0007]将采集的目标车辆在目标时刻的多幅环视图像输入至深度估计模型；所述深度估计模型包括：基于卷积神经网络的特征提取层和基于注意力机制的特征交互层，所述多幅环视图像中每幅环视图像均包含有与相邻环视图像的重叠区域；
[0008]调用所述特征提取层对所述多幅环视图像的图像特征进行处理，得到所述多幅环视图像对应的目标特征图；
[0009]调用所述特征交互层对所述目标特征图，及所述目标特征图对应的相邻两幅目标特征图进行特征交互处理，得到所述多幅环视图像对应的深度图像。
[0010]可选地，所述调用所述特征提取层对所述多幅环视图像的图像特征进行处理，得到所述多幅环视图像对应的目标特征图，包括：
[0011]调用所述特征提取层提取所述多幅环视图像的第一维度的图像特征，并对所述图像特征进行维度转换处理，输出包含第二维度的图像特征的目标特征图；所述第二维度的图像特征包含的语音信息多于所述第一维度。
[0012]可选地，所述特征交互层包括：自注意力机制层、交叉注意力机制层和第三归一化层，
[0013]所述调用所述特征交互层对所述目标特征图，及所述目标特征图对应的相邻两幅目标特征图进行特征交互处理，得到所述多幅环视图像对应的深度图像，包括：
[0014]调用所述自注意力机制层对所述目标特征图对应的三幅全连接特征图进行处理，得到所述目标特征图对应的注意力机制特征图；
[0015]调用所述交叉注意力机制层对所述注意力机制特征图对应的两幅全连接特征图、及与所述注意力机制特征图相邻的两幅注意力机制特征图对应的一幅全连接特征图进行特征融合处理，得到所述目标特征图对应的融合特征图；
[0016]调用所述第三归一化层对所述融合特征图中的图像特征进行归一化处理，得到所述目标特征图对应的环视图像的深度图像。
[0017]可选地，所述特征交互层还包括：第一归一化层和三个第一全连接层，其中，所述第一归一化层分别与所述三个第一全连接层的输入端连接，且所述三个第一全连接层的输出端分别与自注意力机制层连接，
[0018]在所述调用所述自注意力机制层对所述目标特征图对应的三幅全连接特征图进行处理，得到所述目标特征图对应的注意力机制特征图之前，还包括：
[0019]调用所述第一归一化层对所述目标特征图的图像特征进行归一化处理，得到所述目标特征图对应的第一归一化特征图；
[0020]调用所述三个第一全连接层分别根据对应的矩阵参数对所述第一归一化特征图进行处理，得到所述目标特征图对应的三幅全连接特征图。
[0021]可选地，所述特征交互层还包括：第二归一化层和三个第二全连接层，所述第二归一化层分别与所述三个第二全连接层的输入端连接，所述三个第二全连接层的输出端与所述交叉注意力机制层连接，
[0022]在所述调用所述交叉注意力机制层对所述注意力机制特征图对应的两幅全连接特征图、及与所述注意力机制特征图相邻的两幅注意力机制特征图对应的一幅全连接特征图进行特征融合处理，得到所述目标特征图对应的融合特征图之前，还包括：
[0023]调用所述第二归一化层对所述注意力机制特征图和所述第一归一化特征图进行特征融合及归一化处理，得到第二归一化特征图；
[0024]调用所述三个第二全连接层分别根据对应的矩阵参数对所述第二归一化特征图进行处理，得到所述注意力机制特征图对应的三幅全连接特征图。
[0025]可选地，所述调用所述第三归一化层对所述融合特征图中的图像特征进行归一化处理，得到所述目标特征图对应的环视图像的深度图像，包括：
[0026]调用所述第三归一化层对所述融合特征图和所述第二归一化特征图进行特征融合处理，生成目标融合特征图；
[0027]调用所述第三归一化层对所述目标融合特征图的图像特征进行归一化处理，得到所述目标特征图对应的环视图像的深度图像。
[0028]第二方面，本申请实施例提供了一种深度图像估计装置，包括：
[0029]环视图像输入模块，用于将采集的目标车辆在目标时刻的多幅环视图像输入至深度估计模型；所述深度估计模型包括：基于卷积神经网络的特征提取层和基于注意力机制的特征交互层，所述多幅环视图像中每幅环视图像均包含有与相邻环视图像的重叠区域；
[0030]目标特征图获取模块，用于调用所述特征提取层对所述多幅环视图像的图像特征进行处理，得到所述多幅环视图像对应的目标特征图；
[0031]深度图像获取模块，用于调用所述特征交互层对所述目标特征图，及所述目标特
征图对应的相邻两幅目标特征图进行特征交互处理，得到所述多幅环视图像对应的深度图像。
[0032]可选地，所述目标特征图获取模块包括：
[0033]目标特征图输出单元，用于调用所述特征提取层提取所述多幅环视图像的第一维度的图像特征，并对所述图像特征进行维度转换处理，输出包含第二维度的图像特征的目标特征图；所述第二维度的图像特征包含的语义信息多于所述第一维度。
[0034]可选地，所述特征交互层包括：自注意力机制层、交叉注意力机制层和第三归一化层，
[0035]所述深度图像获取模块包括：
[0036]注意力机制特征图获取单元，用于调用所述自注意力机制层对所述目标特征图对应的三幅全连接特征图进行处理，得到所述目标特征图对应的注意力机制特征图；
[0037]融合特征图获取单元，用于调用所述交叉注意力机制层对所述注意力机制特征图对应的两幅全连接特征图、及与所述注意力机制特征图相邻的两幅注意力机制特征图对应的一幅全连接特征图进行特征融合处理，得到所述目标特征图对应的融合特征图；
[0038]深度图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度图像估计方法，其特征在于，包括：将采集的目标车辆在目标时刻的多幅环视图像输入至深度估计模型；所述深度估计模型包括：基于卷积神经网络的特征提取层和基于注意力机制的特征交互层，所述多幅环视图像中每幅环视图像均包含有与相邻环视图像的重叠区域；调用所述特征提取层对所述多幅环视图像的图像特征进行处理，得到所述多幅环视图像对应的目标特征图；调用所述特征交互层对所述目标特征图，及所述目标特征图对应的相邻两幅目标特征图进行特征交互处理，得到所述多幅环视图像对应的深度图像。2.根据权利要求1所述的方法，其特征在于，所述调用所述特征提取层对所述多幅环视图像的图像特征进行处理，得到所述多幅环视图像对应的目标特征图，包括：调用所述特征提取层提取所述多幅环视图像的第一维度的图像特征，并对所述图像特征进行维度转换处理，输出包含第二维度的图像特征的目标特征图；所述第二维度的图像特征包含的语义信息多于所述第一维度。3.根据权利要求1所述的方法，其特征在于，所述特征交互层包括：自注意力机制层、交叉注意力机制层和第三归一化层，所述调用所述特征交互层对所述目标特征图，及所述目标特征图对应的相邻两幅目标特征图进行特征交互处理，得到所述多幅环视图像对应的深度图像，包括：调用所述自注意力机制层对所述目标特征图对应的三幅全连接特征图进行处理，得到所述目标特征图对应的注意力机制特征图；调用所述交叉注意力机制层对所述注意力机制特征图对应的两幅全连接特征图、及与所述注意力机制特征图相邻的两幅注意力机制特征图对应的一幅全连接特征图进行特征融合处理，得到所述目标特征图对应的融合特征图；调用所述第三归一化层对所述融合特征图中的图像特征进行归一化处理，得到所述目标特征图对应的环视图像的深度图像。4.根据权利要求3所述的方法，其特征在于，所述特征交互层还包括：第一归一化层和三个第一全连接层，其中，所述第一归一化层分别与所述三个第一全连接层的输入端连接，且所述三个第一全连接层的输出端分别与自注意力机制层连接，在所述调用所述自注意力机制层对所述目标特征图对应的三幅全连接特征图进行处理，得到所述目标特征图对应的注意力机制特征图之前，还包括：调用所述第一归一化层对所述目标特征图的图像特征进行归一化处理，得到所述目标特征图对应的第一归一化特征图；调用所述三个第一全连接层分别根据对应的矩阵参数对所述第一归一化特征图进行处理，得到所述目标特征图对应的三幅全连接特征图。5.根据权利要求4所述的方法，其特征在于，所述特征交互层还包括：第二归一化层和三个第二...
【专利技术属性】
技术研发人员：国显达，黄冠，都大龙，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。