本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质；其中的方法包括：确定图像的RGB特征和深度特征；基于所述深度特征，得到深度特征权重；基于所述深度特征权重，将所述深度特征及所述RGB特征进行融合，得到融合特征；基于所述融合特征，得到所述图像的处理结果。本公开实施例可提升图像处理的准确率。
Image processing method and device, electronic device and storage medium
The disclosed embodiment discloses an image processing method, apparatus, electronic equipment and storage medium, wherein the methods include: determining the RGB features and depth features of an image; obtaining the depth feature weight based on the depth feature; and fusing the depth feature and the RGB feature based on the depth feature weight. The fusion feature is obtained, and the processing result of the image is obtained based on the fusion characteristics. The public embodiment can improve the accuracy of image processing.
【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其是一种图像处理方法及装置、电子设备和存储介质。
技术介绍
在电子
中，深度图像是指图像采集设备中摄像头模组的镜头与拍摄物体之间垂直距离的相关信息。近年来，随着深度相机的发展，深度图像有助于更好的探索计算机视觉以及三维空间问题。
技术实现思路
本公开实施例提供一种图像处理方法及装置、电子设备和存储介质的技术方案。本公开实施例提供的一种图像处理方法，包括：确定图像的RGB特征和深度特征；基于所述深度特征，得到深度特征权重；基于所述深度特征权重，将所述深度特征及所述RGB特征进行融合，得到融合特征；基于所述融合特征，得到所述图像的处理结果。在一种可选方式中，所述基于所述深度特征，得到深度特征权重，包括：基于所述RGB特征和所述深度特征，得到深度特征权重。在一种可选方式中，所述基于所述RGB特征和所述深度特征，得到深度特征权重，包括：对所述RGB特征和所述深度特征进行拼接处理，得到拼接特征；基于所述拼接特征，得到深度特征权重。在一种可选方式中，所述基于所述拼接特征，得到深度特征权重，包括：对所述拼接特征进行逐级过滤处理，得到多个区域特征；基于所述多个区域特征，得到深度特征权重。在一种可选方式中，所述基于所述多个区域特征，得到深度特征权重，包括：将所述多个区域特征进行合并，得到所述深度特征权重。在一种可选方式中，所述对所述拼接特征进行逐级过滤处理，得到多个区域特征，包括：对所述多个区域特征中的第i-1区域特征进行过滤处理，得到所述多个区域特征中的第i区域特征，其中，所述第i-1区域特征是基于所述拼接特征得到的，i>1。在一种可选方式中，所述对所述多个区域特征中的第i-1区域特征进行过滤处理，得到所述多个区域特征中的第i区域特征，包括：对所述第i-1区域特征进行信息过滤，得到第一过滤特征；对所述第i-1区域特征进行信息备份，得到备份特征；基于所述第一过滤特征和所述备份特征，得到所述第i区域特征。在一种可选方式中，所述对所述第i-1区域特征进行信息过滤，得到第一过滤特征，包括：基于所述拼接特征和所述第i-1区域特征，得到过滤参数；基于所述过滤参数对所述第i-1区域特征进行信息过滤，得到所述第一过滤特征。在一种可选方式中，所述对所述第i-1区域特征进行信息备份，得到备份特征，包括：基于所述拼接特征和所述第i-1区域特征，得到第二过滤特征；基于所述过滤参数对所述第二过滤特征进行备份，得到所述备份特征。在一种可选方式中，所述基于所述第一过滤特征和所述备份特征，得到所述第i区域特征，包括：将所述第一过滤特征和所述备份特征进行合并，得到所述第i区域特征。在一种可选方式中，所述基于所述深度特征权重，将所述深度特征及所述RGB特征进行融合，得到融合特征，包括：基于所述深度特征权重，将深度特征及所述RGB特征进行深度残差连接，得到融合特征。在一种可选方式中，所述基于所述深度特征权重，将所述深度特征及所述RGB特征进行深度残差连接，得到融合特征，包括：将所述深度特征权重与所述深度特征相乘，得到加权深度特征；对所述加权深度特征和所述RGB特征进行连接，得到融合特征。在一种可选方式中，所述确定图像的RGB特征和深度特征，包括：利用深度神经网络，对图像对应的RGB图像和深度图像分别进行特征提取，得到所述图像的RGB特征和深度特征。在一种可选方式中，所述利用深度神经网络，对所述图像对应的RGB图像和深度图像分别进行特征提取，得到所述图像的RGB特征和深度特征，包括：利用所述深度神经网络中具有相同结构的神经网络单元分别对所述图像对应的RGB图像和深度图像分别进行特征提取，得到所述图像的RGB特征和深度特征。本公开实施例提供的一种图像处理装置，包括：特征确定单元，用于确定图像的RGB特征和深度特征；权重确定单元，用于基于所述深度特征，得到深度特征权重；融合单元，用于基于所述深度特征权重，将所述深度特征及所述RGB特征进行融合，得到融合特征；处理单元，用于基于所述融合特征，得到所述图像的处理结果。在一种可选方式中，所述权重确定单元具体用于：基于所述RGB特征和所述深度特征，得到深度特征权重。在一种可选方式中，所述权重确定单元包括：拼接子单元，用于对所述RGB特征和所述深度特征进行拼接处理，得到拼接特征；权重得到子单元，用于基于所述拼接特征，得到深度特征权重。在一种可选方式中，所述权重得到子单元具体用于：对所述拼接特征进行逐级过滤处理，得到多个区域特征；基于所述多个区域特征，得到深度特征权重。在一种可选方式中，所述权重得到子单元具体用于：将所述多个区域特征进行合并，得到所述深度特征权重。在一种可选方式中，所述权重得到子单元具体用于：对所述多个区域特征中的第i-1区域特征进行过滤处理，得到所述多个区域特征中的第i区域特征，其中，所述第i-1区域特征是基于所述拼接特征得到的，i>1。在一种可选方式中，所述权重得到子单元具体用于：对所述第i-1区域特征进行信息过滤，得到第一过滤特征；对所述第i-1区域特征进行信息备份，得到备份特征；基于所述第一过滤特征和所述备份特征，得到所述第i区域特征。在一种可选方式中，所述权重得到子单元具体用于：基于所述拼接特征和所述第i-1区域特征，得到过滤参数；基于所述过滤参数对所述第i-1区域特征进行信息过滤，得到所述第一过滤特征。在一种可选方式中，所述权重得到子单元具体用于：基于所述拼接特征和所述第i-1区域特征，得到第二过滤特征；基于所述过滤参数对所述第二过滤特征进行备份，得到所述备份特征。在一种可选方式中，所述权重得到子单元具体用于：将所述第一过滤特征和所述备份特征进行合并，得到所述第i区域特征。在一种可选方式中，所述融合单元具体用于：基于所述深度特征权重，将深度特征及所述RGB特征进行深度残差连接，得到融合特征。在一种可选方式中，所述融合单元包括：特征加权子单元，用于将所述深度特征权重与所述深度特征相乘，得到加权深度特征；连接子单元，用于对所述加权深度特征和所述RGB特征进行连接，得到融合特征。在一种可选方式中，所述特征确定单元具体用于：利用深度神经网络，对图像对应的RGB图像和深度图像分别进行特征提取，得到所述图像的RGB特征和深度特征。在一种可选方式中，所述特征确定单元包括：特征提取子单元，用于利用所述深度神经网络中具有相同结构的神经网络单元分别对所述图像对应的RGB图像和深度图像分别进行特征提取；特征得到子单元，用于得到所述图像的RGB特征和深度特征。本公开实施例提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法。本公开实施例提供的一种电子设备，包括用于存储计算机程序的存储器和处理器，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。基于本公开实施例提供的图像处理方法，针对图像的RGB图像以及深度图像，将深度图像以深度特征权重融合到RGB图像中。由于深度图像与RGB图像的关注点不同(RGB图像主要关注于物体的外观包括颜色、种类等；而深度图像主要关注于物体的外形轮廓)，而本公开实施例将二者进行有效融合，从而可提升图像处理的准确率等性能。下本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，包括：确定图像的RGB特征和深度特征；基于所述深度特征，得到深度特征权重；基于所述深度特征权重，将所述深度特征及所述RGB特征进行融合，得到融合特征；基于所述融合特征，得到所述图像的处理结果。
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：确定图像的RGB特征和深度特征；基于所述深度特征，得到深度特征权重；基于所述深度特征权重，将所述深度特征及所述RGB特征进行融合，得到融合特征；基于所述融合特征，得到所述图像的处理结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述深度特征，得到深度特征权重，包括：基于所述RGB特征和所述深度特征，得到深度特征权重。3.根据权利要求2所述的方法，其特征在于，所述基于所述RGB特征和所述深度特征，得到深度特征权重，包括：对所述RGB特征和所述深度特征进行拼接处理，得到拼接特征；基于所述拼接特征，得到深度特征权重。4.根据权利要求3所述的方法，其特征在于，所述基于所述拼接特征，得到深度特征权重，包括：对所述拼接特征进行逐级过滤处理，得到多个区域特征；基于所述多个区域特征，得到深度特征权重。5.根据权利要求4所述的方法，其特征在于，所述基于所述多个区域特征，得到深度特征权重，包括：将所述多个区域特征进行合并，得到所述深度特征权重。6.根据权利要求4或5所述的方法，其特征在于，所述对所述拼接特征进行逐级过滤处理，得到多个区域特征，包括：对所述多个区域...
【专利技术属性】
技术研发人员：徐正天，刘枢，石建萍，卢策吾，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。