一种图像处理方法、装置及电子设备制造方法及图纸

本申请公开了一种图像处理方法、装置及电子设备，涉及信息技术领域，以解决现有模型去噪效果不佳的问题。该方法包括：对第一图像进行编码处理，得到所述第一图像的特征图；根据所述第一图像中各像素点的位置信息与所述特征图中各特征点的位置信息，确定所述第一图像中各像素点对应的特征点；根据所述第一图像中各像素点与对应的特征点的相对位置，对所述特征图进行解码处理，得到去噪后的第一图像。本申请实施例通过引入输入图像的位置信息，可以帮助更好地理解输入特征图的空间结构，从而获得更好的图像去噪效果。得更好的图像去噪效果。得更好的图像去噪效果。

【技术实现步骤摘要】
一种图像处理方法、装置及电子设备


[0001]本申请涉及信息
，尤其涉及一种图像处理方法、装置及电子设备。

技术介绍

[0002]现有三维人脸识别技术中，通常利用深度人脸数据进行人脸识别，但深度相机采集到的深度图像数据往往包含有很大的噪声，从而会影响网络的学习和泛化能力，甚至对最终的识别结果产生干扰。
[0003]针对该问题，现有技术中提出了一种基于编码器
‑
解码器的三维特征细化模型(3D Feature Refinement Module，3D
‑
FRM)，用于对深度人脸数据进行去噪和细化，以提高深度人脸数据的质量。但是，该模型结构全部由传统的卷积神经网络构成，而传统的卷积神经网络的空间感知能力较差，使得模型去噪效果不佳。

技术实现思路

[0004]本申请实施例提供一种图像处理方法、装置及电子设备，以解决现有模型去噪效果不佳的问题。
[0005]第一方面，本申请实施例提供了一种图像处理方法，包括：
[0006]对第一图像进行编码处理，得到所述第一图像的特征图；
[0007]根据所述第一图像中各像素点的位置信息与所述特征图中各特征点的位置信息，确定所述第一图像中各像素点对应的特征点；
[0008]根据所述第一图像中各像素点与对应的特征点的相对位置，对所述特征图进行解码处理，得到去噪后的第一图像。
[0009]可选地，所述根据所述第一图像中各像素点的位置信息与所述特征图中各特征点的位置信息，确定所述第一图像中各像素点对应的特征点，包括：
[0010]根据所述第一图像的第一像素点的位置信息和所述特征图中各特征点的位置信息，确定所述第一像素点的位置分别与所述特征图中各特征点的位置的距离，其中，所述第一像素点为所述第一图像中的任一像素点；
[0011]将所述特征图中位置距离所述第一像素点的位置最近的特征点确定为所述第一像素点对应的特征点。
[0012]可选地，所述根据所述第一图像中各像素点与对应的特征点的相对位置，对所述特征图进行解码处理，得到去噪后的第一图像，包括：
[0013]确定第一像素点与所述第一像素点对应的特征点的第一相对位置坐标，其中，所述第一像素点为所述第一图像中的任一像素点；
[0014]将所述第一相对位置坐标与所述第一像素点对应的特征点的特征向量在通道维度进行拼接，得到所述第一像素点对应的拼接特征向量；
[0015]对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的第一图像。
[0016]可选地，所述对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的第一图像，包括：
[0017]将所述第一图像中各像素点对应的拼接特征向量输入解码网络，获得所述解码网络输出的去噪后的第一图像，其中，所述解码网络包括多层感知机。
[0018]可选地，所述第一图像为人脸深度图像；
[0019]所述对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的所第一图像，包括：
[0020]对所述人脸深度图像中各像素点对应的拼接特征向量进行解码，得到所述人脸深度图像中各像素点的深度值，所述各像素点的深度值构成去噪后的人脸深度图像。
[0021]可选地，所述对第一图像进行编码处理，得到所述第一图像的特征图，包括：
[0022]将所述第一图像输入编码网络，其中，所述编码网络包括第一卷积层和M个串联的降采样模块，所述降采样模块包括降采样层、N个串联的残差连接块和第二卷积层，N为大于1的整数，M为正整数；
[0023]通过所述第一卷积层对所述第一图像进行特征提取；
[0024]通过所述M个串联的降采样模块对所述第一卷积层提取的所述第一图像的图像特征进行处理，得到所述特征图，其中，所述降采样层用于对输入的图像特征进行降采样，所述N个串联的残差连接块用于对降采样后的图像特征进行残差连接，所述第二卷积层用于对残差连接后的图像特征进行特征整合。
[0025]可选地，所述降采样模块还包括特征连接层，用于对所述第二卷积层输出的图像特征与所述降采样层输出的图像特征进行逐像素相加。
[0026]第二方面，本申请实施例还提供一种图像处理装置，包括：
[0027]编码模块，用于对第一图像进行编码处理，得到所述第一图像的特征图；
[0028]第一确定模块，用于根据所述第一图像中各像素点的位置信息与所述特征图中各特征点的位置信息，确定所述第一图像中各像素点对应的特征点；
[0029]解码模块，用于根据所述第一图像中各像素点与对应的特征点的相对位置，对所述特征图进行解码处理，得到去噪后的第一图像。
[0030]可选地，所述第一确定模块包括：
[0031]第一确定单元，用于根据所述第一图像的第一像素点的位置信息和所述特征图中各特征点的位置信息，确定所述第一像素点的位置分别与所述特征图中各特征点的位置的距离，其中，所述第一像素点为所述第一图像中的任一像素点；
[0032]第二确定单元，用于将所述特征图中位置距离所述第一像素点的位置最近的特征点确定为所述第一像素点对应的特征点。
[0033]可选地，所述解码模块包括：
[0034]第三确定单元，用于确定第一像素点与所述第一像素点对应的特征点的第一相对位置坐标，其中，所述第一像素点为所述第一图像中的任一像素点；
[0035]拼接单元，用于将所述第一相对位置坐标与所述第一像素点对应的特征点的特征向量在通道维度进行拼接，得到所述第一像素点对应的拼接特征向量；
[0036]解码单元，用于对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的第一图像。
[0037]可选地，所述解码单元用于将所述第一图像中各像素点对应的拼接特征向量输入解码网络，获得所述解码网络输出的去噪后的第一图像，其中，所述解码网络包括多层感知机。
[0038]可选地，所述第一图像为人脸深度图像；
[0039]所述解码单元用于对所述人脸深度图像中各像素点对应的拼接特征向量进行解码，得到所述人脸深度图像中各像素点的深度值，所述各像素点的深度值构成去噪后的人脸深度图像。
[0040]可选地，所述编码模块为编码网络，所述编码网络包括第一卷积层和M个串联的降采样模块，所述降采样模块包括降采样层、N个串联的残差连接块和第二卷积层，N为大于1的整数，M为正整数；
[0041]所编码网络用于通过所述第一卷积层对所述第一图像进行特征提取，通过所述M个串联的降采样模块对所述第一卷积层提取的所述第一图像的图像特征进行处理，得到所述特征图，其中，所述降采样层用于对输入的图像特征进行降采样，所述N个串联的残差连接块用于对降采样后的图像特征进行残差连接，所述第二卷积层用于对残差连接后的图像特征进行特征整合。
[0042]可选地，所述降采样模块还包括特征连接层，用于对所述第二卷积层输出的图像特征与所述降采样层输出的图像特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对第一图像进行编码处理，得到所述第一图像的特征图；根据所述第一图像中各像素点的位置信息与所述特征图中各特征点的位置信息，确定所述第一图像中各像素点对应的特征点；根据所述第一图像中各像素点与对应的特征点的相对位置，对所述特征图进行解码处理，得到去噪后的第一图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像中各像素点的位置信息与所述特征图中各特征点的位置信息，确定所述第一图像中各像素点对应的特征点，包括：根据所述第一图像的第一像素点的位置信息和所述特征图中各特征点的位置信息，确定所述第一像素点的位置分别与所述特征图中各特征点的位置的距离，其中，所述第一像素点为所述第一图像中的任一像素点；将所述特征图中位置距离所述第一像素点的位置最近的特征点确定为所述第一像素点对应的特征点。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像中各像素点与对应的特征点的相对位置，对所述特征图进行解码处理，得到去噪后的第一图像，包括：确定第一像素点与所述第一像素点对应的特征点的第一相对位置坐标，其中，所述第一像素点为所述第一图像中的任一像素点；将所述第一相对位置坐标与所述第一像素点对应的特征点的特征向量在通道维度进行拼接，得到所述第一像素点对应的拼接特征向量；对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的第一图像。4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的第一图像，包括：将所述第一图像中各像素点对应的拼接特征向量输入解码网络，获得所述解码网络输出的去噪后的第一图像，其中，所述解码网络包括多层感知机。5.根据权利要求3所述的方法，其特征在于，所述第一图像为人脸深度图像；所述对所述第一图像中各像素点对应的拼接特征向量进行解码，得到去噪后的所第一图像，包括：对...

【专利技术属性】
技术研发人员：王珂，陈茜，黄文辉，邓超，冯俊兰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：