眼镜去除方法、装置及通信设备制造方法及图纸

本发明专利技术提供一种眼镜去除方法、装置及通信设备，该方法包括：将初始人脸图像切分为第一图像块、第二图像块以及第三图像块；通过眼镜去除浅层卷积神经网络对第二图像块依次进行上采样操作、下采样操作，并通过卷积、池化实现对图像的重构，得到大小与第二图像块一致的重构无眼镜图像块；将重构无眼镜图像块、第一图像块以及第三图像块进行拼合，得到完整的无眼镜人脸图像；本发明专利技术实施例先通过上采样获得更高分辨率的特征图，提高重构图像质量；然后通过池化、双支卷积模块等操作对特征图进行特征提取与重构，该过程同时是一个下采样过程，经过上述处理特征图尺寸下降到原图大小；该神经网络层数较少，从而保持较少的计算量和较快的前向运行效率。前向运行效率。前向运行效率。

【技术实现步骤摘要】
眼镜去除方法、装置及通信设备


[0001]本专利技术涉及通信
，尤其是指一种眼镜去除方法、装置及通信设备。

技术介绍

[0002]眼镜作为人脸图像中最常见的遮挡物之一，会对人脸特征的提取造成干扰，导致人脸识别准确度降低。按照使用的技术不同，现有的人脸图像眼镜去除方法可大致分为基于主成分分析(Principal Component Analysis，PCA)的传统方法和基于卷积神经网络(Convolution Neural Networks，CNN)的方法两类。其中，基于PCA的眼镜去除方法提出时间较早，其原理是通过主成分分析寻找数据中的最主要的成分，去除高维向量空间中的冗余和噪声，利用这些主成分来表示原始数据。基于PCA方法重建的人脸图像，眼镜所带来的重建误差会被分散整幅重建人脸图像中，导致重建后的无眼镜人脸图像中有明显的眼镜痕迹，且图像会丢失大量细节。另一种可行的眼镜去除方法是构建合适的卷积神经网络，利用端到端的方式进行训练，在训练过程中通过反向传播机制去拟合戴眼镜和不戴眼镜人脸图像之间的映射关系，从而实现人脸图像中眼镜的自动去除。基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼镜去除方法，其特征在于，包括：将初始人脸图像切分为第一图像块、第二图像块以及第三图像块，其中，所述第二图像块包含完整的眼镜部分；将所述第二图像块作为眼镜去除浅层卷积神经网络的输入，获取所述眼镜去除浅层卷积神经网络输出的与第二图像块大小一致的重构无眼镜图像块；其中，所述眼镜去除浅层卷积神经网络用于对所述第二图像块依次进行上采样操作、下采样操作，并通过卷积、池化实现对图像的重构，得到与第二图像块大小一致的所述重构无眼镜图像块；将所述重构无眼镜图像块、所述第一图像块以及所述第三图像块进行拼合，得到完整的无眼镜人脸图像。2.根据权利要求1所述的方法，其特征在于，所述眼镜去除浅层卷积神经网络对所述第二图像块的处理步骤包括：利用反卷积，双线性差值算法或超分辨率算法对所述第二图像块进行上采样操作，得到高分辨率的第一特征图；通过卷积、池化实现对第一特征图的重构，并通过下采样操作得到大小与所述第二图像块一致的第二特征图；使用目标卷积层将所述第二特征图映射到原像素空间，得到所述重构无眼镜图像块。3.根据权利要求2所述的方法，其特征在于，所述通过卷积、池化实现对第一特征图的重构、并通过下采样操作得到大小与所述第二图像块一致的第二特征图，包括：通过滤波器的最大池化操作对所述第一特征图中亮度低于皮肤的眼镜框进行去除，并使用周围更高亮度的皮肤像素对眼镜遮挡区域进行填充，得到第三特征图；通过双支卷积模块对所述第三特征图分别进行卷积处理，得到第四特征图和第五特征图；将所述第四特征图和所述第五特征图合并得到第六特征图；通过滤波器的平均池化操作对所述第六特征图中亮度高于皮肤的眼镜区域进行去除，得到所述第二特征图。4.根据权利要求3所述的方法，其特征在于，所述通过双支卷积模块对所述第三特征图分别进行卷积处理，得到第四特征图和第五特征图，包括：将所述第三特征图沿通道方向均分为两组特征图；将一组特征图输入到所述双支卷积模块的第一卷积层，通过所述第一卷积层输出所述第四特征图；将另一组特征图输入到所述双支卷积模块的第二卷积层和第三卷积层，通过所述第三卷积层输出所述第五特征图。5.根据权利要求4所述的方法，其特征在于，所述初始人脸图像的大小为128
×
128；所述第一图像块的大小为128
×
10，所述第二图像块的大小为128
×
64；所述第三图像块的大小为128
×
54。6.根据权利要求5所述的方法，其特征在于，所述第一特征图的大小为256
×
128，输出通道数为128。7.根据权利要求6所述的方法，其特征在于，所述最大池化操作的大小为2
×
2，步长为2；所述第三特征图的大小为128
×
64，输出通道数为128；
所述平均池化操作的大小为3
×
3，步长为1，填充为1；所述第二特征图的大小为128
×
64，输出通道数为128。8.根据权利要求7所述的方法，其特征在于，所述第一卷积层的卷积核大小为3
×
3，步长为1，填充为1；所述第四特征图的大小为128
×
64，输出通道数为64；所述第二卷积层的卷积核大小为3
×
3，步长为1，填充为1；所述第二卷积层输出的特征图的大小为128
×
64，输出通道数为128；所述第三卷积...

【专利技术属性】
技术研发人员：魏颖慧，于渊，王柄璇，张悦，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：