面部解析设备和面部解析方法技术

本发明专利技术提供一种面部解析设备和面部解析方法。根据本发明专利技术的面部解析方法，包括：将待测样本输入到残差网络模块；使用训练好的残差网络模块对待测样本进行处理，其中，所述残差网络模块包括沿着从输入到输出方向排列的多个顺序结合的残差块，将所述多个顺序结合的残差块中的预定的第N个残差块的输出发送到残差反卷积网络模块；使用训练好的残差反卷积网络模块处理所述第N个残差块的输出，以得到分类图，其中，残差反卷积网络模块包括多个顺序结合的残差反卷积块，所述多个残差反卷积块分别与所述多个残差块中的第一个到第N个残差块对应。采用本发明专利技术的面部解析方法，能够提升人脸解析的性能，同时该方法模型尺寸大幅度减小。

【技术实现步骤摘要】
面部解析设备和面部解析方法
本专利技术涉及一种与计算机视觉有关的图像处理设备和图像处理方法，尤其涉及一种包括残差反卷积网络的面部解析设备和面部解析方法。
技术介绍
计算机视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉操作，并进一步做图形处理从而使信号成为更适合人眼观察或仪器检测的图像。计算机视觉使用计算机及相关设备来模拟生物视觉，其最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。在智能化和数字化的今天，计算机视觉得到越来越广泛的应用和极大的关注。使用深度学习做语意分割及解析是计算机视觉中的热点话题，所谓图像语意分割，简单而言就是给定一张图片，对图片上的每一个像素点进行分类。深度神经网络可以很好的抽象出图像低维特征。但神经网络在提取特征的同时，利用了池化层将特征的分辨率降低，而如何将低维高效的特征图转化为高维的像素级分类结果是分割任务的难题。主要有以下两种解决方案。第一种方案是利用‘hole’算法并且去池化层，尽可能减小网络分辨率的降低，并将最后得到的特征图双线性内插放大；第二种方案是将得到的低维特征通过堆叠的反卷积学习细节，将特征图放大。实现像素级高精度的人脸解析，需要得到高精度的特征图，进而对每个像素进行分类。然而，上述方法存在一定的技术缺陷。上述第一种方案，尽管在网络中尽可能的去除了池化层，减少分辨率的损失，但是后期还是需要用双线性内插方法得到高维特征图，还是存在了一定的精度损失。主要体现在边缘模糊。上述第二种方案，使用反卷积得到的特征图比第一种方案更为细致，但是仍然缺乏细节。主要体现在，堆叠的反卷积是不断的希望在一个粗糙的特征图上直接通过反卷积操作得到一个细致的特征图，这样会使得每个反卷积的函数并不能更加关注于细节的学习。随着深度网络技术的成熟，使用更深的深度神经网络一定意义上可以更好的提升准确率。堆叠的反卷积网络会随着网络的加深而变得难以训练，经本申请专利技术人研究分析，其原因有二。第一，随着网络层数的加深，会造成梯度弥散或者网络训练衰退，造成整个网络很难达到一个较优的位置。第二，堆叠的反卷积网络始终是利用上一层的粗糙特征图作为输入，期望通过反卷积输出一个细致的特征图，求解空间较大，不容易收敛。另外，对于诸如人脸的面部解析任务而言，人脸有很好的结构性，可以很容易的借助五点检测获取结构信息。这些先验信息可以帮助提升人脸解析的结果。但是目前现有的技术对于如何使用先验信息还没有一个良好的方案。
技术实现思路
本专利技术通过提供一种面部解析设备和一种面部解析方法，其至少基本上解决了上述问题和/或缺点，并可能提供另外的优点。此外，不要求示例性实施例必须克服所有上述缺点，示例性实施例可以不同时解决上述多个问题中的全部。另外，上面在
技术介绍
部分中描述的方案并不意味着该技术方案是现有技术。根据本专利技术的一方面，提供一种面部解析方法，包括：将待测样本输入到残差网络模块；使用训练好的残差网络模块对待测样本进行处理，其中，所述残差网络模块包括沿着从输入到输出方向排列的多个顺序结合的残差块，将所述多个顺序结合的残差块中的预定的第N个残差块的输出发送到残差反卷积网络模块，其中，N为自然数并且小于残差网络模块包括的所有残差块的总个数；使用训练好的残差反卷积网络模块处理所述第N个残差块的输出，以得到分类图，其中，残差反卷积网络模块包括多个顺序结合的残差反卷积块，所述多个残差反卷积块分别与所述多个残差块中的第一个残差块到第N个残差块对应。通过对面部识别训练样本执行的面部识别任务来对残差网络模块进行预训练，以优化残差网络模块中的权重参数；通过对面部解析训练样本执行的面部解析任务来对残差网络模块和残差反卷积网络模块进行联合训练，以优化残差反卷积网络模块中的权重参数并进一步优化残差网络模块中的权重参数。所述预训练步骤包括：将面部识别训练样本输入到残差网络模块并执行面部识别任务，对残差网络模块的最后一个块的输出进行平均池化，然后执行身份全连接操作，调节残差网络模块中的权重参数以使softmax函数最小化。其中，所述联合训练步骤包括：将残差网络模块中的权重参数初始化为预训练步骤中得到的权重参数，将残差反卷积网络模块的权重参数进行随机初始化，保持所述第N个残差块的输出作为残差反卷积网络模块的输入，将面部解析训练样本输入到残差网络模块，使残差网络模块和残差反卷积网络模块执行面部解析任务，调节残差反卷积网络模块中的权重参数和残差网络模块中的权重参数以使softmax函数最小化。所述面部解析方法还包括：使用训练好的先验信息模块获取待测样本的先验信息，并将先验信息与残差反卷积网络模块的输出进行融合，得到分割结果。获取待测样本的先验信息包括：比较待测样本与面部解析训练库中的所有面部并找出面部解析训练库中与待测样本最接近的一组面部，获取该最接近的一组面部的标定信息并求取平均值，作为待测样本的先验信息。通过面部解析任务来对先验信息模块进行训练以优化先验信息模块中的权重参数。对先验信息模块进行训练的步骤包括对先验信息模块执行第一训练以及对残差网络模块、残差反卷积网络模块和先验信息模块整体执行第二训练，在所述第一训练中，使除去该先验信息模块中的权重参数之外的所有参数固定，调节先验信息模块中的权重参数以使softmax函数最小化；在所述第二训练中，利用调节好的权重参数初始化先验信息模块，解除所述固定，然后通过让残差网络模块、残差反卷积网络模块和先验信息模块一起对面部解析训练样本执行面部解析任务，来进一步整体优化残差网络模块、残差反卷积网络模块和先验信息模块中的权重参数。所述融合包括：将残差反卷积网络输出的分类图与先验信息拼接成拼接图，用卷积核卷积上述拼接图，得到先验信息的贡献图，将该贡献图与残差反卷积网络输出的分类图做元素级相加，得到所述分割结果。所述面部解析方法还包括：利用稠密条件随机场方法改善分割结果。所述改善分割结果包括：将先验信息模块输出的分割结果作为稠密条件随机场的unary项来改善分割结果。残差网络模块还包括位于第一个残差块之前的卷积块，残差反卷积网络模块还包括位于最后一个残差反卷积块之后的反卷积块。所述其余残差块中的任一残差块的输出经过最大值池化处理后作为该残差块的下一级残差块的输入，所述多个残差反卷积块中的任一残差反卷积块的输出经过最大值反池化处理后作为该残差反卷积块下一级的输入。每个残差反卷积块均包括稠密模块、细节学习模块和降维模块。残差网络模块具有4个或5个残差块，残差反卷积网络模块的残差反卷积块的数量比残差网络模块的残差块的数量少一个。残差网络模块中的卷积块的每个卷积层中具有64个卷积核，残差反卷积网络模块中的反卷积块的每个反卷积层中具有64个反卷积核。残差块将输入数据的通道数变为原来的两倍，残差反卷积块将输入数据的通道数变为原来的二分之一。其中，在将训练样本输入到残差网络模块之前对训练样本进行处理，所述处理包括以下三种处理中的任意一种、或者处理B和处理C的组合：A.保持训练样本的原始图像数据不变，以便直接输入到残差网络模块；B.将训练样本的原始图像数据进行随机镜像；C.将训练样本的原始图像数据进行随机裁剪。其中，所述预定的第N个残差块为沿输入到输出方向排列的所述多个顺序结合的残差块本文档来自技高网...

【技术保护点】
一种面部解析方法，包括：将待测样本输入到残差网络模块；使用训练好的残差网络模块对待测样本进行处理，其中，所述残差网络模块包括沿着从输入到输出方向排列的多个顺序结合的残差块，将所述多个顺序结合的残差块中的预定的第N个残差块的输出发送到残差反卷积网络模块，其中，N为自然数并且小于残差网络模块包括的所有残差块的数量；使用训练好的残差反卷积网络模块处理所述第N个残差块的输出，以得到分类图，其中，残差反卷积网络模块包括多个顺序结合的残差反卷积块，所述多个残差反卷积块分别与所述多个残差块中的第一个残差块到第N个残差块对应。

【技术特征摘要】
1.一种面部解析方法，包括：将待测样本输入到残差网络模块；使用训练好的残差网络模块对待测样本进行处理，其中，所述残差网络模块包括沿着从输入到输出方向排列的多个顺序结合的残差块，将所述多个顺序结合的残差块中的预定的第N个残差块的输出发送到残差反卷积网络模块，其中，N为自然数并且小于残差网络模块包括的所有残差块的数量；使用训练好的残差反卷积网络模块处理所述第N个残差块的输出，以得到分类图，其中，残差反卷积网络模块包括多个顺序结合的残差反卷积块，所述多个残差反卷积块分别与所述多个残差块中的第一个残差块到第N个残差块对应。2.根据权利要求1所述的面部解析方法，其中，通过对面部识别训练样本执行的面部识别任务来对残差网络模块进行预训练，以优化残差网络模块中的权重参数；通过对面部解析训练样本执行的面部解析任务来对残差网络模块和残差反卷积网络模块进行联合训练，以优化残差反卷积网络模块中的权重参数并进一步优化残差网络模块中的权重参数。3.根据权利要求2所述的面部解析方法，其中，所述预训练步骤包括：将面部识别训练样本输入到残差网络模块并执行面部识别任务，对残差网络模块的最后一个残差块的输出进行平均池化，然后执行身份全连接操作，调节残差网络模块中的权重参数以使softmax函数最小化。4.根据权利要求2或3所述的面部解析方法，其中，所述联合训练步骤包括：将残差网络模块中的权重参数初始化为预训练步骤中得到的权重参数，将残差反卷积网络模块的权重参数进行随机初始化，保持所述第N个残差块的输出作为残差反卷积网络模块的输入，将面部解析训练样本输入到残差网络模块，使残差网络模块和残差反卷积网络模块执行面部解析任务，调节残差反卷积网络模块中的权重参数和残差网络模块中的权重参数以使softmax函数最小化。5.根据权利要求1或2所述的面部解析方法，还包括：使用训练好的先验信息模块获取待测样本的先验信息，并将先验信息与残差反卷积网络模块的输出进行融合，得到分割结果。6.根据权利要求5所述的面部解析方法，其中，获取待测样本的先验信息包括：比较待测样本与面部解析训练库中的所有面部并找出面部解析训练库中与待测样本最接近的一组面部，获取该最接近的一组面部的标定信息并求取平均值，作为待测样本的先验信息。7.根据权利要求5所述的面部解析方法，其中，通过面部解析任务来对先验信息模块进行训练以优化先验信息模块中的权重参数。8.根据权利要求7所述的面部解析方法，其中，对先验信息模块进行训练的步骤包括对先验信息模块执行第一训练以及对残差网络模块、残差反卷积网络模块和先验信息模块的整体执行第二训练，在所述第一训练中，使除去该先验信息模块中的权重参数之外的所有参数固定，调节先验信息模块中的权重参数以使softmax函数最小化；在所述第二训练中，利用调节好的权重参数初始化先验信息模块，解除所述固定，然后通过让残差网络模块、残差反卷积网络模块和先验信息模块一起对面部解析训练样本执行面部解析任务，来进一步整体优化残差网络模块、残差反卷积网络模块和先验信息模块中的权重参数。9.根据权利要求5所述的面部解析方法，其中，所述融合包括：将残差反卷积网络输出的分类图与先验信息拼接成拼接图，用卷积核卷积上述拼接图，得到先验信息的贡献图，将该贡献图与残差反卷积网络输出的分类图做元素级相加，得到所述分割结果。10.根据权利要求5所述的面部解析方法，还包括：利用稠密条件随机场方法改善分割结果。11.根据权利要求10所述的面部解析方法，其中，所述改善分割结果包括：将先验信息模块输出的分割结果作为稠密条件随机场的unary项来改善分割结果。12.根据权利要求1所述的面部解析方法，其中，残差网络模块还包括位于第一个残差块之前的卷积块，残差反卷积网络模块还包括位于最后一个残差反卷积块之后的反卷积块。13.根据权利要求1或12所述的面部解析方法，其中，所述其余残差块中的任一残差块的输出经过最大值池化处理后作为该残差块的下一级残差块的输入，所述多个残差反卷积块中的任一残差反卷积块的输出经过最大值反池化处理后作为该残差反卷...

【专利技术属性】
技术研发人员：郭天楚，金暎星，张辉，钱德恒，俞炳仁，郑贺，徐静涛，韩在濬，崔昌圭，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11