基于生成对抗网络的新生儿疼痛表情识别方法技术

一种基于生成对抗网络的新生儿疼痛表情识别方法，构造生成对抗网络来学习如何从姿态各异且存在遮挡的新生儿面部图像中恢复出无遮挡且姿态端正的面部图像；将生成对抗网络中生成器的隐藏变量视作修正后的面部疼痛特征；构建结合注意力机制的残差网络来筛选并分析零和博弈修正后的面部疼痛特征，以进一步摆脱遮挡和姿态变化的影响，输出准确的疼痛级别结果。本发明专利技术致力于提高真实环境下的新生儿疼痛表情识别准确率、增强新生儿疼痛识别方法对遮挡的鲁棒性和面对姿态变化的适应性，依据生成对抗网络来优化疼痛特征的提取，并通过注意力机制实现对疼痛特征的筛选，有效解决了遮挡和姿态变化环境下新生儿疼痛表情识别问题。姿态变化环境下新生儿疼痛表情识别问题。姿态变化环境下新生儿疼痛表情识别问题。

【技术实现步骤摘要】
基于生成对抗网络的新生儿疼痛表情识别方法


[0001]本专利技术涉及新生儿疼痛识别领域，尤其是涉及基于面部表情的新生儿疼痛识别方法。

技术介绍

[0002]新生儿疼痛不仅会引起生理反应，还会导致一系列短期或长期的不良反应，如生长迟缓、永久性的中枢神经损伤、情绪障碍，甚至会增加未来疾病的风险。因此，开发自动的新生儿疼痛识别算法以实现持续、客观的疼痛评估对于新生儿的疼痛管理和健康成长具有重要意义。在新生儿疼痛自动识别方面，已有一些研究，如中国专利申请“基于双通道三维卷积神经网络的新生儿疼痛表情识别方法”(专利申请号CN201810145292.6，公开号CN108363979A)、“基于深度3D残差网络的新生儿疼痛表情识别方法及系统”(专利申请号CN201810346075.3，公开号CN108596069A)、“基于双流卷积神经网络的新生儿疼痛表情识别方法”(专利申请号CN201910748936.5，公开号CN111401117A)，然而包含上述专利申请在内的现有研究都只考虑了理想环境(受控环境)下的新生儿疼痛表情识别，这些研究针对无遮挡且姿态端正的新生儿面部图像，采用基于深度学习的方法取得了突破性的进展。然而，在真实环境(非受控环境)下，由于存在遮挡和头部姿态多变的因素，给新生儿疼痛表情识别带来了巨大挑战，如何提高真实环境下的新生儿疼痛表情识别准确率、增强新生儿疼痛识别方法对遮挡的鲁棒性和面对姿态变化的适应性是目前亟待解决的关键问题。

技术实现思路

[0003]为了克服现有技术的不足，考虑到目前缺乏在真实场景下对遮挡和姿态变化鲁棒的新生儿表情疼痛方法，针对该问题，本专利技术提供了一种对面部遮挡和姿态变化鲁棒的新生儿表情疼痛方法，使用生成对抗网络学习如何从姿态各异且存在遮挡的新生儿面部图像中恢复出无遮挡和姿态端正的面部图像，以摆脱遮挡和姿态变化的影响，获得疼痛本征的新生儿面部特征以完成最终的疼痛级别分类，有效解决了遮挡和姿态变化环境下的新生儿疼痛识别问题。
[0004]本专利技术的目的可以通过以下技术方案实现：
[0005]一种基于生成对抗网络的新生儿疼痛表情识别方法，所述方法包括以下步骤：
[0006]步骤S1：依据生成对抗网络来从姿态各异且可能存在遮挡的新生儿面部图像中恢复出无遮挡且姿态端正的面部图像；
[0007]步骤S2：将生成对抗网络中生成器的本征向量(latent vector)作为修正后的面部疼痛特征用于后续疼痛分析；
[0008]步骤S3：使用结合注意力机制的残差网络来筛选并分析修正后的面部疼痛特征，以进一步摆脱遮挡和姿态变化的干扰，输出准确的疼痛级别结果。
[0009]进一步，所述的步骤S1的过程为：
[0010]生成对抗网络由生成器和判别器两部分组成，生成器负责在输入面部图像的基础
上生成修正后的面部图像；判别器负责学习区分出生成器生成的图像和指导集中无遮挡且姿态端正的理想面部图像，指导集g由训练集中的所有理想面部图像组成，通过生成器和判别器的零和博弈，生成器将不断提升其将输入图像转换成无遮挡且面部端正图像的能力；在零和博弈的过程中由四个损失函数来负责生成器和判别器的训练，通过误差反向传播算法调整生成器和判别器的参数至最优，四个损失函数具体如下所述：
[0011](1)对称性损失函数
[0012]对称性是正常人脸的固有特征，对称损失计算为：
[0013][0014]其中H和W表示图像的高度和宽度，(n,m)表示图像的像素，|
·
|代表绝对值。现实世界的图像在像素级别可能不存在绝对的对称性，因此，决定最小化拉普拉斯空间中的对称性损失；
[0015](2)对抗性损失函数
[0016]判别器网络充当监督者，负责将生成的人脸图像与理想图像区分开来，并与生成器同时训练，判别器是通过以下交叉熵损失函数进行训练：
[0017]L
GAN
‑
Dis
(g
i
,x
′
j
)＝
‑
log(Dis(g
i
))
‑
log(1
‑
Dis(x
′
j
))
[0018]其中g
i
代表指导集图像，GAN
‑
Dis代表判别器，x'
j
是生成器生成的图像；
[0019]对于生成器，对抗性损失函数的计算方式是：
[0020]L
GAN
‑
Gen
(x
′
j
)＝
‑
log(Dis(x
′
j
))
[0021]其中GAN
‑
Gen代表生成器，Dis代表判别器；
[0022](3)身份保留损失函数
[0023]保留身份是理想人脸生成的关键部分，采用了感知损失，旨在保持感知相似性，以帮助疼痛特征修正模块获得身份保持能力，损失函数是基于开源的Light CNN中最后两层输出的特征图计算的：
[0024][0025]其中H
l
,W
l
是最后第l层特征图的高度和宽度，Ω表示特征图，|
·
|表示绝对值，身份保留损失旨在使生成图像与原始图像在深度特征空间中具有较小的距离，考虑到Light CNN经过预训练后可以对数千个身份进行分类，认为它可以捕获最重要的人脸结构或特征进行身份识别；
[0026](4)Total Variation正则化
[0027]为了提高生成图像的空间平滑度并减少尖峰伪影，采用了Total Variation正则化器，其定义如下：
[0028][0029]其中H和W表示图像的高度和宽度，(n,m)表示图像的像素，x'是生成器生成的图像，|
·
|代表绝对值。
[0030]所述的步骤S3的过程为：
[0031]使用结合注意力机制的残差网络来筛选并分析零和博弈修正后的面部疼痛特征，
对于这部分的网络结构，采用了常规的残差结构作为主干，核心部分是与之结合的注意力机制；构建了一个与残差分支平行的注意力分支，它基于bottom
‑
up top
‑
down的结构，可以输出与残差结构特征图尺寸相同的注意力掩码，对残差结构中的面部特征进行软加权；在bottom
‑
up top
‑
down的结构中，“下采样”是通过一系列的卷积操作和池化操作来实现的，而“上采样”是通过反卷积操作来实现的；这种自注意力机制输出的注意力掩码不仅可以用作前向传播中的特征选择器，还可以用作后向梯度更新中的过滤器，面部特征在注意力掩码作用下的梯度计算方式为：
[0032][0033]其中M代表注意力分支，T代表残差分支，σ表示注意力分支参数，φ是残差分支参数。
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的新生儿疼痛表情识别方法，其特征在于，所述方法包括以下步骤：步骤S1：依据生成对抗网络来从姿态各异且可能存在遮挡的新生儿面部图像中恢复出无遮挡且姿态端正的面部图像；步骤S2：将生成对抗网络中生成器的本征向量作为修正后的面部特征用于后续疼痛分析；步骤S3：使用结合注意力机制的残差网络来筛选并分析修正后的面部特征，以进一步摆脱遮挡和姿态变化的干扰，输出准确的疼痛级别结果。2.根据权利要求1所述的基于生成对抗网络的新生儿疼痛表情识别方法，其特征在于，所述的步骤S1的过程为：生成对抗网络由生成器和判别器两部分组成，生成器负责在输入面部图像的基础上生成修正后的面部图像；判别器负责学习区分出生成器生成的图像和指导集中无遮挡且姿态端正的理想面部图像，指导集g由训练集中的所有理想面部图像组成，通过生成器和判别器的零和博弈，生成器将不断提升其将输入图像转换成无遮挡且面部端正图像的能力；在零和博弈的过程中由四个损失函数来负责生成器和判别器的训练，通过误差反向传播算法调整生成器和判别器的参数至最优，四个损失函数如下所述：(1)对称性损失函数对称性是正常人脸的固有特征，对称损失计算为：其中H和W表示图像的高度和宽度，(n,m)表示图像的像素，|
·
|代表绝对值。现实世界的图像在像素级别不存在绝对的对称性，因此，决定最小化拉普拉斯空间中的对称性损失；(2)对抗性损失函数判别器网络充当监督者，负责将生成的人脸图像与理想图像区分开来，并与生成器同时训练，判别器是通过以下交叉熵损失函数进行训练：L
GAN
‑
Dis
(g
i
,x
′
j
)＝
‑
log(Dis(g
i
))
‑
log(1
‑
Dis(x
′
j
))其中g
i
代表指导集图像，GAN
‑
Dis代表判别器，x
j
’
是生成器生成的图像；对于生成器，对抗性损失函数的计算方式是：L
GAN
...

【专利技术属性】
技术研发人员：潘赟，赵益晟，朱怀宇，陈朔晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：