一种基于面部表情识别的新生儿疼痛程度评估方法及系统技术方案

本发明专利技术公开了一种基于面部表情识别的新生儿疼痛程度评估方法及系统，该方法包括：建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；构建用于新生儿疼痛程度评估的深度卷积神经网络(DCCN)，采用公开的大规模有标签数据集对网络进行预训练，得到初始权重参数值，再利用表情图像数据集对网络进行微调，获得训练好的网络模型；将待测试新生儿面部图像输入已训练好的网络进行表情分类识别，进而获得疼痛程度评估结果。本发明专利技术能够充分利用DCNN提取的特征，在小规模的新生儿疼痛面部表情图像数据集上能够取得较好疼痛程度评估结果，为开发一种基于面部表情识别的新生儿疼痛程度自动评估系统提供了新方法。

Evaluation method and system of neonatal pain level based on facial expression recognition

The invention discloses a method and a system for evaluating the degree of neonatal pain based on facial expression recognition. The method comprises: establishing a set of neonatal pain facial expression image data, including a preprocessed neonatal facial image and its corresponding expression class label; and constructing a depth volume for evaluating the degree of neonatal pain. Integral neural network (DCCN) is used to pre-train the network with large-scale labeled data sets. The initial weight parameters are obtained. Then the network is fine-tuned by using the expression image data set to obtain the trained network model. The results of pain assessment were obtained. The invention can make full use of the features extracted by DCNN, and can obtain better pain evaluation results on small-scale neonatal pain facial expression image data set. It provides a new method for developing a neonatal pain automatic evaluation system based on facial expression recognition.

【技术实现步骤摘要】
一种基于面部表情识别的新生儿疼痛程度评估方法及系统
本专利技术涉及人脸表情识别及机器学习领域，特别是一种基于面部表情识别的新生儿疼痛程度评估方法及系统。
技术介绍
现代医学研究表明新生儿能够感知和记忆外界的疼痛刺激。在新生儿的护理和治疗过程中，通常伴随着致痛性操作，如：足底采血、动静脉穿刺、皮下和肌肉注射等。反复经历的疼痛刺激会对新生儿产生一系列近期和远期的不良影响，如急性应激、中枢神经系统的永久损伤和情感紊乱等，所以正确评估疼痛并采取镇痛措施具有重要的临床意义。由于新生儿不能用语言表述疼痛的感受，疼痛评估成为儿科学中的一个挑战性难题。目前在临床实践中，由受过专门训练的医务人员采用新生儿面部编码系统(NeonatalFacialCodingSystem，NFCS)、新生儿疼痛量表(NeonatalInfantPainScale，NIPS)等评估工具进行人工评估。在这些评估工具中，都将“面部表情”作为一项重要的监测指标。然而，人工评估不仅耗时费力，而且评估结果依赖于医务人员的经验，并受个人情绪等主观因素的影响。在新生儿疼痛自动评估方面，已有一些研究，如中国专利申请“一种基于面部表情分析的新生儿疼痛识别方法”(专利申请号201710628847.8，公布号CN107491740A)，通过从视频序列中提取面部动态几何特征和面部动态纹理特征，特征融合后再进行降维、分类。但该方法要自动地精确提取特征参数十分不易。中国专利“基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法”(专利号ZL201210077351.3)，使用训练样本的特征向量构建稀疏表示模型中的过完备字典,将测试样本看成过完备字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别。但该方法需要精心设计满足稀疏性约束条件的过完备字典，而且只对疼痛与非疼痛两类表情进行二分类识别，不对疼痛程度进行评估。为了自动提取面部表情特征，避免了人工设计特征的局限性和主观性，本专利技术人提出了一些基于神经网络的新生儿疼痛表情识别方法，如“基于卷积神经网络的新生儿疼痛表情分类方法”(专利申请号CN201611233381.3，公布号CN106778657A)、“一种基于深度神经网络的新生儿疼痛表情识别方法”(专利申请号CN201710497593.0，公布号CN107392109A)。卷积神经网络的深度是影响图像分类性能的关键因素，其所包含的卷积层数越多，学习到的特征的判别力越强。然而，传统的卷积神经网络随着卷积层数的增加会产生梯度消失以及网络退化问题。并且深度卷积神经网络(DeepConvolutionalNeuralNetwork，DCNN)模型结构庞大，需要大规模有标签数据集对模型参数进行优化训练。然而，在生物医学等领域，标注医学图像不仅耗时费力，而且需要高成本的、特定专业的知识和技能，所以通常缺乏大量的有标签训练样本数据的支持。直接利用目标任务的小规模训练样本数据对模型参数进行训练，很难获得高性能的DCNN。
技术实现思路
专利技术目的：针对现有技术的问题，本专利技术目的在于提供一种基于面部表情识别的新生儿疼痛表情识别方法及系统，将DCNN和迁移学习结合，克服了DCNN模型的优化训练需要大规模有标签数据集支持而新生儿疼痛面部表情图像数据集样本数量不足的问题，能够充分利用现有公开的大规模有标签图像数据来自动学习图像的特征表示，有效地提升新生儿疼痛程度评估的精确度。技术方案：为实现上述专利技术目的，本专利技术采用的技术方案如下：一种基于面部表情识别的新生儿疼痛程度评估方法，包括以下步骤：(1)建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；(2)构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；(3)采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；(4)将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。作为优选，所述步骤(2)中构建的深度残差卷积神经网络包括16个依次相连的残差模块，其中，第一卷积层为第一层，输入为经过预处理的新生儿面部图像，第一卷积层之后连接第一池化层，第一个残差模块位于第一池化层之后，16个残差模块依次相连，第十六个残差模块位于第二池化层之前，全连接层位于第二池化层与分类层之间；所述16个依次相连的残差模块分为4组，第一组残差模块包括3个具有相同结构的残差模块，第二组残差模块包括4个具有相同结构的残差模块，第三组残差模块包括6个具有相同结构的残差模块，第四组残差模块包括3个具有相同结构的残差模块；每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层；所述深度残差卷积神经网络中每个卷积层后都连接1个批归一化层和1个ReLU非线性激活函数层。作为优选，所述步骤(3)包括：(3.1)将所述新生儿疼痛面部表情图像数据集分为训练集和验证集；(3.2)在公开的大规模有标签数据集上对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值；(3.3)基于所述初始权重参数值，对所述深度残差卷积神经网络在所述训练集上进行调整；(3.4)每训练迭代预设次数后在所述验证集上进行一次测试，获得已训练好的深度残差卷积神经网络。作为优选，所述步骤(3.3)中：所述深度残差卷积神经网络的全连接层在所述初始权重参数值的基础上采用比预设阈值大的学习率进行训练，除所述全连接层外，所述深度残差卷积神经网络的其他各层在所述初始权重参数值的基础上采用比预设阈值小的学习率进行训练。作为优选，所述步骤(4)包括：(4.1)对待测试新生儿面部图像进行预处理，并将预处理后的图像输入所述已训练好的深度残差卷积神经网络；(4.2)通过前向传播得到所述已训练好的深度残差卷积神经网络最后一层输出的分类结果，分类结果给出该待测试新生儿的面部表情所对应的疼痛程度在各个类别上的概率，其中，概率最大所对应的类别即为该待测试新生儿的疼痛程度结果。一种基于面部表情识别的新生儿疼痛程度评估系统，包括：样本集处理模块，用于建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；网络构建模块，用于构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；模型训练模块，用于采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷本文档来自技高网...

【技术保护点】
1.一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，包括以下步骤：(1)建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；(2)构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；(3)采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；(4)将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

【技术特征摘要】
1.一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，包括以下步骤：(1)建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；(2)构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；(3)采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；(4)将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。2.根据权利要求1所述的一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，所述步骤(2)中构建的深度残差卷积神经网络包括16个依次相连的残差模块，其中，第一卷积层为第一层，输入为经过预处理的新生儿面部图像，第一卷积层之后连接第一池化层，第一个残差模块位于第一池化层之后，16个残差模块依次相连，第十六个残差模块位于第二池化层之前，全连接层位于第二池化层与分类层之间；所述16个依次相连的残差模块分为4组，第一组残差模块包括3个具有相同结构的残差模块，第二组残差模块包括4个具有相同结构的残差模块，第三组残差模块包括6个具有相同结构的残差模块，第四组残差模块包括3个具有相同结构的残差模块；每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层；所述深度残差卷积神经网络中每个卷积层后都连接1个批归一化层和1个ReLU非线性激活函数层。3.根据权利要求1所述的一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，所述步骤(3)包括：(3.1)将所述新生儿疼痛面部表情图像数据集分为训练集和验证集；(3.2)在公开的大规模有标签数据集上对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值；(3.3)基于所述初始权重参数值，对所述深度残差卷积神经网络在所述训练集上进行调整；(3.4)每训练迭代预设次数后在所述验证集上进行一次测试，获得已训练好的深度残差卷积神经网...

【专利技术属性】
技术研发人员：卢官明，王东奇，李晓南，卢峻禾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32