基于双通道特征深度学习的新生儿疼痛表情识别方法技术

本发明专利技术公开了一种基于双通道特征深度学习的新生儿疼痛表情识别方法。该方法首先对新生儿面部图像进行灰度化，提取局部二值模式（Local Binary Pattern，LBP）特征图谱；然后用一个双通道卷积神经网络对并行输入的新生儿面部图像的灰度图及其LBP特征图两个通道的特征进行深度学习；最后采用基于softmax的分类器对两个通道的融合特征进行表情分类，分为平静、哭、轻度疼痛、剧烈疼痛四类表情。该方法结合灰度图像及其LBP特征图谱两个通道的特征信息，能够有效地识别出平静、哭、轻度疼痛、剧烈疼痛等表情，并对新生儿面部图像的光照、噪声与遮挡问题具有很好的鲁棒性，为开发出新生儿疼痛表情识别系统提供了一种新的方法和途径。

Facial expression recognition of neonatal pain based on two channel depth learning

The invention discloses a neonatal pain facial expression recognition method based on two channel feature depth learning. The first method of neonatal facial gray image, extract the local two value model (Local Binary Pattern, LBP) feature map; then with the deep learning characteristics of a dual channel convolutional neural network on neonatal facial image parallel input gray image and LBP feature map of two channels; finally using facial expression the classification fusion feature and softmax classifier for two channel based, divided into calm, crying, mild pain, severe pain in four kinds of expression. This method combines the feature information of gray image and LBP characteristics of two channels, can effectively identify the calm, cry, mild pain, severe pain and other expressions, and the neonatal facial image illumination, noise and occlusion problem has good robustness, for the development of facial expression recognition system provides a method for neonatal pain a new way.

【技术实现步骤摘要】
基于双通道特征深度学习的新生儿疼痛表情识别方法
本专利技术涉及一种基于双通道特征深度学习的新生儿疼痛表情识别方法，属于图像处理与情感识别领域。
技术介绍
疼痛是人体常见的一种不舒适症状，它不仅使人遭受痛苦，还会带来一系列生理和心理上的不良影响。研究表明，新生儿出生后便具有感受疼痛的能力，能够对有害的刺激传递、感知、回应甚至记忆。从一出生就开始接受的各项检查和治疗，都会给新生儿带来疼痛刺激。疼痛刺激可以引起机体的全身反应，如呼吸、免疫改变，心血管机能不稳定等；这种疼痛感还可能导致新生儿发育迟缓、中枢神经系统永久损伤以及情感紊乱等远期影响。早期反复的操作性疼痛刺激会引起颅内压的波动，使新生儿对疼痛的反应性和敏感性降低，致使其应急调控系统发生改变，严重影响脑的发育。疼痛的对新生儿的健康成长有很大的影响，所以对新生儿疼痛的研究日益受到关注。尽快发现，越早进行疼痛干预，就能越早的减少疼痛应激对新生儿成长发育的不良影响。疼痛评估是进行疼痛管理的第一步。目前新生儿的疼痛评估主要是人为判断，由经验丰富并受过专业培训的医护人员评定新生儿的疼痛程度。该方法耗时耗力，不宜推广，且评估结果很可能受到评估人员本文档来自技高网...

【技术保护点】
基于双通道特征深度学习的新生儿疼痛表情识别方法，其特征在于，具体步骤如下：A，采集新生儿面部图像，并由专业医护人员按疼痛程度将其分为n类表情，建立新生儿面部表情图像库；B，对新生儿面部表情图像库中的样本进行预处理，得到l×l像素大小的图像；C，将预处理过后的新生儿面部表情图像灰度化，提取其局部二值模式LBP特征图谱；D，构建双通道卷积神经网络，用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习；E，将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络，对网络进行训练、调优，并保存训练好的网络模型；F，利用训练好的双通道卷积神经网络模型对输入的测试样...

【技术特征摘要】
1.基于双通道特征深度学习的新生儿疼痛表情识别方法，其特征在于，具体步骤如下：A，采集新生儿面部图像，并由专业医护人员按疼痛程度将其分为n类表情，建立新生儿面部表情图像库；B，对新生儿面部表情图像库中的样本进行预处理，得到l×l像素大小的图像；C，将预处理过后的新生儿面部表情图像灰度化，提取其局部二值模式LBP特征图谱；D，构建双通道卷积神经网络，用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习；E，将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络，对网络进行训练、调优，并保存训练好的网络模型；F，利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。2.根据权利要求1所述的基于双通道特征深度学习的新生儿疼痛表情识别方法，其特征在于，步骤D中，构建双通道卷积神经网络的具体如下：双通道卷积神经网络的第一部分为特征提取网络，由两个相互独立的卷积神经网络分支构成，其中，两个卷积神经网络分支的网络结构相同，由输入层、三个卷积层和两个池化层构成；第二部分包括串接层、全连接层和分类层，串接层将两个卷积神经网络分支的输出进行串接；双通道卷积神经网络的具体结构如下：D1、双通道卷积神经网络的第一层为输入层，包含两个通道，第一个通道用于输入样本图像的灰度图，第二个通道用于输入样本图像的LBP特征图谱；D2、双通道卷积神经网络的第二层为卷积层，在两个卷积神经网络分支中，分别采用n1个h1×h1维的卷积核对输入图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n1个l1×l1维的特征图；D3、双通道卷积神经网络的第三层为池化层，在两个卷积神经网络分支中，分别将上层卷积层输出的每个l1×l1维的特征图平均分割成为l2×l2个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成n1个l2×l2维的特征图；D4、双通道卷积神经网络的第四层为卷积层，在两个卷积神经网络分支中，分别采用n2个h2×h2维的卷积核对上层池化层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n2个l3×l3维的特征图；D5、双通道卷积神经网络的第五层为池化层，在两个卷积神经网络分支中，分别将上层卷积层输出的每个l3×l3维的特征图平均分割成为l4×l4个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成n2个l4×l4维的特征图；D6、双通道卷积神经网络的第六层为卷积层，在两个卷积神经网络分支中，分别采用n3个h3×h3维的卷积核对上层池化层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n3个l5×l5维的特征图；D7、双通道卷积神经网络的第七层为串接层，将两个卷积神经网络分支的输出进行串接，得到n3+n3个l5×l5维的特征图；D8、双通道卷积神经网络的第八层为全连接层，将上层的n3+n3个特征图全连接到n4个神经元，经过非线性激励函数ReLU，映射得到一个n4维的特征向量，该向量即为融合了输入样本两个通道特征的融...

【专利技术属性】
技术研发人员：朱金朵，卢官明，李晓南，闫静杰，李海波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32