基于深度学习的人群高兴程度识别方法技术

本发明专利技术公开了一种基于深度学习的人群高兴程度识别方法，首先将人工标注的单个人脸图像做分类和图像尺寸归一化处理，得到人脸高兴程度数据库和人脸遮挡程度数据库，再分别将它们分为训练集和验证集，用于训练卷积神经网络，然后利用训练好的网络模型对输入的一幅合影图像中的人脸进行高兴程度和遮挡程度的识别，最后采用人脸高兴程度加权的方式计算出图像中的人群高兴程度。采用深度学习对图像中的群体表情进行分析，相比于传统提取PHOG、Gabor特征的方法要更准确，为解决图像中的人群情感识别问题提拱了新的思路和途径。

Recognition method of crowd's happiness degree based on depth learning

The invention discloses a method based on deep learning people happy will be the first single face recognition method, image annotation classification and image size normalization, get happy face database and face occlusion degree of database, and then they are divided into training set and validation set were used for training, training convolutional neural network, then the input a photo of the face image recognition of happy and occlusion using trained network model, finally using face happy way to calculate the weighted image in the crowd happy. The deep learning in image expression group were analyzed, compared with the traditional method of extracting PHOG and Gabor feature to be more accurate, and provides new ideas and ways to solve the problem of emotion recognition in the image of people.

【技术实现步骤摘要】

本专利技术涉及图像处理与模式识别领域，涉及一种人群情感识别方法，特别涉及一种基于深度学习的人群高兴程度识别方法。
技术介绍
人脸表情识别的研究近几年可以看到很多，然而很少有人关注图像中一群人所表达的情感。随着数据分享的普及程度以及类似YouTube、Flickr等社交网站的兴起，每天都会有用户上传成亿上万的社交图片和视频，比如参加的聚会、婚礼、毕业宴会等。通常情况下，这些上传的视频和图像中可能包含一个或者多个人，因此对人群的学习是关键的一步。举个例子，现在如果需要推测一群参加同学聚会的人物合影中人们的心情，运用现有的情感检测算法来解决这种偏向于实际场景的问题还是具有挑战性的，比如缺少群体性的情感建模方法、带有标签的数据集、人脸分析方法。表情分析已经被研究了很多年，但都只局限于推测单个人物的情感状态。要分析群体的高兴程度问题，需要关注的是每个人的高兴程度和它对整体情感基调的影响大小。这种影响程度与社交场景有关，包括各种全局和局部的影响因素，比如说图像中的人数、脸部的遮挡情况等。一般来说合影中的人数越多，整个场景中高兴或是愤怒的氛围越为浓厚，因此是个很有必要考虑的影响因素。脸部的遮挡包本文档来自技高网...

【技术保护点】
基于深度学习的人群高兴程度识别方法，其特征在于，包括以下步骤：步骤A)，将由人工标注的单个人脸图像，按照标签分类并对图像大小归一化后，得到人脸高兴程度数据库和人脸遮挡程度数据库，将它们分别分为训练集和验证集并进行预处理操作；步骤B)，分别构建用于识别人脸高兴程度和人脸遮挡程度的卷积神经网络；步骤C)，对步骤B)中构建的两个卷积神经网络进行初始学习率、权重衰减系数、训练迭代次数的设置后，将经过预处理操作后的人脸高兴程度和人脸遮挡程度样本分别对应输入所述两个卷积神经网络，得到用于识别人脸高兴程度和人脸遮挡程度的网络模型；步骤D)，将需要进行人群高兴程度识别的合影图像输入至所述用于识别人脸高兴程度和...

【技术特征摘要】
1.基于深度学习的人群高兴程度识别方法，其特征在于，包括以下步骤：步骤A)，将由人工标注的单个人脸图像，按照标签分类并对图像大小归一化后，得到人脸高兴程度数据库和人脸遮挡程度数据库，将它们分别分为训练集和验证集并进行预处理操作；步骤B)，分别构建用于识别人脸高兴程度和人脸遮挡程度的卷积神经网络；步骤C)，对步骤B)中构建的两个卷积神经网络进行初始学习率、权重衰减系数、训练迭代次数的设置后，将经过预处理操作后的人脸高兴程度和人脸遮挡程度样本分别对应输入所述两个卷积神经网络，得到用于识别人脸高兴程度和人脸遮挡程度的网络模型；步骤D)，将需要进行人群高兴程度识别的合影图像输入至所述用于识别人脸高兴程度和人脸遮挡程度的网络模型中，得到该合影图像中每张人脸fi的高兴程度IHi和遮挡程度qi；然后采用人脸高兴程度加权的方式计算出该合影图像中的人群高兴程度。2.根据权利要求1所述的一种基于深度学习的人群高兴程度识别方法，其特征在于，所述步骤B)中构建用于识别人脸高兴程度的卷积神经网络的具体步骤如下：步骤B1.1)，构建第一层数据输入层，第一层数据输入层分为训练数据输入层和测试数据输入层，其将输入数据裁剪为a11×a11维，其中，a11×a11为构建的此网络中第一层输出数据的大小；步骤B1.2)，构建第二层卷积层，第二层卷积层选用k21个a21×a21维的卷积核对输入数据进行卷积操作，卷积步长为s21，不采用像素填补加边，卷积层偏置常数为c21，卷积后再经过修正线性单元函数进行非线性映射，得到k21个l21×l21维的特征图，其中，k21为第二层中卷积核的个数，a21×a21为卷积核的大小，l21×l21为本层输出特征图的大小；步骤B1.3)，构建第三层池化层，第三层池化层用a31×a31维的窗口、以步长s31对上一层的结果进行下采样，得到k21个l31×l31维的特征图，其中，k21为要进行下采样操作的特征图数目，即为第二层输出的特征图数目，a31×a31为下采样操作的窗口大小，l31×l31为本层输出特征图的大小；步骤B1.4)，构建第四层卷积层，第四层卷积层选用k41个a41×a41维的卷积核对上一层的输出数据进行卷积操作，卷积步长为s41，不采用像素填补加边，卷积层偏置常数为c41，卷积结果经过ReLU函数，得...

【专利技术属性】
技术研发人员：张文静，卢官明，闫静杰，李海波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32