一种融合强化学习与递进学习的表情识别方法技术

本发明专利技术公开了一种融合强化学习与递进学习的表情识别方法，该方法包含：构建包含样本筛选模块与表情分类模块的强化学习模型；将训练集样本划分为I组，使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易、不易分类样本，按照递进学习思想使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；用训练好的表情分类模块对人脸图像进行表情识别。该方法能消除含噪声标签样本对模型训练的不利影响,提升表情识别准确性和鲁棒性。别准确性和鲁棒性。别准确性和鲁棒性。

【技术实现步骤摘要】
一种融合强化学习与递进学习的表情识别方法


[0001]本专利技术属于机器学习与模式识别领域，涉及一种融合强化学习与递进学习的表情识别方法。

技术介绍

[0002]人脸表情在日常生活交流中起到非常重要的作用，我们会通过表情来感知对方的情绪变化。人类面部表情包含了丰富的情感信息，人脸表情识别对于情感分析来说有着很重要的研究意义。
[0003]人脸表情识别技术是设计特定的算法，从图像或视频中提取面部表情特征，根据特征信息来进行表情判断与识别的过程。人脸表情识别是一个横跨神经科学、心理学、计算机科学等多领域的交叉学科，在医疗服务、人机交互、生活娱乐、智慧教育等领域有着广泛的应用。例如，医疗服务方面的应用，可以通过面部表情分析系统辅助医生的医疗诊断，能够有效地提升医生的诊断效率，特别是针对心理疾病的诊断，例如抑郁症诊断以及婴幼儿自闭症的诊断；人机交互方面的应用，人脸表情识别可以提高机器的智能性，比如聊天机器人，可以通过对聊天对象表情变化的分析来更好地互动交流；生活娱乐中的应用，在智能手机上安装相应的表情自动识别系统，能够通过摄像头实时捕捉用户的面部表情，判断用户对推送内容是否感兴趣，以便推送用户感兴趣的内容，提升用户的使用体验，提升商业价值；智慧教育中的应用，面部表情识别系统能够实时准确地捕捉学生在课堂上的面部表情的变化，通过面部表情识别算法分析出学生在课堂上的情感状态，从而判断学生对知识的掌握情况，帮助老师优化授课进度，提高教学效率等。
[0004]近年来，深度卷积神经网络在图像分类、人脸情感识别等多种任务都取得了巨大的成功。基于深度卷积神经网络表情识别的成功离不开海量高质量数据驱动，具有良好泛化能力、鲁棒性的表情识别方法往往需要使用大量高质量样本来进行模型训练。然而在实际情况下，对模型进行训练时难以保证样本的质量。通常获取到的样本都是具有噪声的，比如由于样本采集难度高或者设备性能的限制，导致获取到的样本质量不佳；或者由于标注者水平有限，粗心或疲惫造成部分样本的标签存在错误，这些含噪声标签样本可能会严重影响深度卷积神经网络模型的训练及其表情识别性能。
[0005]同时，在人脸的相关研究中，不管是人脸识别还是人脸表情识别，往往存在诸多因素的干扰，特别是人脸中的遮挡和姿态问题。实验室场景中的数据集，大多是正面没有遮挡的图像样本。但是人脸部分遮挡通常发生在各种实际应用场景之中，比如：头部姿态偏转时出现的姿态遮挡，人脸光照不均衡时出现的色斑遮挡，图像采集过程中发生的人脸区域的噪声像素遮挡，以及日常生活中的实物遮挡，包括：静物遮挡、动作遮挡、意外遮挡、饰物遮挡、面部部件遮挡等。这些情况导致的遮挡、姿态问题对人脸识别有极大的干扰和阻碍，进而影响了表情识别的准确率。

技术实现思路

[0006]专利技术目的：针对现阶段基于深度卷积神经网络的表情识别模型训练时对高质量、大规模数据依赖性很强，但随着样本数量的增加，不可避免地出现样本标签含噪声的问题。同时针对真实场景下人脸出现遮挡和姿态问题导致表情识别模型存在识别准确率低、鲁棒性差的问题。本专利技术公开了一种融合强化学习与递进学习的表情识别方法，其目的在于克服目前真实场景下人脸表情图像数据集中样本图像人脸存在遮挡和姿态问题与样本标签含有噪声的问题。本专利技术公开了一种融合强化学习与递进学习表情识别方法，首先构建包含样本筛选模块与表情分类模块的强化学习模型，然后在训练的过程中，将训练集样本划分为I组，在对强化学习模型的每一轮训练中，表情分类模块对一组训练样本依次进行特征提取并输出类别预测的正确概率，样本筛选模块将训练样本分为容易、较易或不易分类样本，然后按照先易后难的递进学习思想，使用容易、较易和不易分类样本依次对表情分类模块重新训练，根据表情分类模块重新训练前后对样本类别预测的正确概率之差，基于强化学习方法调整样本筛选模块，并进入下一轮的模型训练，经过I轮迭代训练完毕，得到训练好的样本筛选模块与表情分类模块，最后将待分类的人脸图像输入到训练好的表情分类模块进行表情识别。与常规的表情识别方法相比，该方法能够消除含噪声标签样本对训练网络模型的不利影响，提升人脸表情分类的准确性，同时抑制遮挡和姿态对人脸表情识别的影响，得到更加鲁棒的人脸表情识别方法。
[0007]技术方案：为实现上述专利技术目的，本专利技术采取的技术方案如下：一种融合强化学习与递进学习的表情识别方法，包括以下步骤：
[0008]S1：构建包含样本筛选模块与表情分类模块的强化学习模型；
[0009]S2：将训练集样本划分为I组，在使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易或不易分类样本，按照递进学习思想依次使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，并进入下一轮的模型训练，经过I轮迭代训练，得到训练好的表情分类模块；
[0010]S3：用训练好的表情分类模块对人脸图像进行表情识别。
[0011]进一步的，所述步骤S1中，表情分类模块采用卷积神经网络，包含卷积层、池化层、全连接层，具体的由m1个卷积层、m2个最大池层和m3个全连接层组成，最后一层采用Softmax分类层实现表情分类，其中，m1和m2取1到10的正整数，m3取1到5的正整数；样本筛选模块由全连接层和Sigmoid分类层构成，采用m4个全连接层依次连接，使用ReLu函数作为激活函数，最后一层采用Sigmoid分类层，其中，m4取3到5的正整数。
[0012]进一步的，所述步骤S2包含以下子步骤：
[0013]步骤2.1：对样本筛选模块、表情分类模块进行随机初始化，利用人脸表情图像库中的所有训练样本对表情分类模块进行初步训练；
[0014]步骤2.2：将人脸表情图像库中训练集样本划分为I组，每组K个样本，其中样本一共有C个类别；
[0015]步骤2.3：分别初始化i和k的值为1，设第i组第k个样本为其标签类别为其中，i∈{1，2
…
I}，k∈{1，2
…
K}；判断i≤I是否成立，如果成立，则执行
步骤2.4，如果不成立，则执行步骤S3；
[0016]步骤2.4：判断k≤K是否成立，如果成立，则执行步骤2.5，如果不成立，则执行步骤2.8；
[0017]步骤2.5：将样本输入表情分类模块进行特征提取得到特征向量并输出第c类类别预测概率为得到对应标签类别的预测概率将第i
‑
1组已分类为容易、较易、不易分类样本中容易分类样本的类平均特征向量设为f
easy
、较易分类的类平均特征向量设为f
easier
、不易分类样本的类平均特征向量设为f
hard
；当i＝1时，f
easy
、f
easier
、f
hard
设为全零向量；当i≠1时，将第i
‑
1组已分类为容易、较易、不易分类样本按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合强化学习与递进学习的表情识别方法，其特征在于，该方法包括以下步骤：S1：构建包含样本筛选模块与表情分类模块的强化学习模型；S2：将训练集样本划分为I组，在使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易或不易分类样本，按照递进学习思想依次使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，并进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；S3：用训练好的表情分类模块对人脸图像进行表情识别。2.根据权利要求1所述的一种融合强化学习与递进学习的表情识别方法，其特征在于，所述步骤S1中，表情分类模块采用卷积神经网络，包含卷积层、池化层、全连接层，具体地，设一个卷积层后连接一个最大池化层形成一个block，表情分类模块由m1个block依次连接，再与m2个卷积层连接，然后依次连接m3个全连接层，最后一层采用Softmax分类层实现表情分类，其中m1和m2取1到10的正整数，m3取1到5的正整数；样本筛选模块由全连接层和Sigmoid分类层构成，采用m4个全连接层依次连接，使用ReLu函数作为激活函数，最后一层采用Sigmoid分类层，其中，m4取3到5的正整数。3.根据权利要求1所述的一种融合强化学习与递进学习的表情识别方法，其特征在于，所述步骤S2包含以下子步骤：步骤2.1：对样本筛选模块、表情分类模块进行随机初始化，利用人脸表情图像库中的所有训练样本对表情分类模块进行初步训练；步骤2.2：将人脸表情图像库中训练集样本划分为I组，每组K个样本，其中样本一共有C个类别；步骤2.3：分别初始化i和k的值为1，设第i组第k个样本为其标签类别为其中，i∈{1，2
…
I}，k∈{1，2
…
K}；判断i≤I是否成立，如果成立，则执行步骤2.4，如果不成立，则执行步骤S3；步骤2.4：判断k≤K是否成立，如果成立，则执行步骤2.5，如果不成立，则执行步骤2.8；步骤2.5：将样本输入表情分类模块进行特征提取得到特征向量并输出第c类类别预测概率为得到对应标签类别的预测概率将第i
‑
1组已分类为容易、较易、不易分类样本中容易分类样本的类平均特征向量设为f
easy
、较易分类的类平均特征向量设为f
easier
、不易分类样本的类平均特征向量设为f
hard
；当i＝1时，f
easy
、f
easier
、f
hard
设为全零向量；当i≠1时，将第i
‑
1组已分类为容易、较易、不易分类样本按类别输入表情分类模块进行特征提取，并将提取到的特征向量按照类别计算平均以得到类平均特征向量f
easy
、f
easier
、f
hard
；步骤2.6：获取样本的状态，步骤S2中有关强化学习模型中状态的定义如下：每个表情图像样本都有一个状态它包含当前样本的特征向量还包含f
easy
、f
easier
和f
hard
；则样本的状态为特征向量与各类的平均特征向量f
easy
、f
...

【专利技术属性】
技术研发人员：卢官明，张铝芳，卢峻禾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：