自适应注意力机制的表情识别模型生成方法、介质及设备技术

本发明专利技术提供了一种自适应注意力机制的表情识别模型生成方法、介质及设备；其中方法为：设定每一代种群的个体数量为k；设置各个个体包含的模块个数，各个模块的输出通道数的可选区间及节点数，个体的基因格式及基因长度；初始化第1代种群个体基因，生成k个个体；将个体进行训练和测试；当迭代次数达到最大迭代次数时，在所有代种群中找出适应度最高的个体，得到最优的表情识别模型；否则，选择下一代种群的父母个体并进行变化，之后进行下一次迭代处理。该方法能够根据不同表情数据场景设计表情神经网络，并自适应地引入注意力机制提高表情识别的性能，使得该网络能够快速、准确且轻量地进行表情识别。地进行表情识别。地进行表情识别。

【技术实现步骤摘要】
自适应注意力机制的表情识别模型生成方法、介质及设备


[0001]本专利技术涉及表情识别
，更具体地说，涉及一种自适应注意力机制的表情识别模型生成方法、介质及设备。

技术介绍

[0002]情感是人与人交往过程中必不可少的一个部分，不同的情绪在交流过程中提供着大量的信息，影响着人们之间的交流和决策。因此情感能力也是人工智能的重要标志，人们希望能够以更友好的方式进行人机交互。如何使得计算机能够计算甚至拥有情感，成为了人工智能研究一个重要的方向。
[0003]情感计算的提出就是为了解决这一问题，情感计算的目标就是赋予计算机感知、理解甚至表达情感的能力。在这一前提下，计算机如何感知并理解人类情绪便变得尤为重要。其中在人们表现情感的多种方式中，人脸表情的数据最为容易获取，且最为直观地体现了对象的情绪变化，受到了广泛关注。
[0004]人脸表情识别的任务是从图片或者视频序列中定位并提取人脸特征信息，并利用这些信息将表情分类到不同的表情类别中去。目前最为常用深度学习方法进行表情识别，其核心结构一般为深度卷积神经网络(Deep convolution neural networks,DCNN)。
[0005]目前很多表情识别方法一般都是作用在实验室采集的人脸表情数据集上，姿势、角度和光照等条件都较为固定，然而目前很多表情识别任务都需要针对真实世界场景的表情进行识别，基于实验室的人脸表情数据集的方法对于复杂和多变环境考虑不足，识别系统的鲁棒性不高。深度神经网络虽然可以提取到有效的特征进行表情识别，但是训练一个复杂神经网络需要大量的计算成本和训练时间。
[0006]目前设计一个成熟的表情识别模型都需要大量的时间成本和人工经验，面对日趋复杂的网络架构和人脸表情表现，仅依靠人工进行设计变得越来越复杂，缺乏大量先验知识的研究者可能没有办法很好地进行表情识别模型的设计。

技术实现思路

[0007]为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种自适应注意力机制的表情识别模型生成方法、介质及设备；该方法能够根据不同表情数据场景设计表情神经网络，并自适应地引入注意力机制提高表情识别的性能，使得该网络能够快速、准确且轻量地进行表情识别。
[0008]为了达到上述目的，本专利技术通过下述技术方案予以实现：一种自适应注意力机制的表情识别模型生成方法，其特征在于：包括如下步骤：
[0009]S1，设定每一代种群的个体数量为k；设置各个个体包含的模块个数分别为m，各个模块的输出通道数的可选区间以及第j个模块的节点数分别为n
j
，j＝1,
…
,m；
[0010]各个个体的基因长度分别为L；各个个体的基因分别包括对应m个模块的信息；每个模块的信息分别包括五个部分：第一部分表示模块是否存在；第二部分表示模块的输出
通道数；第三部分表示模块的输出是否输入到注意力网络来控制稀疏中心损失的学习；第四部分表示模块输出后是否要加入多头注意力模块；第五部分表示模块内部节点的连接方式；
[0011]S2，从高斯分布中随机采样出k个长度为L的二进制编码；将第1代种群中个个体的基因分别初始化为k个二进制编码；
[0012]S3，根据各个个体的基因生成当前代种群的k个个体；
[0013]S4，将训练样本分别输入到当前代种群中k个个体中进行训练，得到训练好的k个个体；
[0014]S5，将测试样本分别输入到训练好的k个个体中进行测试，得到当前代种群中k个个体的适应度；
[0015]S6，判断迭代次数是否达到最大迭代次数：
[0016]若是，则在所有代种群中找出适应度最高的个体，适应度最高的个体设置为最优的表情识别模型；
[0017]否则，利用轮盘赌算法从当前代种群中可重复地选择k个个体作为下一代种群的k个父母个体，并使用交错算子分别对k个父母个体的基因分别进行变化；
[0018]将k个父母个体的适应度分别与上一代种群的个体的适应度进行对比，得到奖励值；利用强化学习算法根据奖励值算出反转算子和交叉算子的选择概率，并根据概率选择反转算子或交叉算子分别将交错算子变化后的k个父母个体基因进行再次变化，得到下一代种群的k个个体的基因；之后，跳至步骤S3进行下一次迭代处理。
[0019]优选地，各个个体的基因长度
[0020]优选地，在各个个体中，每个模块前设置有前置卷积层，在每个模块后设置有后置卷积层和池化层；
[0021]所述步骤S3，根据各个个体的基因生成当前代种群的k个个体的方法是：
[0022]根据第一部分判断模块是否存在：若模块存在，则将模块添加到个体中进行连接；根据第二部分决定模块的卷积核通道数，以及根据第五部分决定模块内部节点的连接方式；若模块不存在，则模块的前置卷积层输出直接输入到池化层，不保留模块内容；
[0023]同时根据第三部分决定模块的输出是否输入到注意力网络来控制稀疏中心损失的学习，根据第四部分决定模块输出后是否加入多头注意力模块。
[0024]优选地，所述根据第三部分决定模块的输出是否输入到注意力网络来控制稀疏中心损失的学习，是指：对于输入到注意力网络的模块，将模块后置卷积层的输出输入卷积层，将展平后特征输入到注意力网络，再输入至稀疏中心损失的学习中；模块后置卷积层的输出还直接输入池化层；
[0025]所述根据第四部分决定模块输出后是否加入多头注意力模块，是指：对于加入多头注意力模块的模块，将模块后置卷积层的输出输入到多头注意力模块，多头注意力模块的输出再输入至池化层。
[0026]优选地，所述稀疏中心损失L
SC
的计算方法如下：
[0027][0028]其中，a
r
为注意力权重；x
r
表示稀疏中心损失的输入特征；N为输入特征数量；c为输入特征对应类别的特征中心；
[0029]注意力权重a
r
的计算方法为：
[0030][0031][0032]其中，e
r
为输入特征x
r
通过多个全连接层后得到的特征向量；和分别为网络自动学习参数；表示包含对应元素的概率；表示排除对应元素的概率；和是通过e
r
映射到二维向量得到的；
[0033][0034]其中，exp为指数函数。
[0035]优选地，所述多头注意力模块中，设定H＝{H1,
…
,H
z
}是空间注意力的多个头，s＝{s1,
…
,s
z
}是对应的空间注意力特征映射，其中z代表注意力头的个数，则第d个头输出的空间注意力可以表示为：
[0036]s
d
＝x
′×
H
d
(w
s
,x
′
),d∈{1,z}
[0037]其中，x
′
为多头注意力模块的输入特征，w
...

【技术保护点】

【技术特征摘要】
1.一种自适应注意力机制的表情识别模型生成方法，其特征在于：包括如下步骤：S1，设定每一代种群的个体数量为k；设置各个个体包含的模块个数分别为m，各个模块的输出通道数的可选区间以及第j个模块的节点数分别为n
j
，j＝1,
…
,m；各个个体的基因长度分别为L；各个个体的基因分别包括对应m个模块的信息；每个模块的信息分别包括五个部分：第一部分表示模块是否存在；第二部分表示模块的输出通道数；第三部分表示模块的输出是否输入到注意力网络来控制稀疏中心损失的学习；第四部分表示模块输出后是否要加入多头注意力模块；第五部分表示模块内部节点的连接方式；S2，从高斯分布中随机采样出k个长度为L的二进制编码；将第1代种群中个个体的基因分别初始化为k个二进制编码；S3，根据各个个体的基因生成当前代种群的k个个体；S4，将训练样本分别输入到当前代种群中k个个体中进行训练，得到训练好的k个个体；S5，将测试样本分别输入到训练好的k个个体中进行测试，得到当前代种群中k个个体的适应度；S6，判断迭代次数是否达到最大迭代次数：若是，则在所有代种群中找出适应度最高的个体，适应度最高的个体设置为最优的表情识别模型；否则，利用轮盘赌算法从当前代种群中可重复地选择k个个体作为下一代种群的k个父母个体，并使用交错算子分别对k个父母个体的基因分别进行变化；将k个父母个体的适应度分别与上一代种群的个体的适应度进行对比，得到奖励值；利用强化学习算法根据奖励值算出反转算子和交叉算子的选择概率，并根据概率选择反转算子或交叉算子分别将交错算子变化后的k个父母个体基因进行再次变化，得到下一代种群的k个个体的基因；之后，跳至步骤S3进行下一次迭代处理。2.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：各个个体的基因长度3.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：在各个个体中，每个模块前设置有前置卷积层，在每个模块后设置有后置卷积层和池化层；所述步骤S3，根据各个个体的基因生成当前代种群的k个个体的方法是：根据第一部分判断模块是否存在：若模块存在，则将模块添加到个体中进行连接；根据第二部分决定模块的卷积核通道数，以及根据第五部分决定模块内部节点的连接方式；若模块不存在，则模块的前置卷积层输出直接输入到池化层，不保留模块内容；同时根据第三部分决定模块的输出是否输入到注意力网络来控制稀疏中心损失的学习，根据第四部分决定模块输出后是否加入多头注意力模块。4.根据权利要求3所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述根据第三部分决定模块的输出是否输入到注意力网络来控制稀疏中心损失的学习，是指：对于输入到注意力网络的模块，将模块后置卷积层的输出输入卷积层，将展平后特征输入到注意力网络，再输入至稀疏中心损失的学习中；模块后置卷积层的输出还直接输入池化层；所述根据第四部分决定模块输出后是否加入多头注意力模块，是指：对于加入多头注
意力模块的模块，将模块后置卷积层的输出输入到多头注意力模块，多头注意力模块的输出再输入至池化层。5.根据权利要求1所述的自适应注意力机制的表情识别模型生成方法，其特征在于：所述稀疏中心损失L
SC
的计算方法如下：其中，a
r
为注意力权重；x
r
表示稀疏中心损失的输入特征；N为输入特征数量；c为输入特征对应类别的特征中心；注意力权重a
r
的计算方法为：的计算方法为：其中，e
r
为输入特征x
r
通过多个全连接层后得到的特征向量；和分别为网络自动学习参数；表示包含对应元素...

【专利技术属性】
技术研发人员：张通，叶汉云，陈俊龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：