一种模型训练方法、表情识别方法以及装置制造方法及图纸

本说明书公开了一种模型训练方法、表情识别方法以及装置，将从面部图像提取出的初始特征向量进一步提取，确定各潜特征向量，并在训练识别模型时，对相同潜特征分支网络输出的潜特征向量的分布中心进行约束，以及对每种表情类别标签的关联权重分布进行约束，分别确定潜特征分布损失以及潜特征关联损失。并根据各关联加权的潜特征向量确定重构特征向量，通过分类层确定该面部图像的识别结果。以根据该识别结果与该面部表情的表情类别标签确定分类损失。并基于三种损失调整该识别模型的参数。能够训练得到准确的识别模型，使得能够对具有相似特征的面部表情进行区分，通过该识别模型得到的面部图像的识别结果也更准确。到的面部图像的识别结果也更准确。到的面部图像的识别结果也更准确。

【技术实现步骤摘要】
一种模型训练方法、表情识别方法以及装置


[0001]本说明书涉及图像处理
，尤其涉及一种模型训练方法、表情识别方法以及装置。

技术介绍

[0002]由于面部表情可以用来判断用户的心理状态或者情绪状态，而基于用户不同的情绪状态，可以采用对应的策略来执行业务，以提高业务效率。因此，表情识别技术被广泛的应用在各种业务场景中，例如，智能辅导系统、服务机器人、驾驶员疲劳监测系统等等。
[0003]在现有技术中，对于表情识别主要是依赖于机器学习的方法，通过对图像或者视频中的表情图像，进行特征提取，通过模型计算识别等方法，确定表情识别结果。
[0004]目前机器学习方法均是将不同类型的表情作为独立的类别进行区分，更多的是从关注不同的外部因素，来提高识别准确率。例如，通过考虑遮挡、用户头部姿态、用户身份信息等因素，提高模型识别准确率。但是，现有技术却忽略了面部表情之间潜在的联系与区别，导致识别准确率难以提高。

技术实现思路

[0005]本说明书实施例提供一种模型训练方法、表情识别方法以及装置，以部分解决上述现有技术存在的问题。
[0006]本说明书实施例采用下述技术方案：
[0007]本说明书提供的一种模型训练方法，包括：
[0008]获取若干面部图像及其表情类别标签，确定各训练样本；
[0009]针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量；
[0010]将所述初始特征向量，分别输入待训练的识别模型中的各潜特征分支网络，确定该训练样本的各潜特征向量，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失；
[0011]根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失；
[0012]根据该训练样本各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果；
[0013]根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，所述识别模型用于识别表情类别，以用于执行业务。
[0014]可选地，针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量，具体包括：
[0015]将各训练样本划分为多个训练子集；
[0016]依次对各训练子集中的每个训练样本，确定该训练样本的初始特征向量。
[0017]可选地，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失，具体包括：
[0018]针对每个潜特征分支网络，确定已存储的该潜特征分支网络输出的潜特征向量的分布中心，其中，所述分布中心为根据该潜特征分支网络已输出的，其他训练子集的潜特征向量确定的；
[0019]根据所述分布中心，以及该潜特征分支网络输出的该训练样本的潜特征向量，确定该训练样本对应该潜特征分支网络的损失；
[0020]根据训练样本对应各潜特征分支网络的损失，确定潜特征分布损失。
[0021]可选地，所述方法还包括：
[0022]对于当前训练阶段的当前训练子集，当通过该潜特征分支网络确定所述当前训练子集中各训练样本的潜特征向量时，根据所述当前训练子集中各训练样本的潜特征向量，更新所述已存储的分布中心。
[0023]可选地，根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，具体包括：
[0024]确定该训练样本的两两潜特征向量之间的相似度；
[0025]根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵；
[0026]根据所述距离矩阵，确定待训练的所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征向量对应的关联权重。
[0027]可选地，确定该训练样本的两两潜特征向量之间的相似度，具体包括：
[0028]将确定出的各潜特征向量，分别对应输入待训练的所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果；
[0029]确定两两潜特征向量的注意力加权结果之间的相似度。
[0030]可选地，根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失，具体包括：
[0031]根据该训练样本的表情类别标签，确定已存储的所述表情类别标签的关联权重分布，其中，所述表情类别标签的关联权重分布，根据当前训练阶段之前确定出的，各训练子集中所述表情类别标签对应的各其他训练样本的关联权重确定；
[0032]根据该训练样本的各潜特征向量的关联权重，确定该训练样本的关联权重分布；
[0033]根据所述表情类别标签的关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失；
[0034]其中，所述关联权重分布用于表征不同表情类别中各潜特征向量之间的关系。
[0035]可选地，根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，具体包括：
[0036]根据各训练样本分别对应的分类损失、所述潜特征关联损失以及所述潜特征分布损失，确定各训练样本对应的总损失；
[0037]以所述总损失最小为训练目标，调整待训练的所述识别模型的模型参数。
[0038]本说明书提供一种表情识别方法，包括：
[0039]获取待识别的面部图像，并对所述面部图像进行特征提取，确定初始特征向量；
[0040]根据预先训练的识别模型中的各潜特征分支网络，对所述初始特征向量进行提取，确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练所述识别模型过程中对各潜特征分支网络输出的潜特征向量的分布中心进行约束；
[0041]根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，其中，所述关联权重为通过训练所述识别模型过程中，基于对不同表情类别标签中潜特征向量的关联权重分布进行约束确定出的；
[0042]根据各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果，根据所述识别结果执行业务。
[0043]可选地，根据各潜特征向量之间的相似度，确定各潜特征向量的关联权重，具体包括：
[0044]确定两两潜特征向量之间的相似度；
[0045]根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵；
[0046]根据所述距离矩阵，确定所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征对应的关联权重。
[0047]可选地，确定两两潜特征向量之间的相似本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取若干面部图像及其表情类别标签，确定各训练样本；针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量；将所述初始特征向量，分别输入待训练的识别模型中的各潜特征分支网络，确定该训练样本的各潜特征向量，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失；根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，并根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失；根据该训练样本各潜特征向量及其关联权重，确定各关联加权后的潜特征向量，并基于各关联加权后的潜特征向量，确定重构特征向量，再通过所述识别模型中的分类层，确定识别结果；根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，所述识别模型用于识别表情类别，以用于执行业务。2.如权利要求1所述的方法，其特征在于，针对每个训练样本，对该训练样本进行特征提取，确定初始特征向量，具体包括：将各训练样本划分为多个训练子集；依次对各训练子集中的每个训练样本，确定该训练样本的初始特征向量。3.如权利要求2所述的方法，其特征在于，并根据当前训练阶段其他训练样本的各潜特征向量的分布中心，确定潜特征分布损失，具体包括：针对每个潜特征分支网络，确定已存储的该潜特征分支网络输出的潜特征向量的分布中心，其中，所述分布中心为根据该潜特征分支网络已输出的，其他训练子集的潜特征向量确定的；根据所述分布中心，以及该潜特征分支网络输出的该训练样本的潜特征向量，确定该训练样本对应该潜特征分支网络的损失；根据训练样本对应各潜特征分支网络的损失，确定潜特征分布损失。4.如权利要求3所述的方法，其特征在于，所述方法还包括：对于当前训练阶段的当前训练子集，当通过该潜特征分支网络确定所述当前训练子集中各训练样本的潜特征向量时，根据所述当前训练子集中各训练样本的潜特征向量，更新所述已存储的分布中心。5.如权利要求2所述的方法，其特征在于，根据各潜特征向量之间的相似度，确定该训练样本的各潜特征向量的关联权重，具体包括：确定该训练样本的两两潜特征向量之间的相似度；根据确定出的各相似度，确定所述初始特征向量提取出的潜特征向量对应的距离矩阵；根据所述距离矩阵，确定待训练的所述识别模型中关联权重层的输入，并输入所述关联权重层，确定各潜特征向量对应的关联权重。6.如权利要求5所述的方法，其特征在于，确定该训练样本的两两潜特征向量之间的相
似度，具体包括：将确定出的各潜特征向量，分别对应输入待训练的所述识别模型中的各注意力权分支网络，确定归一化的各潜特征向量的注意力加权结果；确定两两潜特征向量的注意力加权结果之间的相似度。7.如权利要求2所述的方法，其特征在于，根据与该训练样本的表情类别标签相同的各其他训练样本的关联权重的分布，确定潜特征关联损失，具体包括：根据该训练样本的表情类别标签，确定已存储的所述表情类别标签的关联权重分布，其中，所述表情类别标签的关联权重分布，根据当前训练阶段之前确定出的，各训练子集中所述表情类别标签对应的各其他训练样本的关联权重确定；根据该训练样本的各潜特征向量的关联权重，确定该训练样本的关联权重分布；根据所述表情类别标签的关联权重分布以及该训练样本的关联权重分布，确定潜特征关联损失；其中，所述关联权重分布用于表征不同表情类别中各潜特征向量之间的关系。8.如权利要求1所述的方法，其特征在于，根据所述识别结果以及该训练样本的表情类别标签，确定分类损失，并根据所述分类损失、所述潜特征关联损失以及所述潜特征分布损失，对所述识别模型进行训练，具体包括：根据各训练样本分别对应的分类损失、所述潜特征关联损失以及所述潜特征分布损失，确定各训练样本对应的总损失；以所述总损失最小为训练目标，调整待训练的所述识别模型的模型参数。9.一种表情识别方法，其特征在于，包括：获取待识别的面部图像，并对所述面部图像进行特征提取，确定初始特征向量；根据预先训练的识别模型中的各潜特征分支网络，对所述初始特征向量进行提取，确定各潜特征向量，其中，各潜特征向量分布一致性，通过训练所述识别模型过程中对各潜特征分支网络输出的潜特征向...

【专利技术属性】
技术研发人员：阮德莲，柴振华，赖申其，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：