用户表情识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了用户表情识别方法、装置、计算机设备及存储介质。所述方法包括：获取待识别图像数据；将所述待识别图像数据输入至识别模型内进行用户表情识别，以得到识别结果；输出所述识别结果；其中，所述识别模型是通过对含有用户表情数据的图像进行标注后训练孪生网络所得的。通过实施本发明专利技术实施例的方法可实现采用少量精准标注数据，便可对海量无标注视觉图像数据进行有效学习，形成识别模型，以精准识别用户情绪。以精准识别用户情绪。以精准识别用户情绪。

【技术实现步骤摘要】
用户表情识别方法、装置、计算机设备及存储介质


[0001]本专利技术涉及表情识别方法，更具体地说是指用户表情识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着AI(人工智能，Artificial Intelligence)技术的不断发展，智能数字人在越来越多的场景中崭露头角，各种虚拟主播层出不穷，视觉交互逐渐成为人们信息交流的主要方式。在视觉交流过程中，虚拟数字人如何精准识别用户的情绪，并做出更加适时入微的响应，是整个智能数字人智能化的关键难点之一。
[0003]目前的视觉信息数据虽然海量，但是有精细化标注的数据用户情绪数据却非常稀缺，造成依据有监督的用户情绪识别数据资源严重不足，在实际生产中不能精准识别用户真实情绪，无法精准识别用户情绪。
[0004]因此，有必要设计一种新的方法，实现采用少量精准标注数据，便可对海量无标注视觉图像数据进行有效学习，形成识别模型，以精准识别用户情绪。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供用户表情识别方法、装置、计算机设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：用户表情识别方法，包括：
[0007]获取待识别图像数据；
[0008]将所述待识别图像数据输入至识别模型内进行用户表情识别，以得到识别结果；
[0009]输出所述识别结果；
[0010]其中，所述识别模型是通过对含有用户表情数据的图像进行标注后训练孪生网络所得的。
[0011]其进一步技术方案为：所述识别模型是通过对含有用户表情数据的图像进行标注后训练孪生网络所得的，包括：
[0012]采集含有用户表情数据的图像，以得到表情图像数据；
[0013]对所述表情图像数据进行小样本的用户表情标注，以得到标注数据集；
[0014]将所述标注数据集输入至孪生网络内进行图像特征提取，以得到用户表情特征；
[0015]将所述用户表情特征输入至孪生网络内进行用户表情类别的分类，以得到用户表情；
[0016]计算所述用户表情以及所述表情图像数据的实际用户表情的损失值；
[0017]判断所述损失值是否趋于平稳；
[0018]若所述损失值不趋于平稳，则调整所述孪生网络的参数，并执行所述将所述标注数据集输入至孪生网络内进行图像特征提取，以得到用户表情特征；
[0019]若所述损失值趋于平稳，则确定所述孪生网络为识别模型。
[0020]其进一步技术方案为：所述采集含有用户表情数据的图像，以得到表情图像数据，包括：
[0021]获取原始视觉图像；
[0022]对所述原始视觉图像进行分帧处理，以得到若干帧画面图像；
[0023]对每帧画面图像采用图像人物检测算法进行人面正部或侧面的检测，以得到表情图像数据。
[0024]其进一步技术方案为：所述对所述表情图像数据进行小样本的用户表情标注，以得到标注数据集，包括：
[0025]对所述表情图像数据标注实际用户表情并进行数据增强处理，以得到标注数据集。
[0026]其进一步技术方案为：所述对所述表情图像数据标注实际用户表情并进行数据增强处理，以得到标注数据集，包括：
[0027]对所述表情图像数据进行实际用户表情的标注，以得到已标注图像数据；
[0028]根据所述已标注图像数据的来源信息查找相邻帧图像信息，并根据HOG特征信息将查找所得的图片与所述已标注图像数据转化为特征向量；
[0029]采用Cosine相似度计算特征向量之间的相似度，并对于相似度满足要求的图像打上相同的标签信息，以得到标注图像数据；
[0030]对所述标注图像数据进行图像旋转、图像加噪、图像拆减、图像压缩，以得到标注数据集。
[0031]其进一步技术方案为：所述将所述标注数据集输入至孪生网络内进行图像特征提取，以得到用户表情特征，包括：
[0032]对所述标注数据集进行灰度化及规范化处理，以得到标准图像。
[0033]采用孪生网络内的CNN卷积网络对所述标准图像进行图像局部特征的抽取，以得到局部特征中间特征；
[0034]采用孪生网络内的循环神经网络对所述局部特征中间特征进行全局特征抽取，以得到全局特征；
[0035]采用孪生网络内的注意力机制抽取所述全局特征内的高维特征，以得到用户表情特征。
[0036]其进一步技术方案为：所述将所述用户表情特征输入至孪生网络内进行用户表情类别的分类，以得到用户表情，包括：
[0037]对所述用户表情特征按照用户表情的类别进行补全处理，以形成训练数据集；
[0038]采用所述孪生网络对所述训练数据集内每两个特征进行特征差异化抽取，以确定每两个特征是否属于同一类别，以得到用户表情；其中，所述训练数据集内每两个特征中其中一个特征为用户表情类别中的支撑样本。
[0039]本专利技术还提供了用户表情识别装置，包括：
[0040]数据获取单元，用于获取待识别图像数据；
[0041]识别单元，用于将所述待识别图像数据输入至识别模型内进行用户表情识别，以得到识别结果；
[0042]输出单元，用于输出所述识别结果；
[0043]还包括：
[0044]识别模型生成单元，用于通过对含有用户表情数据的图像进行标注后训练孪生网络，以形成识别模型。
[0045]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0046]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0047]本专利技术与现有技术相比的有益效果是：本专利技术通过获取待识别图像数据，将所述待识别图像数据输入至识别模型内进行用户表情识别，其中，识别模型是通过对含有用户表情数据的图像进行标注后训练孪生网络所得的，识别模型的训练过程涉及用户表情图像数据采集、图像小样本标注集处理、图像特征抽取以及用户表情小样本分类学习，实现采用少量精准标注数据，便可对海量无标注视觉图像数据进行有效学习，形成识别模型，以精准识别用户情绪。
[0048]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0049]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]图1为本专利技术实施例提供的用户表情识别方法的应用场景示意图；
[0051]图2为本专利技术实施例提供的用户表情识别方法的流程示意图；
[0052]图3为本专利技术实施例提供的用户表情识别方法的子流程示意图；
[0053]图4为本专利技术实施例提供的用户表情识别方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用户表情识别方法，其特征在于，包括：获取待识别图像数据；将所述待识别图像数据输入至识别模型内进行用户表情识别，以得到识别结果；输出所述识别结果；其中，所述识别模型是通过对含有用户表情数据的图像进行标注后训练孪生网络所得的。2.根据权利要求1所述的用户表情识别方法，其特征在于，所述识别模型是通过对含有用户表情数据的图像进行标注后训练孪生网络所得的，包括：采集含有用户表情数据的图像，以得到表情图像数据；对所述表情图像数据进行小样本的用户表情标注，以得到标注数据集；将所述标注数据集输入至孪生网络内进行图像特征提取，以得到用户表情特征；将所述用户表情特征输入至孪生网络内进行用户表情类别的分类，以得到用户表情；计算所述用户表情以及所述表情图像数据的实际用户表情的损失值；判断所述损失值是否趋于平稳；若所述损失值不趋于平稳，则调整所述孪生网络的参数，并执行所述将所述标注数据集输入至孪生网络内进行图像特征提取，以得到用户表情特征；若所述损失值趋于平稳，则确定所述孪生网络为识别模型。3.根据权利要求2所述的用户表情识别方法，其特征在于，所述采集含有用户表情数据的图像，以得到表情图像数据，包括：获取原始视觉图像；对所述原始视觉图像进行分帧处理，以得到若干帧画面图像；对每帧画面图像采用图像人物检测算法进行人面正部或侧面的检测，以得到表情图像数据。4.根据权利要求2所述的用户表情识别方法，其特征在于，所述对所述表情图像数据进行小样本的用户表情标注，以得到标注数据集，包括：对所述表情图像数据标注实际用户表情并进行数据增强处理，以得到标注数据集。5.根据权利要求4所述的用户表情识别方法，其特征在于，所述对所述表情图像数据标注实际用户表情并进行数据增强处理，以得到标注数据集，包括：对所述表情图像数据进行实际用户表情的标注，以得到已标注图像数据；根据所述已标注图像数据的来源信息查找相邻帧图像信息，并根据HOG特征信息将查找所得的图片与所述已标注图像数据转化...

【专利技术属性】
技术研发人员：高鹏，康维鹏，袁兰，吴飞，周伟华，高峰，潘晶，
申请(专利权)人：杭州摸象大数据科技有限公司，
类型：发明
国别省市：