一种应用于电子商务的用户情绪识别方法及装置制造方法及图纸

本申请公开了一种应用于电子商务的用户情绪识别方法，包括：云服务器获取用户微表情视频，并对所述微表情视频进行预处理，获取微表情图像序列；将所述微表情图像序列进行分割，分割为多张微表情子图像，并将所述多张微表情子图像的尺寸大小重设置为所述微表情图像的尺寸大小；构建局部卷积神经网络L

【技术实现步骤摘要】
一种应用于电子商务的用户情绪识别方法及装置


[0001]本申请涉及电子商务
，尤其涉及应用于电子商务的用户情绪识别方法及装置。

技术介绍

[0002]电子商务领域中，对用户或者客户的情绪识别很重要，在客服对话场景中，人工智能的客服对于用户不同的情绪采取不同的处理方式会决定用户是否最终购买商品或服务，在商品推荐场景中，基于不同用户的情绪推荐不同的商品，并配合不同的销售策略，往往能最大程度的提升销售效率。
[0003]用户的情绪包括高兴，生气，厌恶，害怕，悲伤等，情绪的识别往往通过采集表情或微表情来进行图像识别，表情识别的技术较为成熟，主要包括人脸数据预处理，特征提取和表情分类三个步骤，以卷积神经网络(Convolutional Neural Network,CNN)为主。而在微表情识别领域，由于其持续时间短，且动作强度低，难以在普通图像处理中进行擦觉，需要在视频中进行发现。
[0004]由于微表情在无意识状态下自发产生，难以掩饰或伪装，通常与真实情感直接相关，所以微表情在用户情绪分析中较为可靠，应用前景广阔；另一方面，由于人为识别微表情比较困难，训练难度大且成功率不高，因此需要计算机进行微表情自动识别。
[0005]目前微表情识别的技术中，由于微表情的持续时间短、动作强度低，导致识别准确率不高，从而会影响用户情绪的分析。

技术实现思路

[0006]本申请实施例提供一种应用于电子商务的用户情绪识别方法及装置，用于解决现有技术中微表情识别准确率低的问题。
[0007]本专利技术实施例提供一种应用于电子商务的用户情绪识别方法，包括：
[0008]云服务器获取用户微表情视频，并对所述微表情视频进行预处理，获取微表情图像序列；
[0009]将所述微表情图像序列进行分割，分割为多张微表情子图像，并将所述多张微表情子图像的尺寸大小重设置为所述微表情图像的尺寸大小；
[0010]构建局部卷积神经网络L
‑
CNN网络模型和全局卷积神经网络G
‑
CNN网络模型，利用所述L
‑
CNN模型从所述多张微表情子图像中提取局部特征，利用所述G
‑
CNN模型从所述用户微表情图像序列中提取全局特征；
[0011]利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，并获取所述微表情的分类结果，所述分类结果与所述用户的情绪一一对应。
[0012]可选地，所述L
‑
CNN模型和所述G
‑
CNN模型均为Xception网络结构，则所述利用所述L
‑
CNN模型从所述多张微表情子图像中提取局部特征，利用所述G
‑
CNN模型从所述用户微表情图像序列中提取全局特征，包括：
[0013]利用所述L
‑
CNN模型从所述多张微表情子图像中用户眼部及嘴角的局部特征，利用所述G
‑
CNN模型从所述用户微表情图像序列中提取用户整体人脸特征。
[0014]可选地，所述利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，包括：
[0015]将所述提取出的局部特征与全局特征进行乘法加权至全连接层，并输入至所述softmax分类器。
[0016]可选地，将所述微表情图像序列进行分割，分割为多张微表情子图像，包括：
[0017]将所述微表情图像序列按照随机比例进行分割，或，
[0018]将所述微表情图像序列按照局部特征分布情况进行定向分割。
[0019]可选地，所述将所述微表情图像序列按照随机比例进行分割，包括：
[0020]分别以所述微表情图像的四个角为分割原点，随机设置四个分割子图像，且所述四个随机分割子图像的面积之和为所述微表情图像的面积，所述四个分割子图像为矩形或异型图像。
[0021]可选地，所述将所述微表情图像序列按照局部特征分布情况进行定向分割，包括：
[0022]采用LBP
‑
TOP算子提取所述微表情图像的全局特征，并获取所述全局特征在所述微表情图像中的位置分布情况；
[0023]按照全局特征分布均衡原则切分所述微表情图像为多个微表情子图像。
[0024]可选地，对所述微表情视频进行预处理，获取微表情图像序列，包括：
[0025]对所述微表情视频进行数据去噪；
[0026]将去噪处理后的数据进行面部配准；
[0027]采用时间插值TIM算法对所述面部配准后的微表情视频进行处理，获取插值后的微表情图像序列；
[0028]通过欧拉视频放大EVM算法对所述微表情图像序列进行动作放大，确定动作放大后的微表情图像序列。
[0029]可选地，所述采用时间插值TIM算法对所述面部配准后的微表情视频进行处理，获取插值后的微表情图像序列，包括：
[0030]将所述微表情视频设置为微表情图；
[0031]使用图嵌入算法将所述微表情图嵌入到低维流形中；
[0032]在所述低维流形中代入图像向量，计算出高维的连续曲线；
[0033]在所述连续曲线上重采样，获取所述插值后的微表情图像序列。
[0034]可选地，所述通过欧拉视频放大EVM算法对所述微表情图像序列进行动作放大，包括：
[0035]使用带通滤波器对所述微表情图像序列进行滤波，获得微表情动作频率，并对该频率的信号进行放大。
[0036]本专利技术实施例还提供一种装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
[0037]本专利技术实施例提供的方法，通过对微表情视频进行预处理，生成微表情图片序列，并基于局部CNN和全局CNN分别获取局部特征和全局特征，并将局部特征与全局特征输入至softmax分类器中进行训练，从而获取微表情识别结果，与传统的微表情识别方法相比，由
于局部CNN侧重对眼睛嘴巴等部位进行特征提取，全局CNN侧重于对全部特征进行提取，二者融合后可显著提升微表情的识别率。
附图说明
[0038]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
[0039]图1为一个实施例中应用于电子商务的用户情绪识别的流程示意图；
[0040]图2为另一个实施例中用户情绪识别的流程示意图；
[0041]图3a为一个实施例中微表情图像分割示意图；
[0042]图3b为另一个实施例中微表情图像分割示意图；
[0043]图4为一个实施例中装置的硬件组成示意图。
具体实施方式
[0044]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于电子商务的用户情绪识别方法，其特征在于，包括：云服务器获取用户微表情视频，并对所述微表情视频进行预处理，获取微表情图像序列；将所述微表情图像序列进行分割，分割为多张微表情子图像，并将所述多张微表情子图像的尺寸大小重设置为所述微表情图像的尺寸大小；构建局部卷积神经网络L
‑
CNN网络模型和全局卷积神经网络G
‑
CNN网络模型，利用所述L
‑
CNN模型从所述多张微表情子图像中提取局部特征，利用所述G
‑
CNN模型从所述用户微表情图像序列中提取全局特征；利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，并获取所述微表情的分类结果，所述分类结果与所述用户的情绪一一对应。2.根据权利要求1所述的方法，其特征在于，所述L
‑
CNN模型和所述G
‑
CNN模型均为Xception网络结构，则所述利用所述L
‑
CNN模型从所述多张微表情子图像中提取局部特征，利用所述G
‑
CNN模型从所述用户微表情图像序列中提取全局特征，包括：利用所述L
‑
CNN模型从所述多张微表情子图像中用户眼部及嘴角的局部特征，利用所述G
‑
CNN模型从所述用户微表情图像序列中提取用户整体人脸特征。3.根据权利要求1所述的方法，其特征在于，所述利用softmax分类器将所述提取出的局部特征与全局特征进行分类训练，包括：将所述提取出的局部特征与全局特征进行乘法加权至全连接层，并输入至所述softmax分类器。4.根据权利要求1所述的方法，其特征在于，将所述微表情图像序列进行分割，分割为多张微表情子图像，包括：将所述微表情图像序列按照随机比例进行分割，或，将所述微表情图像序列按...

【专利技术属性】
技术研发人员：齐维维，
申请(专利权)人：齐维维，
类型：发明
国别省市：