一种基于表情识别的用户体验度量方法技术

本发明专利技术涉及一种基于表情识别的用户体验度量方法，包括：S1：获取图像数据信息的步骤，通过视频监控设备获取视频数据流，对视频数据流进行解码处理；S2：人体检测的步骤，根据解码处理获得的图像数据，构建算法训练集以及测试集，通过目标检测网络模型进行训练，获得人体检测的模型输出置信度；S3：人脸检测的步骤，利用人脸检测算法从检测图像中检测人脸的位置；S4：用户身份识别的步骤，利用行人重识别算法识别用户身份，避免重复建立用户体验度量模型；S5：表情识别的步骤，获取人脸图像数据信息，并通过人脸表情分类模型对人脸图像数据信息分析处理，获得表情分类结果；S6：计算用户满意度的步骤；S7：展示用户满意度的步骤。展示用户满意度的步骤。展示用户满意度的步骤。

【技术实现步骤摘要】
一种基于表情识别的用户体验度量方法


[0001]本专利技术属于人脸表情识别
，具体涉及一种基于表情识别的用户体验度量方法。

技术介绍

[0002]用户满意度作为一种重要的参考指标，广泛应用于网站、服务平台等系统的建设与优化过程。
[0003]现有技术中，主要采取意见反馈、问卷调查等方式获取用户使用体验，该方式存在时效性差、数据噪声大、成本高等缺点，难以及时捕捉用户的情绪波动，无法有效的反应用户满意度。此为现有技术的不足之处。
[0004]有鉴于此，本专利技术提供一种基于表情识别的用户体验度量方法；以解决现有技术中存在上述技术缺陷，是非常有必要的。

技术实现思路

[0005]本专利技术的目的在于，针对上述现有技术存在的缺陷，提供设计一种基于表情识别的用户体验度量方法，以解决上述技术问题。
[0006]为实现上述目的，本专利技术给出以下技术方案：
[0007]一种基于表情识别的用户体验度量方法，包括：
[0008]S1：获取图像数据信息的步骤，
[0009]通过视频监控设备获取视频数据流，对视频数据流进行解码处理；
[0010]S2：人体检测的步骤，
[0011]根据解码处理获得的图像数据，构建算法训练集以及测试集，通过目标检测网络模型进行训练，获得人体检测的模型输出置信度；
[0012]S3：人脸检测的步骤，
[0013]利用人脸检测算法从检测图像中检测人脸的位置；
[0014]S4：用户身份识别的步骤，/>[0015]利用行人重识别算法识别用户身份，避免重复建立用户体验度量模型；
[0016]S5：表情识别的步骤，
[0017]获取人脸图像数据信息，并通过人脸表情分类模型对人脸图像数据信息分析处理，获得表情分类结果；
[0018]S6：计算用户满意度的步骤，
[0019]根据用户身份数据信息和表情分类结果，构建用户表情池模型，并通过用户满意度模型计算用户满意度；
[0020]S7：展示用户满意度的步骤，
[0021]以绘图的方式展示用户满意度的变化。如图3所示。
[0022]作为优选，所述的步骤S1中，对视频数据流进行解码处理后，通过OpenCV工具将解
码后的图像缩放至1280*720。
[0023]作为优选，所述的步骤S2中，采用SSD目标检测网络进行人体检测，通过步骤S1获取图像，构建算法训练集及测试集；本专利技术实施例中用于人体目标检测网络训练集数量为20000张，测试集为5000张。使用训练集及默认参数对SSD目标检测网络进行训练；将步骤S1中新获取的图像输入至SSD目标检测网络模型，输出预测结果[x
p
‑
min
,y
p
‑
min
,x
p
‑
max
,y
p
‑
max
,confidence
‑
person]；所述预测结果中[x
p
‑
min
,y
p
‑
min
,x
p
‑
max
,y
p
‑
max
]为人体目标最小外接矩形坐标，“confidence
‑
person”为SSD目标检测网络模型输出的置信度。
[0024]作为优选，所述的步骤S3中，使用人脸检测算法RetinaFace从检测图像中检测人脸的位置，使用公开数据集LFW作为训练集和测试集，采用默认参数训练RetinaFace；将步骤S1中图像输入至RetinaFace模型，输出人脸预测结果[x
f
‑
min
,y
f
‑
min
,x
f
‑
max
,y
f
‑
max
,confidence
‑
face]；所述预测结果中[x
f
‑
min
,y
f
‑
min
,x
f
‑
max
,y
f
‑
max
]为人脸目标最小外接矩形坐标，“confidence
‑
face”为RetinaFace模型输出的置信度。
[0025]作为优选，所述的步骤S4中，利用行人重识别算法(Re
‑
ID)识别用户身份，避免重复建立用户体验度量模型；具体包括以下步骤：
[0026]S41：识别用户身份的步骤，该步骤中采用多粒度网络(MGN)对步骤S2中人体图像进行行人重识别算法处理以获得用户身份信息；使用公开数据集CUHK03训练多粒度网络，获得Re
‑
ID模型；实施过程中，将步骤S2中人体图像输入至多粒度网络获得人体特征，采用欧氏距离作为评价标准，将用户人体特征与已注册用户身份特征库进行比对，识别用户身份信息；若当前用户未注册，则自动注册该用户，并输出用户身份信息；若当前用户为注册用户，输出用户身份信息；
[0027]注册数据示例为
[0028][0029]所述用户身份注册数据格式中“feature”表示经多粒度网络提取到的人体特征向量；
[0030]所述用户身份信息即该用户的注册数据；
[0031]S42：匹配人脸对应身份的步骤，该步骤中，人体目标包括所有人体部位，例如头部、躯干、四肢等。通常情况下，在图像中某个个体的人脸最小外接矩形框应大部分位于人体目标最小外接矩形框内，如图2所示。使用步骤S2中人体目标最小外接矩形框与步骤S3中人脸最小外接矩形框进行匹配，获得人脸身份信息；匹配方法为将当前人脸最小外接矩形框与图像内所有检出的人体目标最小外接矩形框分别计算匹配度，选择最大的匹配度作为最终匹配度，当最终匹配度大于预设阈值M
th
时，则认为人脸目标与人体目标匹配；本专利技术实施例中预设阈值M
th
＝0.85，可根据工程需要调整该值；人脸对应的身份即步骤S41中用户身份；匹配度计算方式为：
[0032][0033]所述匹配度计算表达式中，I表示在图像中人体最小外接矩形框与人脸最小外接矩形框的交叠面积，S
face
为人脸最小外接矩形框的面积，如图2所示；所述面积的单位为像素。
[0034]作为优选，所述的步骤S5具体包括以下步骤：
[0035]S51：人脸图像获取的步骤，步骤S3人脸检测输出的最小外接矩形框表示为[x
f
‑
min
,y
f
‑
min
,x
f
‑
max
,y
f
‑
max
]，使用矩形框坐标裁剪步骤S1中的原始图像，获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于表情识别的用户体验度量方法，其特征在于，包括：S1：获取图像数据信息的步骤，通过视频监控设备获取视频数据流，对视频数据流进行解码处理；S2：人体检测的步骤，根据解码处理获得的图像数据，构建算法训练集以及测试集，通过目标检测网络模型进行训练，获得人体检测的模型输出置信度；S3：人脸检测的步骤，利用人脸检测算法从检测图像中检测人脸的位置；S4：用户身份识别的步骤，利用行人重识别算法识别用户身份，避免重复建立用户体验度量模型；S5：表情识别的步骤，获取人脸图像数据信息，并通过人脸表情分类模型对人脸图像数据信息分析处理，获得表情分类结果；S6：计算用户满意度的步骤，根据用户身份数据信息和表情分类结果，构建用户表情池模型，并通过用户满意度模型计算用户满意度；S7：展示用户满意度的步骤，以绘图的方式展示用户满意度的变化。2.根据权利要求1所述的一种基于表情识别的用户体验度量方法，其特征在于，所述的步骤S1中，对视频数据流进行解码处理后，通过OpenCV工具将解码后的图像缩放至1280*720。3.根据权利要求2所述的一种基于表情识别的用户体验度量方法，其特征在于，所述的步骤S2中，采用SSD目标检测网络进行人体检测，通过步骤S1获取图像，构建算法训练集及测试集；使用训练集及默认参数对SSD目标检测网络进行训练；将步骤S1中新获取的图像输入至SSD目标检测网络模型，输出预测结果[x
p
‑
min
,y
p
‑
min
,x
p
‑
max
,y
p
‑
max
,confidence
‑
person]；所述预测结果中[x
p
‑
min
,y
p
‑
min
,x
p
‑
max
,y
p
‑
max
]为人体目标最小外接矩形坐标，“confidence
‑
person”为SSD目标检测网络模型输出的置信度。4.根据权利要求3所述的一种基于表情识别的用户体验度量方法，其特征在于，所述的步骤S3中，使用人脸检测算法RetinaFace从检测图像中检测人脸的位置，使用公开数据集LFW作为训练集和测试集，采用默认参数训练RetinaFace；将步骤S1中图像输入至RetinaFace模型，输出人脸预测结果[x
f
‑
min
,y
f
‑
min
,x
f
‑
max
,y
f
‑
max
,confidence
‑
face]；所述预测结果中[x
f
‑
min
,y
f
‑
min
,x
f
‑
max
,y
f
‑
max
]为人脸目标最小外接矩形坐标，“confidence
‑
...

【专利技术属性】
技术研发人员：张营，车力轩，朱龙，杜慧珺，刘晗，刘立强，薛念明，吕越，胡杨，李超，
申请(专利权)人：国网山东省电力公司泰安供电公司，
类型：发明
国别省市：