一种视频会议质量评估方法、装置及系统制造方法及图纸

本发明专利技术公开了一种视频会议质量评估方法、装置及系统。所述视频会议质量评估方法包括步骤：获取人脸图像，所述人脸图像是从视频会议的用户图像或用户视频中获得的；根据人脸图像识别出人脸表情；基于人脸表情评估出视频会议质量。该方法能够根据用户情绪评估视频会议质量，从而提升会议效能。从而提升会议效能。从而提升会议效能。

【技术实现步骤摘要】
一种视频会议质量评估方法、装置及系统


[0001]本专利技术涉及一种视频会议质量评估方法、装置及系统。

技术介绍

[0002]远程视频会议以其消除时间、空间差异，随时随地实现远程交流的优势得到了快速发展。
[0003]目前，视频会议质量评估方法是根据视频数据的完整性来评估会议质量，如一种评估视频会议质量的方法、装置及计算机可读介质(专利申请号202110536988.3)通过获取视频会议的多模态数据来进行预测，生成质量评估结果；如一种基于机器学习的远程会议质量监控的方法和系统(专利申请号202210754203.4)根据用户的位置信息改变的频率分析会议的质量。
[0004]但是这些现有技术存在如下不足：
[0005](1)关注的是视频质量，没有根据图像的内容信息来评价会议效果；
[0006](2)在远程视频会议的过程中，主持人不能感知到其他参与者的情绪状态，而感受和评价远程视频会议中参与者的情绪并及时形成有效的反馈可以帮助主持人调整开会节奏、提升会议质量，提升企业整体运营效率、节省成本费用。

技术实现思路

[0007]本专利技术所要解决的技术问题是针对现有技术的上述不足，提出一种视频会议质量评估方法、装置及系统，所述方法能够根据用户情绪来评估视频会议质量，从而能够提升会议效能。
[0008]第一方面，本专利技术提供一种视频会议质量评估方法，所述方法包括如下步骤：
[0009]步骤S1：获取人脸图像，所述人脸图像是从视频会议的用户图像或用户视频中获得的；<br/>[0010]步骤S2：根据人脸图像识别出人脸表情；
[0011]步骤S3：基于人脸表情评估出视频会议质量。
[0012]进一步地，所述步骤S1中，获取人脸图像，其包括如下步骤：
[0013]步骤S1.1：从视频会议的用户图像或用户视频中获取初始图像数据；
[0014]步骤S1.2：对初始图像数据进行清洗与增广，得到目标图像数据；
[0015]步骤S1.3：根据人脸检测模型，从目标图像数据中提取人脸图像；所述人脸检测模型是基于YOLO算法预先训练的。
[0016]进一步地，所述步骤S2中，根据人脸图像识别出人脸表情，其包括如下步骤：
[0017]步骤S2.1：从人脸图像中识别出人脸面部关键特征点；
[0018]步骤S2.2：基于结合注意力机制的ResNet网络表情识别模型，从人脸面部关键特征点识别出人脸表情。
[0019]进一步地，步骤S2.1中，从人脸图像中识别出人脸面部关键特征点，是通过dlib库
的关键点检测算法，从人脸图像中识别出人脸图像中的68个人脸特征关键点，其坐标分别为
[0020]{(x1,y1),(x2,y2),(x3,y3)
…
(x68,y68)}；
[0021]步骤S2.2中，基于结合注意力机制的ResNet网络表情识别模型，从人脸面部关键特征点识别出人脸表情，其包括如下步骤：
[0022]步骤S2.2.1：选取卷积神经网络模型为ResNet18，以及根据68个人脸特征关键点输入到ResNet18，以进行人脸表情分类；
[0023]步骤S2.2.2：选用交叉熵损失函数CrossEntropyLoss衡量人脸表情分类结果和实际分类之间的误差，其公式如下：
[0024][0025]其中：
[0026]x
ic
表示样本i属于类别c的预测概率，y
ic
表示样本i真实类别的符号函数，N是训练集的样本总数，M为分类数；
[0027]步骤S2.2.3：在ResNet18的残差模块BasicBlock中引入SENet模块，构建SE
‑
BasicBlock，在BasicBlock的两个3
×
3卷积之后加入一个全局平均池化，获取通道上的全局特征分布，然后通过两个全连接层降低网络参数复杂度，利用Sigmoid激活函数得到每个通道权重信息，对通道的特征进行加权；
[0028]步骤S2.2.4：在ResNet18的残差模块BasicBlock中引入CBAM模块，构建CBAM
‑
BasicBlock，在BasicBlock的两个卷积层分别引入通道注意力机制和空间注意力机制，以使通道注意力机制提取通道特征、及以使空间注意力机制提取空间特征，从而根据通道特征和空间特征识别出人脸表情。
[0029]进一步地，所述步骤S2.2之后，还包括步骤：
[0030]步骤S2.3：判断基于注意力机制和ResNet的表情识别模型在测试数据集上的测试值是否达到预设精度，若基于注意力机制和ResNet的表情识别模型没有达到预设精度，则重复步骤S2.1至步骤S2.2，直至基于注意力机制和ResNet的表情识别模型达到预设精度；
[0031]所述在测试数据集上的测试值包括准确率、精确率、召回率、及F1值中的一个或多个。
[0032]进一步地，所述步骤S3中，基于人脸表情评估出视频会议质量，包括如下步骤：
[0033]步骤S3.1：对每个类别的表情分配一个对应的分数；
[0034]步骤S3.2：对每个用户的分数计算均方误差，平均分数的计算公式为：
[0035][0036]其中Score_avg表示平均分数，score
i
表示第i个人的分数，K表示人数；
[0037]步骤S3.3：根据平均分数判断参会者整体情绪：
[0038]若分数高于0.5，则证明参会者整体情绪偏正面，并且；若分数等于0.5，则证明参会者整体情绪处于中性；若分数低于0.5，则证明参会者整体情绪偏负面；
[0039]其中：平均分数越高，代表参会者正面情绪越重；平均分数越低，代表参会者负面
情绪越重。
[0040]第二方面，本专利技术提供一种视频会议质量评估装置，该装置包括：
[0041]获取单元，用于获取人脸图像，所述人脸图像是从视频会议的用户图像或用户视频中获得的；
[0042]识别单元，与所述获取单元连接，用于根据人脸图像识别出人脸表情；
[0043]评估单元，与所述识别单元连接，用于基于人脸表情评估出视频会议质量。
[0044]进一步地，所述获取单元包括：
[0045]获取模块，用于从视频会议的用户图像或用户视频中获取初始图像数据；
[0046]预处理模块，与所述获取模块连接，用于对初始图像数据进行清洗与增广，得到目标图像数据；
[0047]提取模块，与所述预处理模块连接，用于据人脸检测模型，从目标图像数据中提取人脸图像；所述人脸检测模型是基于YOLO算法预先训练的。
[0048]进一步地，所述识别单元包括：
[0049]第一识别模块，用于从人脸图像中识别出人脸面部关键特征点；
[0050]第二识别模块，与所述第一识别模块连接，用于基于结合注意力机制的ResNet网络表情识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频会议质量评估方法，其特征在于，所述方法包括如下步骤：步骤S1：获取人脸图像，所述人脸图像是从视频会议的用户图像或用户视频中获得的；步骤S2：根据人脸图像识别出人脸表情；步骤S3：基于人脸表情评估出视频会议质量。2.根据权利要求1所述的视频会议质量评估方法，其特征在于，所述步骤S1中，获取人脸图像，其包括如下步骤：步骤S1.1：从视频会议的用户图像或用户视频中获取初始图像数据；步骤S1.2：对初始图像数据进行清洗与增广，得到目标图像数据；步骤S1.3：根据人脸检测模型，从目标图像数据中提取人脸图像；所述人脸检测模型是基于YOLO算法预先训练的。3.根据权利要求1所述的视频会议质量评估方法，其特征在于，所述步骤S2中，根据人脸图像识别出人脸表情，其包括如下步骤：步骤S2.1：从人脸图像中识别出人脸面部关键特征点；步骤S2.2：基于结合注意力机制的ResNet网络表情识别模型，从人脸面部关键特征点识别出人脸表情。4.根据权利要求3所述的视频会议质量评估方法，其特征在于，步骤S2.1中，从人脸图像中识别出人脸面部关键特征点，是通过dlib库的关键点检测算法，从人脸图像中识别出人脸图像中的68个人脸特征关键点，其坐标分别为{(x1,y1),(x2,y2),(x3,y3)
…
(x68,y68)}；步骤S2.2中，基于结合注意力机制的ResNet网络表情识别模型，从人脸面部关键特征点识别出人脸表情，其包括如下步骤：步骤S2.2.1：选取卷积神经网络模型为ResNet18，以及根据68个人脸特征关键点输入到ResNet18，以进行人脸表情分类；步骤S2.2.2：选用交叉熵损失函数CrossEntropyLoss衡量人脸表情分类结果和实际分类之间的误差，其公式如下：其中：x
ic
表示样本i属于类别c的预测概率，y
ic
表示样本i真实类别的符号函数，N是训练集的样本总数，M为分类数；步骤S2.2.3：在ResNet18的残差模块BasicBlock中引入SENet模块，构建SE
‑
BasicBlock，在BasicBlock的两个3
×
3卷积之后加入一个全局平均池化，获取通道上的全局特征分布，然后通过两个全连接层降低网络参数复杂度，利用Sigmoid激活函数得到每个通道权重信息，对通道的特征进行加权；步骤S2.2.4：在ResNet18的残差模块BasicBlock中引入CBAM模块，构建CBAM
‑
BasicBlock，在Ba...

【专利技术属性】
技术研发人员：梁光灯，罗振廷，彭友，罗申良，谭伟，李超，刘伯海，郑卓铭，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：