基于视频会议的参会人员评分方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供了一种基于视频会议的参会人员评分方法、装置、电子设备及存储介质，应用于视联网云端分析平台，所述方法包括：从当前视频会议的音视频流中截取待识别的视频数据，所述待识别视频数据为对多个参会人员进行拍摄得到的数据；对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同表情类别对应的权重以及与不同动作类别对应的权重，确定所述多个参会人员各自对应的评分。

【技术实现步骤摘要】
基于视频会议的参会人员评分方法、装置、设备及介质
本专利技术涉及信息处理
，特别是涉及一种基于视频会议的参会人员评分方法、装置、设备及介质。
技术介绍
视联网采用全球最先进的VisionVera实时高清视频交换技术，实现了目前互联网无法实现的全网高清视频实时传输，将高清视频会议、视频监控、远程培训、智能化监控分析、应急指挥、视频电话、现场直播、电视邮件、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过多种终端设备实现高清品质视频通信实时互联互通。相关技术中，利用视联网进行视频会议的用户越来越多，且许多视频会议是众多人员参与的视频会议。而随着对人员参与视频会议的要求愈来愈高，需要拓展视频会议的一些附属功能，但是，目前的视频会议仅用于音视频的直播，不能满足用户对视频会议的多样化功能需求。
技术实现思路
鉴于上述问题，提出了本专利技术实施例提供一种基于视频会议的参会人员评分方法、装置、电子设备及存储介质，以便克服上述问题或者至少部分地解决上述问题的。本专利技术实施例的第一方面，公开了一种基于视频会议的参会人员评分方法，应用于视联网云端分析平台，所述方法包括：从当前视频会议的音视频流中截取待识别的视频数据，所述待识别视频数据为对多个参会人员进行拍摄得到的数据；对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同表情类别对应的权重以及与不同动作类别对应的权重，确定所述多个参会人员各自对应的评分。本专利技术实施例的第二方面，提供一种基于视频会议的参会人员评分方法，应用于视联网视频会议控制平台，包括：从当前视频会议的音视频流中截取的待识别的视频数据；将所述待识别的视频数据发送给视联网云端分析平台，以使所述视联网云端分析平台对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；并根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同表情类别对应的权重以及与不同动作类别对应的权重，确定所述多个参会人员各自对应的评分；接收所述视联网云端分析平台返回的所述多个参会人员各自对应的评分，并显示所述多个参会人员各自对应的评分。本专利技术实施例的第三方面，提供一种基于视频会议的参会人员评分装置，应用于视联网云端分析平台，所述装置包括：视频获得模块，用于从当前视频会议的音视频流中截取待识别的视频数据，所述待识别视频数据为对多个参会人员进行拍摄得到的数据；识别模块，用于对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；评分模块，用于根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同表情类别对应的权重以及与不同动作类别对应的权重，确定所述多个参会人员各自对应的评分。本专利技术实施例的第四方面，提供一种基于视频会议的参会人员评分装置，应用于视联网视频会议控制平台，包括：视频截取模块，用于从当前视频会议的音视频流中截取的待识别的视频数据；视频发送模块，用于将所述待识别的视频数据发送给视联网云端分析平台，以使所述视联网云端分析平台对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；并根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同表情类别对应的权重以及与不同动作类别对应的权重，确定所述多个参会人员各自对应的评分；评分接收模块，用于接收所述视联网云端分析平台返回的所述多个参会人员各自对应的评分，并显示所述多个参会人员各自对应的评分。本专利技术实施例还公开了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本专利技术实施例第一方面或第二方面所述的基于视频会议的参会人员评分方法。本专利技术实施例还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本专利技术实施例第一方面或第二方面所述的基于视频会议的参会人员评分方法。本专利技术实施例包括以下优点：本实施例中，可以从当前视频会议的音视频流中截取待识别的视频数据，并对待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对待识别视频数据进行行为动作识别，得到多个参会人员各自的行为动作所属的动作类别；进而根据多个参会人员各自的人脸表情所属的表情类别、多个参会人员各自的行为动作所属的动作类别、与不同的表情类别对应的权重以及与不同的动作类别对应的权重，确定出多个参会人员各自对应的评分。这样，便实现了在视联网视频会议中，可以对参会人员参与会议的专注程度和认真程度进行识别，进而得到每个参会人员参与会议的评分，从而实现了对参会人员参与会议的情况的量化，以方便管理人员对参会人员参与会议情况进行监督，从而在直播基础上进一步拓宽了视频会议的附属功能，满足了用户对视频会议的多样化功能需求。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的通信环境图；图2是本专利技术实施例的一种基于视频会议的参会人员评分方法的步骤流程图；图3是本专利技术实施例的得到人脸表情识别模型的步骤流程图；图4是本专利技术实施例的得到行为动作识别模型的步骤流程图；图5本专利技术实施例的又一种基于视频会议的参会人员评分方法的步骤流程图；图6本专利技术实施例的一种基于视频会议的参会人员评分装置的结构示意图；图7本专利技术实施例的又一种基于视频会议的参会人员评分装置的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。在视联网通信领域中，视频会议得到大规模的应用，但是在视频会议领域还只是处于原始的音视频直播。而实际中，对视频会议的功能需求不仅限于直播，也产生了其他附属性的功能需求，例如，需要对视频会议的参会人员进行人数统计、对视频会议本文档来自技高网...

【技术保护点】
1.一种基于视频会议的参会人员评分方法，其特征在于，应用于视联网云端分析平台，所述方法包括：/n从当前视频会议的音视频流中截取待识别的视频数据，所述待识别视频数据为对多个参会人员进行拍摄得到的数据；/n对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；/n根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同的表情类别对应的权重以及与不同的动作类别对应的权重，确定所述多个参会人员各自对应的评分。/n

【技术特征摘要】
1.一种基于视频会议的参会人员评分方法，其特征在于，应用于视联网云端分析平台，所述方法包括：
从当前视频会议的音视频流中截取待识别的视频数据，所述待识别视频数据为对多个参会人员进行拍摄得到的数据；
对所述待识别的视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，以及对所述待识别视频数据进行行为动作识别，得到所述多个参会人员各自的行为动作所属的动作类别；
根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同的表情类别对应的权重以及与不同的动作类别对应的权重，确定所述多个参会人员各自对应的评分。


2.根据权利要求1所述的方法，其特征在于，对所述待识别视频数据进行人脸表情识别，得到所述多个参会人员各自的人脸表情所属的表情类别，包括：
将所述待识别视频数据输入到人脸表情识别模型，所述人脸表情识别模型用于对所述待识别视频数据进行特征提取，得到多个人脸面部特征，并基于所述多个人脸面部特征对多个参会人员的人脸表情所属的类别进行识别；
获得由所述人脸表情识别模型输出的与所述多个参会人员各自对应的表情类别，所述人脸表情识别模型是以携带人脸表情标签的多个人脸图像样本为训练样本，对预设第一模型进行训练得到的；其中，所述人脸表情标签用于表征人脸图像样本中人脸表情所属的类别。


3.根据权利要求2所述的方法，其特征在于，对所述待识别视频数据进行行为动作特征识别，得到所述多个参会人员各自的行为动作所属的动作类别，包括：
将所述待识别视频数据输入到行为动作识别模型，所述行为动作识别模型用于对所述待识别视频数据进行特征提取，得到多个行为动作特征，并基于所述多个行为动作特征对多个参会人员的行为动作所属的类别进行识别；
获得由所述行为动作识别模型输出的与所述多个参会人员各自对应的动作类别，所述行为动作识别模型是以携带动作标签的多个人体图像样本为训练样本，对预设第二模型进行训练得到的；其中，所述动作标签用于表征人体图像样本中人的肢体动作所属的类别。


4.根据权利要求2所述的方法，其特征在于，所述人脸表情识别模型通过以下步骤获得；
以所述携带人脸表情标签的多个人脸图像样本为训练样本，分别对多个预设第一模型进行训练；其中，不同的预设第一模型具有不同的模型参数；
将训练完成后的多个预设第一模型确定为多个候选第一模型；
以携带人脸表情标签的多个人脸图像为测试样本，分别对所述多个候选第一模型进行测试，得到所述多个候选第一模型各自输出的测试分值；
根据所述多个候选第一模型各自输出的测试分值，从所述多个候选第一模型中确定用于进行人脸表情识别的人脸表情识别模型。


5.根据权利要求3所述的方法，其特征在于，所述行为动作识别模型通过以下步骤得到：
以所述携带动作标签的多个人体图像样本为训练样本，分别对多个预设第二模型进行训练；其中，不同的预设第二模型具有不同的模型参数；
将训练完成后的多个预设第二模型确定为多个候选第二模型；
以携带动作标签的多个人体图像为测试样本，分别对所述多个候选第二模型进行测试，得到所述多个候选第二模型输出的测试分值；
根据所述多个候选第二模型各自输出的测试分值，从所述多个候选第二模型中确定用于进行行为动作识别的行为动作识别模型。


6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
响应于参会人员对所述评分进行的申诉请求，从所述当前视频会议的音视频流中截取与所述申述请求对应的多帧视频图像；
对所述多帧视频图像所包括的每个人脸图像的人脸表情所属的类别进行标注，和/或，对所述多帧视频图像所包括的人体图像的行为动作所属的类别进行标注；
以标注人脸表情所属的类别后的多帧视频图像为训练样本，对所述人脸表情识别模型进行训练，得到训练后的人脸表情识别模型；和/或，以标注行为动作所属的类别后的多帧视频图像为训练样本，对所述行为动作识别模型进行训练，得到训练后的行为动作识别模型。


7.根据权利要求1-6任一项所述的方法，其特征在于，根据所述多个参会人员各自的人脸表情所属的表情类别、所述多个参会人员各自的行为动作所属的动作类别、与不同_(:з」∠)_表情类别对应的权重以及与不同的动作类别对应的权重，确定所述多个参会人员各自对应的评分，包括：
根据预设表情评分、所述多个参会人员各自的人脸表情所属的表情类别和与不同的表情类别对应的权重，确定所述多个参会人员各自对应的第一维度评分；
根据预设行为评分、所述多个参会人员各自的行为动作所属的动作类别和与不同的动作类别对应的权重，确定所述多个参会人员各自对应的第二维度评分；
将所述多个参会人员各自对应的第一维度评分和第二维度评分之和，确定为所述多个参会人员各自对应的评分。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括；
对所述待识别视频数据进行人脸识别，得到所述待识别视频数据所对应的时段中未离席的多个参会人员的身份信息；
基于预存的与所述多个参会人员各自对应的身份信息和所述未离席的多个参会人员的身份信息，确定在所述待识别视频数据所对应的时段中离席的参会人员的身份信息；
根据在预设时间段内确定出的离席的参会人员的身份信息，统计所述多个参会人员各自的离席次数；
将所述多个参会人员各自对应的第一维度评分和第二维度评分之和，确定为所述多个参会人员各自对应的评分，包括：
根据所述多个参会人员各自的离席次数和预设离席权重，确定所述多个参会人员各自对应的第三维度评分；
根据所述多个参会人员各自对应的第一维度评分、第二维度评分和所述第三维度评分，确定所述多个参会人员各自对应的评分。


9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
接收视频会议控制平台发送的所述多个参会人员在所述当前视频会议中各自对应的发言次数；
将所述多个参会人员各自对应的第一维度评分和第二维度评分之和，确定为所述多个参会人员各自对应的评分，包括：
根据所述多个参会人员各自对应的发言次数和预设发言权重，确定所述多个参会人员各自对应的第四维度评分；
根据所述多个参会人员各自对应的第一维度评分、第二维度评分和所述第四维度评分，确定所述多个参会人员各自对应的评分。


10.根据权利要求7所述的方法，其特征在于，所述方法还包括：
接收...

【专利技术属性】
技术研发人员：吕亚亚，李云鹏，谢文龙，杨春晖，
申请(专利权)人：视联动力信息技术股份有限公司，
类型：发明
国别省市：北京;11