一种会议参与度识别方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术实施例公开了一种会议参与度识别方法、装置、服务器和存储介质，该方法包括：实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。本发明专利技术实施例利用图片识别技术，从多角度识别每个参会者的精细行为特征，并基于该行为特征识别每个参会者的个体情绪和全部参会者的群体情绪，为会议主持人提供了更丰富的有关参会者对会议参与度的信息，使主持人能够更准确、实时地了解参会者对会议主题的参与程度。

【技术实现步骤摘要】
一种会议参与度识别方法、装置、服务器和存储介质
本专利技术实施例涉及图片识别技术，尤其涉及一种会议参与度识别方法、装置、服务器和存储介质。
技术介绍
在组织会议的过程中，主持人需要调动现场氛围，让参与者都积极参与到会议主题中，主讲人也希望所讲主题和内容是所有与会者都感兴趣并能够理解和有价值的。此外，主持人或主讲人都需要针对现场的情况及时作出调整，以达到理想的会议效果。现有技术中，可以利用摄像头拍摄会场图像，通过图像识别出在场观众的人数，以及识别出是否有人缺席或提前离席，并将这些信息反馈给会议主持人或主讲人。然而，在会议中，且尤其是参与人数较多的大型会议中，仅能够得知参与者的人数是不够的，基于现有技术提供的信息，主持人或主讲人仍然无法全面掌握参与者的动态和对会议的关注程度，更加无法基于此做出实时地调整，继而无法达到理想的会议效果。
技术实现思路
本专利技术实施例提供一种会议参与度识别方法、装置、服务器和存储介质，以解决现有技术无法提供足够的与参会者对会议参与度有关的信息的问题。第一方面，本专利技术实施例提供了一种会议参与度识别方法，该方法包括：实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。第二方面，本专利技术实施例还提供了一种会议参与度识别装置，该装置包括：图片获取模块，用于实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；行为特征识别模块，用于利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；情绪识别模块，用于利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。第三方面，本专利技术实施例还提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所述的会议参与度识别方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所述的会议参与度识别方法。本专利技术实施例提供了一种会议参与度识别方法、装置、服务器和存储介质，利用图片识别技术，从会议现场图片中识别每个参会者的至少一种行为特征，并输入到预先训练的情绪识别模型，以识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。由此实现了从多角度识别每个参会者的精细行为特征，并基于该行为特征识别每个参会者的个体情绪和全部参会者的群体情绪，为会议主持人提供了更丰富的有关参会者对会议参与度的信息，使主持人能够更准确、实时地了解参会者对会议主题的参与程度。附图说明图1为本专利技术实施例一中的会议参与度识别方法的流程图；图2是本专利技术实施例二中的会议参与度识别方法的流程图；图3是本专利技术实施例三中的会议参与度识别方法的流程图图4是本专利技术实施例四中的会议参与度识别装置的结构示意图；图5是本专利技术实施例五中的服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的会议参与度识别方法的流程图，本实施例可适用于判断参会者对会议主题的参与程度的情况，该方法可以由会议参与度识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在本地服务器或者云端服务器上。如图1所示，该方法具体包括：S101、实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像。其中，会议现场图片是群体图片，包括了全部参会者的图像。针对一个会议，通常参会者人数较多，因此可通过设置多个不同角度的摄像头对会议现场进行图像采集，以保证采集的图像数据中包括全部参会者的图像。因此，只需实时获取摄像头采集的图像数据，即可实时得到会议现场图片。S102、利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征。其中，每个参会者的至少一种行为特征至少包括：人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征。相应的，可基于机器学习技术，利用预先训练好的特征识别模型，从获取到的会议现场图片中识别每个参会者的各种行为特征。示例性的，利用人脸关键点识别模型识别会议现场图片中每个参会者的人脸朝向特征，例如左转头、右转头、低头等，除此，人脸关键点识别模型还可以识别每个参会者的人脸轮廓、五官的位置和轮廓等；利用人体肢体识别模型识别会议现场图片中每个参会者的人体肢体特征，其中，人体肢体特征至少包括趴着、抬头、翘腿、转笔等；利用视线估计模型识别会议现场图片中每个参会者的视线估计特征，即识别各参会者的眼睛注视的方向；利用会场行为模型识别会议现场图片中每个参会者的会场行为特征，例如识别参会者进场或离场等；利用人脸表情识别模型识别会议现场图片中每个参会者的人脸表情特征，其中人脸表情特征至少包括皱眉、大笑、微笑、闭眼、撅嘴、抿嘴、吐舌等。由此，通过上述各个特征识别模型，可识别群体图片中每个参会者的行为特征。S103、利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。将S102中各个特征识别模型输出的每个参会者的行为特征输入到预先训练的情绪识别模型，根据情绪识别模型的输出确定每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。此外，本专利技术实施例的方法还可以包括显示所述个体情绪识别结果和群体情绪识别结果。例如可以在一块显示屏上显示上述结果以供会议主持人查看，会议主持人可以根据每个人以及群体的情绪识别结果随时调整会议内容，或者设置课间休息，以达到更好的会议效果。此处还需要说明的是，基于现实情况，确实是一个会场里，大多数人情绪，通常反应了整体会议参与度情况，而单个参会者的情绪不能代表所有参会者的情绪，因此在判断会议参与度时直接利用情绪识别模型输出的群体情绪识别结果来确定。而且，当会场人数众多时，若只提供每个参会者的情绪识别结果并局限在固定大小的显示屏上供主持人查看，主持人则无法在众多结果中明显地观察到哪个人注意力有问题或者参与度不高。而群体情绪识别结果则可以作为更好的信息参考，例如，当群体情绪识别结果显示群体参与度不高，低于60％，则表示大多数人对主持人的演讲不感兴趣，或者存在疑惑，则主持人可以及时调整，也可以进一步通过个体情绪识别结果查看到底是哪个人或者哪些人参与度不高，以便采取进一步的措施。反之，如果群体情绪识别结果显示大多数人参与度较高，那么主持人则不必额外花精力来查看哪个人参与度不高，也不需要主持人根据每个人的情绪识别结果来自己统计会场的整体参与度，影响会议效率。进一步的，本实施例利用情绪识别模型进行情绪分析时，是通过综合分析参会者多种行为特征进行识别，相比于利用参会者单一行为特征分析情绪，其准确性更高。本文档来自技高网...

【技术保护点】
1.一种会议参与度识别方法，其特征在于，包括：实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

【技术特征摘要】
1.一种会议参与度识别方法，其特征在于，包括：实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。2.根据权利要求1所述的方法，其特征在于，所述至少一种行为特征至少包括：人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征；相应的，所述利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征，包括：分别利用预先训练的人脸关键点识别模型、人体肢体识别模型、视线估计模型、会场行为模型和人脸表情识别模型，并基于图片识别技术，从所述会议现场图片中识别每个参会者的人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：保存历史群体情绪识别结果，得到群体历史情绪波动特征；相应的，所述利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果，包括：利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果；根据所述每个参会者的至少一种行为特征和所述群体历史情绪波动特征识别会议现场的群体情绪识别结果。4.根据权利要求1-3中任一所述的方法，其特征在于，在识别每个参会者的个体情绪识别结果以及会议现场的群体情绪识别结果之后，所述方法还包括：根据所述至少一种行为特征和个体情绪识别结果，对全部参会者按照座位距离进行聚类；如果通过聚类得到至少一个情绪区域，则计算各情绪区域的区域情绪识别结果；显示所述个体情绪识别结果、群体情绪识别结果和/或至少一个情绪区域的区域情绪识别结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述至少一个情绪区域内，基于各情绪区域的区域情绪识别结果，对各区域内不同参会者的至少一种行为特征中置信度低于预设阈值的行为特征进行校正。6.一种会议参与度识别装置，其特征在于，包括：图片获取模块，用于实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；行为特征识别模...

【专利技术属性】
技术研发人员：杨尊程，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11