【技术实现步骤摘要】
一种基于目标检测的会议视频分析方法及系统
本专利技术涉及计算机深度学习领域，特别是涉及一种基于目标检测的会议视频分析方法及系统。
技术介绍
在公司及其他机构中，经常会召开会议或开展培训工作，然而参与会议的人员专注度与活跃度如何以及参加培训的人员对培训内容的兴趣如何，最终的会议及培训目标有没有达到，却很难得知。传统的会议培训等工作的评估只能依赖人们的主观评价，缺乏可信度，也缺乏数据佐证。现在也有相关技术针对这一不足提供了一些解决方案，但这些解决方案在实践中由于条件限制往往缺乏可行性。如现有技术CN201910001938所述的一种会议效果反馈方法、装置、计算机设备和可读存储介质，其中，在系统中预设微表情与所其代表的内容，结合参会人数及微表情的监控(包括种类、数量、比值等)，对会议效果进行反馈，但是通常会议现场情况复杂，人脸信息的识别已经比较困难，再进行微表情的识别更是难上加难，相应的系统也更为复杂，适用性较差。CN201810359755-基于多模态信息融合的课堂学习状态监测方法及系统专利中，也与本专利...
【技术保护点】
1.一种基于目标检测的会议视频分析方法，其特征在于，包括如下步骤：/n步骤一：准备会议图片数据集，所述会议图片数据集中包括参会人员的头部状态以及面部表情的图片，对图片进行截取并标注，所述头部状态的标注包括抬头、低头、扭头，面部表情的标注包括正常、微笑、被遮挡；/n步骤二：根据标注好的会议图片数据集，利用深度神经网络训练三个深度学习模型，分别用于识别参会人员的头部区域、头部状态与面部表情，将训练好的三个深度学习模型集成为一个测试模型；/n步骤三：通过摄像头采集会议视频，从会议视频中提取视频图片用于分析，具体为，每隔1s提取一张视频图片，针对待分析的视频图片，调用测试模型，识别...
【技术特征摘要】
1.一种基于目标检测的会议视频分析方法，其特征在于，包括如下步骤：
步骤一：准备会议图片数据集，所述会议图片数据集中包括参会人员的头部状态以及面部表情的图片，对图片进行截取并标注，所述头部状态的标注包括抬头、低头、扭头，面部表情的标注包括正常、微笑、被遮挡；
步骤二：根据标注好的会议图片数据集，利用深度神经网络训练三个深度学习模型，分别用于识别参会人员的头部区域、头部状态与面部表情，将训练好的三个深度学习模型集成为一个测试模型；
步骤三：通过摄像头采集会议视频，从会议视频中提取视频图片用于分析，具体为，每隔1s提取一张视频图片，针对待分析的视频图片，调用测试模型，识别视频图片中参会人员的头部状态与面部表情；
步骤四：根据测试模型的识别结果，分别给专注度与活跃度打分，并得到专注度与活跃度随时间变化的曲线，所述专注度为：头部状态的标注为抬头、扭头、低头三个类别的人数的加权结果，所述活跃度为：面部表情的标注为微笑、正常、被遮挡三个类别的人数的加权结果。
2.如权利要求1所述的一种基于目标检测的会议视频分析方法，其特征在于：所述步骤一中，准备会议图片数据集包括：准备头部状态数据集和准备面部表情数据集，所述准备头部状态数据集包括：对头部状态数据集中的图片进行预处理，所述预处理为：统计图片中参会人员数量，其中头部被遮挡2/3以上的参会人员不参与计算，保留包含40～50个参会人员的图片，所述头部状态数据集经过预处理后保留至少5000张图片；所述准备面部表情数据集包括：从头部状态数据集中截取至少10万张面部表情图片；标注面部表情图片的头部状态，所述头部状态的编号及名称对应关系如下：1-抬头、2-低头、3-扭头，得到的标注信息为{Headk,Statuski}，其中k表示第k个头部位置，i表示第k个头部的状态；标注面部表情图片的面部表情，面部表情的编号及名称对应关系如下：1-正常、2-微笑、3被遮挡，得到的标注信息为F3(Headk)＝{Emotionki}，其中k表示第k个头部位置，i表示第k个面部表情的状态。
3.如权利要求2所述的一种基于目标检测的会议视频分析方法，其特征在于：所述步骤二中，深度神经网络模型训练还包括如下步骤：
步骤1：利用深度神经网络训练一个头部区域检测模型，使得F1(Image)＝{Headm}，用于检测图片中参会人员的头部位置，判定为头部区域的阈值设定为0.6，高于阈值则认为是头部区域，其中m为检测到的头部区域数量，头部位置区域为矩形，所述矩形的位置信息是矩形的四...
【专利技术属性】
技术研发人员：张冬，房鹏展，吕晨，
申请(专利权)人：焦点科技股份有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。