【技术实现步骤摘要】
一种举手统计方法、装置、设备及存储介质
[0001]本申请涉及计算机
,尤其涉及一种举手统计方法
、
装置
、
设备及存储介质
。
技术介绍
[0002]视频序列中的人体姿态估计是一项涉及计算机视觉
、
模式识别及人工智能等多领域的研究课题,其在人机交互
、
虚拟现实
、
游戏开发等诸多方面存在着广泛的应用价值
。
例如,在教室课堂中可以通过检测学生举手的行为来评估学生的学习状态;或者在会议视频中可以通过统计参会人员的举手投票行为来判断投票结果等
。
[0003]目前,现有的举手统计方法通常包括两种:一种是基于手工设计的特征和规则进行统计的方法,但该方法难以达到较高的准确度;另一种是基于深度学习的举手统计方法,但该方法是采用检测算法来判断用户是否举手,对于手部部分被遮挡的情况无法进行准确判断,精度不够,并且基于深度学习的检测算法通常比较复杂,无法实现实时统计,只能识别出单帧图像中用户的举手情况,无法更为快速
、
准确的对视频序列进行用户的举手统计
。
因此,现有的举手统计方法的效果均不够理想,如何提高举手统计结果的准确性,以提高统计效果是目前亟待解决的技术问题
。
技术实现思路
[0004]基于此,有必要针对上述技术问题,提供一种举手统计方法
、
装置
、
设备及存储介质,能够有效提高举手统计结果的准确性, ...
【技术保护点】
【技术特征摘要】
1.
一种举手统计方法,其特征在于,包括:获取目标视频;所述目标视频为包含目标用户的视频;利用轻量化的深度网络模型,提取所述目标视频中所述目标用户的人体关键点特征;结合时空信息,对所述目标用户的人体关键点特征进行时序分类处理,得到所述目标用户的初步举手分类结果;基于位置增强的追踪算法,对目标视频的相邻帧中的目标用户进行位置交并比匹配计算,得到匹配结果,并根据所述匹配结果和初步举手分类结果统计目标用户中的举手人数,得到最终举手统计结果
。2.
根据权利要求1所述的方法,其特征在于,所述利用轻量化的深度网络模型,提取所述目标视频中所述目标用户的人体关键点特征,包括:利用轻量化的深度网络模型,提取所述目标视频中所述目标用户的图像特征,并根据所述图像特征生成人体关键点置信度图的二维热图;利用所述二维热图和所述图像特征,生成用于预测人体关键点之间的亲和力的二维向量场;根据所述二维热图和所述二维向量场,生成所述目标用户的人体关键点坐标,作为所述目标用户的人体关键点特征
。3.
根据权利要求1所述的方法,其特征在于,所述结合时空信息,对所述目标用户的人体关键点特征进行时序分类处理,得到所述目标用户的初步举手分类结果,包括:将所述目标用户的人体关键点特征转化为时空图;将所述时空图输入时序分类模型进行图卷积操作处理,提取出包含时空信息的目标用户手部行为特征,并根据所述手部行为特征,预测所述目标用户的初步举手分类结果
。4.
根据权利要求3所述的方法,其特征在于,所述将所述时空图输入时序分类模型进行图卷积操作处理,提取出包含时空信息的目标用户手部行为特征,并根据所述手部行为特征,预测所述目标用户的初步举手分类结果,包括:将所述时空图输入时序分类模型的时空卷积层进行特征提取和融合,得到特征图;将所述特征图输入时序分类模型的池化层进行池化处理,得到池化后的特征图;将所述池化后的特征图输入时序分类模型的全局池化层进行全局池化处理,得到特征向量;将所述特征向量输入时序分类模型的全连接层进行线性变换和非线性变换处理,预测出所述目标用户的初步举手分类结果
。5.
根据权利要求1‑4任一项所述的方法,其特征在于,所述基于位置增强的追踪算法,对目标视频的相邻帧中的目标用户进行位置交并比匹配计算,得到匹配结果,包括:基于位置增强的追踪算法,为各个所述目标用户分配各自对应的用户标识;基于所述目标用户的人体关键点特征,确定所述目标用户的人体关键点对应的最小外接矩形框及其中心点坐标;根据各个目标用户对应的用户标识,遍历所有目标用户,计算目标视频当前帧中当前目标用户的最小外接矩形框和...
【专利技术属性】
技术研发人员:岳家名,张之楠,周超,吕江波,沈小勇,
申请(专利权)人:北京思谋智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。