一种举手统计方法技术

本申请涉及一种举手统计方法

【技术实现步骤摘要】
一种举手统计方法、装置、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种举手统计方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]视频序列中的人体姿态估计是一项涉及计算机视觉
、
模式识别及人工智能等多领域的研究课题，其在人机交互
、
虚拟现实
、
游戏开发等诸多方面存在着广泛的应用价值
。
例如，在教室课堂中可以通过检测学生举手的行为来评估学生的学习状态；或者在会议视频中可以通过统计参会人员的举手投票行为来判断投票结果等
。
[0003]目前，现有的举手统计方法通常包括两种：一种是基于手工设计的特征和规则进行统计的方法，但该方法难以达到较高的准确度；另一种是基于深度学习的举手统计方法，但该方法是采用检测算法来判断用户是否举手，对于手部部分被遮挡的情况无法进行准确判断，精度不够，并且基于深度学习的检测算法通常比较复杂，无法实现实时统计，只能识别出单帧图像中用户的举手情况，无法更为快速
、
准确的对视频序列进行用户的举手统计
。
因此，现有的举手统计方法的效果均不够理想，如何提高举手统计结果的准确性，以提高统计效果是目前亟待解决的技术问题
。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种举手统计方法
、
装置
、
设备及存储介质，能够有效提高举手统计结果的准确性，进而提高统计效果
。
[0005]第一方面，本申请提供了一种举手统计方法，包括：
[0006]获取目标视频；该目标视频为包含目标用户的视频；
[0007]利用轻量化的深度网络模型，提取该目标视频中目标用户的人体关键点特征；
[0008]结合时空信息，对目标用户的人体关键点特征进行时序分类处理，得到目标用户的初步举手分类结果；
[0009]基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，并根据匹配结果和初步举手分类结果统计目标用户中的举手人数，得到最终举手统计结果
。
[0010]第二方面，本申请实施例还提供了一种举手统计装置，包括：
[0011]获取模块，用于获取目标视频；该目标视频为包含目标用户的视频；
[0012]提取模块，用于利用轻量化的深度网络模型，提取该目标视频中目标用户的人体关键点特征；
[0013]分类模块，用于结合时空信息，对目标用户的人体关键点特征进行时序分类处理，得到目标用户的初始举手分类结果；
[0014]统计模块，用于基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，并根据匹配结果和初始举手分类结果统计目标用
户中的举手人数，得到最终举手统计结果
。
[0015]第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤
。
[0016]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤
。
[0017]第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤
。
[0018]上述举手统计方法
、
装置
、
设备及存储介质，具有如下有益效果：
[0019]本申请在对目标视频中的目标用户进行举手统计时，首先利用轻量化的深度网络模型提取目标用户的人体关键点特征，提高了模型推理速度，然后是利用时序分类和基于位置增强的追踪算法，综合空间特征
、
时间特征和位置信息对目标用户进行更为准确的举手人数统计，其中通过位置交并比匹配确定的举手检测结果对手部部分被遮挡造成的漏检问题进行了改善，从而有效解决了现有技术中基于检测算法等方式进行举手人数统计时准确率不高的问题，获得了更准确的举手统计结果
。
附图说明
[0020]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0021]图1为本申请实施例提供的一种举手统计方法的流程示意图；
[0022]图2为本申请实施例提供的目标用户的人体关键点特征转化成的时空数据的示例图；
[0023]图3为本申请实施例提供的目标用户的初步举手分类结果的示例图；
[0024]图4为本申请实施例提供的基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果的过程示意图；
[0025]图5为本申请实施例提供的举手统计的整体过程示意图；
[0026]图6为本申请实施例提供的一种举手统计装置的组成示意图；
[0027]图7为本申请实施例提供的一种计算机设备的内部结构图；
[0028]图8为本申请实施例提供的另一种计算机设备的内部结构图；
[0029]图9为本申请实施例提供的一种计算机可读存储介质的内部结构图
。
具体实施方式
[0030]为了使本申请的目的
、
技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明
。
应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请
。
[0031]本申请的专利技术人在进行技术研究时发现，现有的举手统计方法通常包括以下两种：
[0032]一种是基于手工设计的特征和规则进行统计的方法
。
例如边缘检测
、
色彩分割等
方法
。
这些方法虽然可以实现一定的效果，但由于人体的手部动作较为多样化，往往难以达到较高的准确度
。
[0033]另一种常用的举手统计方法是基于深度学习的举手统计方法
。
该方法通常使用卷积神经网络
(ConvolutionalNeuralNetworks,
，简称
CNN)
来学习从图像中提取人体姿态信息的特征，然后使用回归或分类模型来估计用户举手情况
。
这种方法的优势在于可以自动学习特征和规律，能够更好地适应人体的手部动作的多样性
。
但是也存在很多待解决的问题，例如在不同光照
、
相机视角，以及手背部分被遮挡的情况下神经网络的泛化能力有限，有可能会造成误检或者漏检
。
[0034]并且，对于统计举手人数的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种举手统计方法，其特征在于，包括：获取目标视频；所述目标视频为包含目标用户的视频；利用轻量化的深度网络模型，提取所述目标视频中所述目标用户的人体关键点特征；结合时空信息，对所述目标用户的人体关键点特征进行时序分类处理，得到所述目标用户的初步举手分类结果；基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，并根据所述匹配结果和初步举手分类结果统计目标用户中的举手人数，得到最终举手统计结果
。2.
根据权利要求1所述的方法，其特征在于，所述利用轻量化的深度网络模型，提取所述目标视频中所述目标用户的人体关键点特征，包括：利用轻量化的深度网络模型，提取所述目标视频中所述目标用户的图像特征，并根据所述图像特征生成人体关键点置信度图的二维热图；利用所述二维热图和所述图像特征，生成用于预测人体关键点之间的亲和力的二维向量场；根据所述二维热图和所述二维向量场，生成所述目标用户的人体关键点坐标，作为所述目标用户的人体关键点特征
。3.
根据权利要求1所述的方法，其特征在于，所述结合时空信息，对所述目标用户的人体关键点特征进行时序分类处理，得到所述目标用户的初步举手分类结果，包括：将所述目标用户的人体关键点特征转化为时空图；将所述时空图输入时序分类模型进行图卷积操作处理，提取出包含时空信息的目标用户手部行为特征，并根据所述手部行为特征，预测所述目标用户的初步举手分类结果
。4.
根据权利要求3所述的方法，其特征在于，所述将所述时空图输入时序分类模型进行图卷积操作处理，提取出包含时空信息的目标用户手部行为特征，并根据所述手部行为特征，预测所述目标用户的初步举手分类结果，包括：将所述时空图输入时序分类模型的时空卷积层进行特征提取和融合，得到特征图；将所述特征图输入时序分类模型的池化层进行池化处理，得到池化后的特征图；将所述池化后的特征图输入时序分类模型的全局池化层进行全局池化处理，得到特征向量；将所述特征向量输入时序分类模型的全连接层进行线性变换和非线性变换处理，预测出所述目标用户的初步举手分类结果
。5.
根据权利要求1‑4任一项所述的方法，其特征在于，所述基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，包括：基于位置增强的追踪算法，为各个所述目标用户分配各自对应的用户标识；基于所述目标用户的人体关键点特征，确定所述目标用户的人体关键点对应的最小外接矩形框及其中心点坐标；根据各个目标用户对应的用户标识，遍历所有目标用户，计算目标视频当前帧中当前目标用户的最小外接矩形框和...

【专利技术属性】
技术研发人员：岳家名，张之楠，周超，吕江波，沈小勇，
申请(专利权)人：北京思谋智能科技有限公司，
类型：发明
国别省市：