视频处理方法技术

本发明专利技术公开了一种视频处理方法

【技术实现步骤摘要】
视频处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机处理
，尤其涉及一种视频处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着教学信息化的发展，对教学质量的监控也越来越重要，需要对上课过程中学生的上课状态进行监控分析，进而通过分析结果来规范教学情况
。
[0003]在现有技术中，教学监控的方式通常是通过采集学生上课视频，进而对学生上课视频中的图像进行举手检测，分析学生的举手状态，以此来反映出学生上课的具体程度，进而判断上课的效果
。
但是，上课过程中存在各种偶然性，图片检测的方式会导致教学评估出错的问题
。

技术实现思路

[0004]本专利技术提供了一种视频处理方法
、
装置
、
电子设备及存储介质，以实现提高举手回答视频确定的精确性，进而提高教学评估的准确性和有效性
。
[0005]根据本专利技术的一方面，提供了一种视频处理方法，该方法包括：
[0006]获取待提取的教学视频，并从所述教学视频中提取多帧待识别图像以及语音数据；
[0007]对于所述多帧待识别图像，若对所述待识别图像的识别结果为预设动作，则确定与所述待识别图像相对应的举手时刻；
[0008]对所述语音数据进行识别处理，得到与预设角色相对应的目标对象的语音片段，并确定所述语音片段的起始语音时刻；
[0009]基于所述举手时刻以及所述起始语音时刻，从所述教学视频中确定举手回答视频片段，以根据所述举手回答视频片段评估所述教学视频的教学质量
。
[0010]根据本专利技术的另一方面，提供了一种视频处理装置，该装置包括：
[0011]提取模块，用于获取待提取的教学视频，并从所述教学视频中提取多帧待识别图像以及语音数据；
[0012]图像识别模块，用于对于所述多帧待识别图像，若对所述待识别图像的识别结果为预设动作，则确定与所述待识别图像相对应的举手时刻；
[0013]语音识别模块，用于对所述语音数据进行识别处理，得到与预设角色相对应的目标对象的语音片段，并确定所述语音片段的起始语音时刻；
[0014]视频片段确定模块，用于基于所述举手时刻以及所述起始语音时刻，从所述教学视频中确定举手回答视频片段，以根据所述举手回答视频片段评估所述教学视频的教学质量
。
[0015]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0016]至少一个处理器；以及
[0017]与所述至少一个处理器通信连接的存储器；其中，
[0018]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的视频处理方法
。
[0019]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的视频处理方法
。
[0020]本专利技术实施例的技术方案，通过获取待提取的教学视频，并从教学视频中提取多帧待识别图像以及语音数据；对于多帧待识别图像，若对待识别图像的识别结果为预设动作，则确定与待识别图像相对应的举手时刻；对语音数据进行识别处理，得到与预设角色相对应的目标对象的语音片段，并确定语音片段的起始语音时刻；基于举手时刻以及起始语音时刻，从教学视频中确定举手回答视频片段，以根据举手回答视频片段评估教学视频的教学质量，解决了现有技术中通过图片检测的方式评估教学，导致评估出错的问题，实现通过在对教学视频中的多帧待识别图像进行动作识别的同时，对教学视频中各个角色进行语音识别，结合图像中的举手动作和语音中目标对象的回答情况，综合确定出出现举手动作，且存在回答的举手回答视频片段，进而通过举手回答视频片段对教学视频进行评估，使得对教学过程进行评估更具够有效性和客观性，有利于提高教育教学质量
。
[0021]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围
。
本专利技术的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0023]图1是根据本专利技术实施例一提供的一种视频处理方法的流程图；
[0024]图2是根据本专利技术实施例二提供的一种视频处理方法的流程图；
[0025]图3是根据本专利技术实施例二所提供的
C3
模块的结构示意图；
[0026]图4是根据本专利技术实施例二所提供的骨干网络的结构示意图
[0027]图5是根据本专利技术实施例三提供的一种视频处理装置的结构示意图；
[0028]图6是实现本专利技术实施例的视频处理方法的电子设备的结构示意图
。
具体实施方式
[0029]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围
。
[0030]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程
、
方法
、
产品或设备固有的其它步骤或单元
。
[0031]实施例一
[0032]图1是根据本专利技术实施例一提供的一种视频处理方法的流程图，本实施例可适用于教学分析的情况，该方法可以由视频处理装置来执行，该视频处理装置可以采用硬件和
/
或软件的形式实现，该视频处理装置可配置于计算设备中
。
如图1所示，该方法包括：
[0033]S110、
获取待提取的教学视频，并从教学视频中提取多帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频处理方法，其特征在于，包括：获取待提取的教学视频，并从所述教学视频中提取多帧待识别图像以及语音数据；对于所述多帧待识别图像，若对所述待识别图像的识别结果为预设动作，则确定与所述待识别图像相对应的举手时刻；对所述语音数据进行识别处理，得到与预设角色相对应的目标对象的语音片段，并确定所述语音片段的起始语音时刻；基于所述举手时刻以及所述起始语音时刻，从所述教学视频中确定举手回答视频片段，以根据所述举手回答视频片段评估所述教学视频的教学质量
。2.
根据权利要求1所述的方法，其特征在于，所述对所述语音数据进行识别处理，得到与预设角色相对应的目标对象的语音片段，包括：基于角色分离算法对所述语音数据进行分离处理，确定不同对象对应的语音总时长；基于各所述语音总时长，从所述不同对象中确定与所述预设角色相对应的目标对象；其中，所述预设角色包括举手回答方；确定所述目标对象的语音片段
。3.
根据权利要求1所述的方法，其特征在于，所述基于所述举手时刻以及所述起始语音时刻，从所述教学视频中确定举手回答视频片段，包括：若在距离所述举手时刻后的预设时长内存在相匹配的起始语音时刻，则基于所述举手时刻以及所述起始语音时刻所属的语音片段的终止语音时刻，确定举手回答视频片段
。4.
根据权利要求1所述的方法，其特征在于，还包括：获取多个训练样本，所述训练样本包括待训练图像以及与所述待训练图像相对应的标注结果；基于所述多个训练样本训练得到目标举手检测模型，以基于所述目标举手检测模型对所述待识别图像进行处理，得到对所述待识别图像的识别结果
。5.
根据权利要求4所述的方法，其特征在于，所述基于所述多个训练样本训练得到目标举手检测模型，包括：将所述多个训练样本中的待训练图像输入至待训练举手检测模型中，基于所述待训练举手检测模型中的数据增强模型分别对每个待训练图像组进行处理，得到与每个待训练图像组相对应的拼接图像；所述待训练图像组中包括预设数量的待训练图像；所述拼接图像中的标注结果的数量与所述预设数量相对应；对于各所述拼接图像，基于所述待训练举手检测模型中的骨干网络对所述拼接图像进行处理，得到输出标签；基于所述拼接图像中的标注结果以及所述输出标签，确定损失值；基于所述损失值对所述待训练举手检测模型中的模型参数进行修正；将所述待训练举手检测模型的损失函数收敛作为训练目标，得到所述目标举手检测模型
。6.
根据权利要求5所述的方法，其特征在于，所述骨干网络包括第一模块和第二模块；所述第一模块由多个卷积层
、
多个
C3
模块和
SPPF
模块组成；所述基于所述待训练举手检测模型中的骨干网络对所述拼接图像进行处理，得到输出标签，包括：基于所述骨干网络中的第...

【专利技术属性】
技术研发人员：陈嘉，
申请(专利权)人：北京智慧荣升科技有限公司，
类型：发明
国别省市：