本申请公开一种用于视频分类任务的处理方法、装置、电子设备以及计算机存储介质,所述用于视频分类任务的处理方法包括:确定待分类视频的运动速度,其中,所述运动速度是用于衡量视频运动快慢的指标;获得用于视频分类的视频分类模型集;根据所述运动速度所处的阈值区间,从所述视频分类模型集中确定该阈值区间相对应的视频分类模型;利用所述视频分类模型对所述待分类视频进行分类处理,获得视频分类结果。所述用于视频分类任务的处理方法,不改变模型本身结构,可以在保证准确率的情况下降低视频分类模型的计算量和内存访问,提升视频分类速度。类速度。类速度。
【技术实现步骤摘要】
一种用于视频分类任务的处理方法、装置
[0001]本申请涉及视频
,具体涉及一种用于视频分类任务的处理方法、装置、电子设备以及计算机存储介质、一种用于确定待处理视频的运动速度的方法、装置、一种用于视频处理结果的精度控制补偿方法、装置。
技术介绍
[0002]随着人工智能技术的发展,涌现了各种视频平台,并且视频平台中视频数量巨大,视频种类繁多,为了使用户能够从大量的视频中选择自己感兴趣的内容,通常会对视频进行分类,因此,视频分类的需求也越来越广泛。
[0003]近年来,神经网络(Neural Network,简称NN)飞速发展,目前,神经网络在图像识别、自然语言处理和生物医学等领域都有着广泛的应用,并且创造出了巨大的社会价值。神经网络一般包括感知机、卷积神经网络、循环神经网络、transformer等。由于transformer可以有效提取序列化数据中的依赖关系,因此,如何利用transformer对视频进行高效快速视频分类是目前亟需解决的问题。
技术实现思路
[0004]本申请实施例提供一种用于视频分类任务的处理方法、装置、电子设备以及计算机存储介质、一种用于确定待处理视频的运动速度的方法、装置、一种用于视频处理结果的精度控制补偿方法、装置,所述用于视频分类任务的处理方法,不改变模型本身结构,能够减少视频中相邻视频帧之间的冗余信息,可以在保证准确率的情况下降低视频分类模型的计算量和内存访问,提升视频分类速度。
[0005]本申请实施例提供一种用于视频分类任务的处理方法,包括:确定待分类视频的运动速度,其中,所述运动速度是用于衡量视频运动快慢的指标;获得用于视频分类的视频分类模型集;根据所述运动速度所处的阈值区间,从所述视频分类模型集中确定该阈值区间相对应的视频分类模型;利用所述视频分类模型对所述待分类视频进行分类处理,获得视频分类结果。
[0006]可选的,所述确定待分类视频的运动速度,包括:从所述待分类视频中抽取设定数量的视频帧;将每一视频帧划分为设定数量的不重叠的区域块;计算每一区域块与前一帧相似区域块的哈密顿距离;将计算获得的所有哈密顿距离相加,作为该待分类视频的运动速度。
[0007]可选的,从所述待分类视频中抽取设定数量的视频帧具体为从所述待分类视频中在时序上均匀抽取或者按照设定的时间间隔抽取设定数量的视频帧。
[0008]可选的,所述计算每一区域块与前一帧相似区域块的哈密顿距离,包括:针对每一区域块,确定视频帧中区域块的坐标;根据所述视频帧中区域块的坐标,在前一视频帧中获取预设坐标范围内的所有区
域块;计算所述视频帧中区域块与所述预设坐标范围内的所有区域块之间的哈密顿距离;获取与所述视频帧中区域块哈密顿距离最小的区域块,作为所述视频帧中区域块的相似区域块,并计算哈密顿距离。
[0009]可选的,所述根据所述运动速度所处的阈值区间,从所述视频分类模型集中确定该阈值区间相对应的视频分类模型,包括:根据所述运动速度所处的阈值区间,从所述待分类视频中抽取对应所述阈值区间的视频帧数;根据所述视频帧数,从视频分类模型集中选择与所述视频帧数对应的视频分类模型。
[0010]可选的,所述根据所述运动速度所处的阈值区间,从所述待分类视频中抽取对应所述阈值区间的视频帧数,包括:将所述运动速度与预设的阈值区间进行比较,获得第一比较结果;根据所述第一比较结果,从所述待分类视频中抽取对应所述阈值区间的视频帧数。
[0011]可选的,获得视频分类结果后,还包括:针对所述视频分类结果进行精度校准,获得校准后的视频分类结果。
[0012]可选的,所述针对所述视频分类结果进行精度校准,获得校准后的视频分类结果,包括:确定视频分类结果的置信度分数;根据所述视频分类结果的置信度分数对所述视频分类结果进行精度校准,获得校准后的视频分类结果。
[0013]可选的,所述获得视频分类结果的置信度分数,包括:针对所述视频分类结果进行排序,获得概率最大的两个视频类别对应的第一概率值和第二概率值;获得所述第一概率值和所述第二概率值的差异值,作为视频分类结果的置信度分数。
[0014]可选的,所述根据所述视频分类结果的置信度分数对所述视频分类结果进行精度校准,获得校准后的视频分类结果,包括:将所述视频分类结果的置信度分数与预设的精度阈值进行比较;若所述视频分类结果的置信度分数大于预设的精度阈值,则将当前视频分类结果作为校准后的视频分类结果;若所述视频分类结果的置信度分数小于等于预设的精度阈值,则重新抽取未使用的设定数量的视频帧再次进行视频分类,将前后两次视频分类结果相加作为校准后的视频分类结果。
[0015]本申请实施例同时提供一种用于确定待处理视频的运动速度的方法,包括:从所述待处理视频中抽取设定数量的视频帧,其中,所述抽取包括在时序上均匀抽取或在时序上等间隔抽取并分批次计算;将每一视频帧划分为设定数量的不重叠的区域块;计算每一
区域块与前一帧相似区域块的哈密顿距离;将计算获得的所有哈密顿距离相加,作为该待处理视频的运动速度。
[0016]本申请实施例同时提供一种用于视频处理结果的精度控制补偿方法,包括:确定视频处理结果的置信度分数;将所述置信度分数与预设的精度阈值进行比较,获得第二比较结果;根据所述第二比较结果,获得校准后的视频处理结果,其中,所述获得校准后的视频处理结果,包括:若所述置信度分数大于预设的精度阈值,则将当前视频处理结果作为校准后的视频处理结果;若所述置信度分数小于预设的精度阈值,则重新抽取未使用的设定数量的视频帧再次进行视频处理,将前后两次视频处理结果相加作为校准后的视频处理结果。
[0017]本申请实施例同时提供一种用于视频分类任务的处理方法,应用于云端,所述方法包括:接收客户端发送的用于获取针对待分类视频的视频分类结果的获取请求消息;根据所述获取请求消息,获得所述待分类视频;利用视频分类模型对所述待分类视频进行分类处理,获得视频分类结果;将所述视频分类结果返回给所述客户端;其中,所述视频分类模型是从视频分类模型集中确定的与所述待分类视频的运动速度所处的阈值区间相对应的视频分类模型。
[0018]本申请实施例同时提供一种用于确定待处理视频的运动速度的方法,应用于云端,所述方法包括:接收客户端发送的用于获取待分类视频运动速度的获取请求消息;根据所述获取请求消息,计算所述待分类视频每一视频帧中每一区域块与前一帧相似区域块的哈密顿距离;将计算获得的所有哈密顿距离相加,作为该待处理视频的运动速度;将所述待处理视频的运动速度返回给所述客户端;其中,所述区域块是由每一视频帧按照设定数量划分后获得的,所述视频帧是从所述待处理视频中按照设定数量抽取的,所述抽取包括在时序上均匀抽取或在时序上等间隔抽取并分批次计算。
[0019]本申请实施例同时提供一种用于视频处理结果的精度控制补偿方法,应用于云端,所述方法包括:接受客户端发送的用于获取校准后视频处理结果的获取请求消息;根据所述获取请求消息,获得视频处理结果的置信度分数;将本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于视频分类任务的处理方法,其特征在于,包括:确定待分类视频的运动速度,其中,所述运动速度是用于衡量视频运动快慢的指标;获得用于视频分类的视频分类模型集;根据所述运动速度所处的阈值区间,从所述视频分类模型集中确定该阈值区间相对应的视频分类模型;利用所述视频分类模型对所述待分类视频进行分类处理,获得视频分类结果。2.根据权利要求1所述的用于视频分类任务的处理方法,其特征在于,所述确定待分类视频的运动速度,包括:从所述待分类视频中抽取设定数量的视频帧;将每一视频帧划分为设定数量的不重叠的区域块;计算每一区域块与前一帧相似区域块的哈密顿距离;将计算获得的所有哈密顿距离相加,作为该待分类视频的运动速度。3.根据权利要求2所述的用于视频分类任务的处理方法,其特征在于,从所述待分类视频中抽取设定数量的视频帧具体为从所述待分类视频中在时序上均匀抽取或者按照设定的时间间隔抽取设定数量的视频帧。4.根据权利要求2所述的用于视频分类任务的处理方法,其特征在于,所述计算每一区域块与前一帧相似区域块的哈密顿距离,包括:针对每一区域块,确定视频帧中区域块的坐标;根据所述视频帧中区域块的坐标,在前一视频帧中获取预设坐标范围内的所有区域块;计算所述视频帧中区域块与所述预设坐标范围内的所有区域块之间的哈密顿距离;获取与所述视频帧中区域块哈密顿距离最小的区域块,作为所述视频帧中区域块的相似区域块,并计算哈密顿距离。5.根据权利要求1所述的用于视频分类任务的处理方法,其特征在于,所述根据所述运动速度所处的阈值区间,从所述视频分类模型集中确定该阈值区间相对应的视频分类模型,包括:根据所述运动速度所处的阈值区间,从所述待分类视频中抽取对应所述阈值区间的视频帧数;根据所述视频帧数,从视频分类模型集中选择与所述视频帧数对应的视频分类模型。6.根据权利要求5所述的用于视频分类任务的处理方法,其特征在于,所述根据所述运动速度所处的阈值区间,从所述待分类视频中抽取对应所述阈值区间的视频帧数,包括:将所述运动速度与预设的阈值区间进行比较,获得第一比较结果;根据所述第一比较结果,从所述待分类视频中抽取对应所述阈值区间的视频帧数。7.根据权利要求1所述的用于视频分类任务的处理方法,其特征在于,...
【专利技术属性】
技术研发人员:张帆,齐春宇,刘亚东,宋卓然,梁晓峣,孙宪超,金争争,刘旭,
申请(专利权)人:阿里巴巴中国有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。