一种识别体育赛事视频片段的方法、电子设备及存储介质技术

本发明专利技术实施例提供一种识别体育赛事视频片段的方法、电子设备及存储介质，所述方法包括：采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据；若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。本发明专利技术实施例提供的识别体育赛事视频片段的方法、电子设备及存储介质，能够准确地识别体育赛事视频片段，还具有高效、简单和通用性强的优点。

A method, electronic equipment and storage medium for recognizing video clips of sports events

The embodiment of the invention provides a method, an electronic device and a storage medium for identifying a video clip of a sports event. The method includes: using a first preset model to identify an action category of a video clip of a sports event; using a first sample data for training the first preset model; the first sample data is data related to an action category; if the recognition result is accurate If the rate is lower than the preset threshold, the second preset model is used to recognize the action category, and the recognition result is taken as the final recognition result of the action category; the training of the second preset model uses the second sample data, which is related to the relative position of the target reference in the video clip of the sports event; the relative position is The position between the target reference and the trigger part of the action category. The method, electronic device and storage medium for identifying sports event video clip provided by the embodiment of the invention can accurately identify sports event video clip, and has the advantages of high efficiency, simplicity and strong universality.

【技术实现步骤摘要】
一种识别体育赛事视频片段的方法、电子设备及存储介质
本专利技术涉及视频处理
，尤其涉及一种识别体育赛事视频片段的方法、电子设备及存储介质。
技术介绍
当视频类app需要发布一些体育比赛在不同场景下的短视频集锦时(如进球，点球，罚球等)，除了传统的人工剪辑短视频的视频方法外，还可以通过深度学习算法的方式对比赛视频进行AI自动化剪辑。AI自动化剪辑首先需要做的就是对比赛视频的场景进行识别，目前有很多深度学习的方法可以对一些视频场景做识别，如用3D卷积神经网络对kinetics数据集(人物行为类)做识别，平均准确率可达83.6％，再如用LSTM网络对UCF-101数据集(101类动作)做识别，平均准确率可达88.6％。可以发现：现有的技术方案对于单一化的人体动作场景识别都有不错的准确率，但是，对于体育比赛类的场景识别，特别是篮球和足球，效果就不是那么理想了，对于这类场景的识别率在60％左右，这主要因为有很多人群拥簇的场景，且人物交互的动作跨度大，还有各种环境差异，如多视角、光照、低分辨率等因素。从而导致训练样本的复杂度高，使得识别分类模型的准确率低。因此，如何避免上述缺陷，准确地识别体育赛事视频片段，成为亟须解决的问题。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种识别体育赛事视频片段的方法、电子设备及存储介质。本专利技术实施例提供一种识别体育赛事视频片段的方法，包括：采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据；若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如下方法步骤：采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据；若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法步骤：采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据；若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。本专利技术实施例提供的识别体育赛事视频片段的方法、电子设备及存储介质，通过对体育赛事视频片段的动作类别进行二次识别，且第二次识别的模型将与体育赛事视频片段中的目标参照物的相对位置相关的数据作为训练用的第二样本数据，能够准确地识别体育赛事视频片段，还具有高效、简单和通用性强的优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术识别体育赛事视频片段的方法实施例流程图；图2为本专利技术识别体育赛事视频片段的方法另一实施例流程图；图3为本专利技术实施例提供的电子设备实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术识别体育赛事视频片段的方法实施例流程图，如图1所示，本专利技术实施例提供的一种识别体育赛事视频片段的方法，包括以下步骤：S101：采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据。具体的，装置采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据。装置可以为电子设备，以篮球为例，动作类别可以包括上篮、扣篮、抢篮板和罚球等，由于上篮和扣篮的技术动作的相似性较高，因此，第一预设模型不易区分出动作类别是上篮还是扣篮，因此，对于上篮和扣篮的识别结果的准确率较低，通常会低于抢篮板和罚球的识别结果的准确率。第一预设模型可以为采用非局部模块nonlocal和双流膨胀3D卷积I3D相结合的卷积神经网络，本专利技术实施例采用了双流膨胀3D卷积(I3D)卷积神经网络作为基础网络，并且在其中加入非局部模块(nonlocal)以取得更好的全局效果。I3D卷积神经网络是一种把卷积核和池化核都扩张成3D形式的网络结构，即把所有卷积核以及池化核在原本长和宽的基础上，又增加了时间维度。而nonlocal模块提取视频以外的时空信息，用于获取深度神经网络的长时记忆和全局信息，具有高效、简单和通用性强的特点，并且这种nonlocal模块可以很方便的嵌入到已有的网络框架中。因此，本专利技术实施例采用了nonlocal和I3D相结合的卷积神经网络，并对该卷积神经网络进行训练，再通过训练好的卷积神经网络，识别体育赛事视频片段的动作类别的准确率。第一预设模型的训练可参照后续说明。图2为本专利技术识别体育赛事视频片段的方法另一实施例流程图，如图2所示，可以先获取视频流数据，然后切割成视频分段，即获取到体育赛事视频片段，采用I3D-nonlocal模型预测即是采用第一预设模型对体育赛事视频片段的动作类别进行识别。S102：若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。具体的，装置若判断获知识别结果的准确本文档来自技高网...

【技术保护点】
1.一种识别体育赛事视频片段的方法，其特征在于，包括：/n采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据；/n若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。/n

【技术特征摘要】
1.一种识别体育赛事视频片段的方法，其特征在于，包括：
采用第一预设模型对体育赛事视频片段的动作类别进行识别；所述第一预设模型的训练采用第一样本数据；所述第一样本数据为与动作类别相关的数据；
若识别结果的准确率低于预设阈值，则采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果；所述第二预设模型的训练采用第二样本数据；所述第二样本数据为与体育赛事视频片段中的目标参照物的相对位置相关的数据；所述相对位置是目标参照物与动作类别的触发部位之间的位置。


2.根据权利要求1所述的识别体育赛事视频片段的方法，其特征在于，所述采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果，包括：
若再识别结果包括多个动作类别，则分别获取所有动作类别的数量，并将数量最多的动作类别作为所述最终识别结果。


3.根据权利要求2所述的识别体育赛事视频片段的方法，其特征在于，所述采用第二预设模型对所述动作类别进行再识别，并将再识别结果作为所述动作类别的最终识别结果，包括：
若判断获知数量最多的动作类别不唯一，则分别获取所有数量最多的动作类别的置信度，并将置信度数值最大的动作类别作为所述最终识别结果。


4.根据权利要求1至3任一所述的识别体育赛事视频片段的方法，其特征在于，所述相对位置是采用yolo算法对所述体育赛事视频片段中的每帧图片检测获得的。


5.根据权利要求1至3任一所述的识别体育赛事视频片段的方法，其...

【专利技术属性】
技术研发人员：徐鸣谦，徐嵩，李琳，杜欧杰，王科，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11