识别视频中的关键时间点的方法、计算机设备及存储介质技术

本申请是关于一种识别视频中的关键时间点的方法。该方法包括：通过图像分类模型对视频中的各个图像帧进行处理，获得至少一个视频分片；通过图像检测模型对目标视频分片进行处理，获得第一对象和第二对象分别在所述目标视频分片包含的图像帧中的位置；当第一图像帧中的第一对象的位置和第二对象的位置之间满足预设条件时，根据第一图像帧在视频中的时间点确定视频的关键时间点。由于机器学习模型在图像分类和物体检测领域具有较强的适应性，因此，本方案能够比较准确的完成对视频中的关键时间点的识别，从而提高识别的准确性。

【技术实现步骤摘要】
识别视频中的关键时间点的方法、计算机设备及存储介质
本申请实施例涉及机器学习
，特别涉及一种识别视频中的关键时间点的方法、计算机设备及存储介质。
技术介绍
通过计算机设备快速确定足球或篮球等体育比赛视频中的关键时间点，对于体育比赛的视频剪辑等应用场景有着非常重要的意义。在相关技术中，对于足球或篮球等体育比赛视频，通常通过图像处理算法确定关键时间点。比如，以篮球比赛视频为例，计算机设备首先通过视频中各个图像帧的方向梯度直方图(HistogramofOrientedGradient，HOG)，将视频划分为不同镜头类型对应的视频分片，并使用加速鲁棒特征(SpeedUpRobustFeatures，SURF)结合卡尔曼滤波算法，在其中一种或多种镜头类型对应的视频分片中进行篮球和篮框的跟踪，根据跟踪获得的篮球和篮框之间的位置关系确定视频中的关键时间点。然而，传统的图像处理算法(比如上述HOG、SURF以及卡尔曼滤波等算法)的鲁棒性比较差，对于复杂场景以及镜头的移动的适应性较差，导致确定出的关键时间点的准确性较低。
技术实现思路
本申请实施例提供了一种识别视频中的关键时间点的方法、计算机设备及存储介质，能够比较准确的完成对视频中的关键时间点的识别，提高识别的准确性，技术方案如下：一方面，提供了一种识别视频中的关键时间点的方法，所述方法包括：通过图像分类模型对视频中的各个图像帧进行处理，获得至少一个视频分片；所述图像分类模型是根据第一图像帧样本训练获得的机器学习模型，所述第一图像帧样本是标注有镜头类型的图像帧；每个所述视频分片包含所述视频中相邻的至少两个图像帧，且每个所述视频分片对应一种镜头类型；通过图像检测模型对目标视频分片进行处理，获得第一对象和第二对象分别在所述目标视频分片包含的图像帧中的位置；所述图像检测模型是根据第二图像帧样本训练获得的机器学习模型，所述第二图像帧样本是标注有所述第一对象的位置和所述第二对象的位置的图像帧；所述目标视频分片是所述至少一个视频分片中，对应指定镜头类型的视频分片；当第一图像帧中的所述第一对象的位置和所述第二对象的位置之间满足预设条件时，根据所述第一图像帧在所述视频中的时间点确定所述视频的关键时间点；所述第一图像帧是所述目标视频分片包含的图像帧中的任意图像帧。另一方面，提供了一种识别视频中的关键时间点的装置，所述装置包括：第一处理模块，用于通过图像分类模型对视频中的各个图像帧进行处理，获得至少一个视频分片；所述图像分类模型是根据第一图像帧样本训练获得的机器学习模型，所述第一图像帧样本是标注有镜头类型的图像帧；每个所述视频分片包含所述视频中相邻的至少两个图像帧，且每个所述视频分片对应一种镜头类型；第二处理模块，用于通过图像检测模型对目标视频分片进行处理，获得第一对象和第二对象分别在所述目标视频分片包含的图像帧中的位置；所述图像检测模型是根据第二图像帧样本训练获得的机器学习模型，所述第二图像帧样本是标注有所述第一对象的位置和所述第二对象的位置的图像帧；所述目标视频分片是所述至少一个视频分片中，对应指定镜头类型的视频分片；确定模块，用于当第一图像帧中的所述第一对象的位置和所述第二对象的位置之间满足预设条件时，根据所述第一图像帧在所述视频中的时间点确定所述视频的关键时间点；所述第一图像帧是所述目标视频分片包含的图像帧中的任意图像帧。另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的识别视频中的关键时间点的方法。另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的识别视频中的关键时间点的方法。本申请提供的技术方案可以包括以下有益效果：通过预先训练好的机器学习模型对视频进行分类，并检测第一对象和第二对象在指定镜头类型对应的视频分片的图像帧中的位置，再根据图像帧中的第一对象和第二对象的位置关系，识别图像帧对应的时间点是否可以用于确定视频的关键时间点，由于机器学习模型在图像分类和物体检测领域具有较强的适应性，因此，本方案能够比较准确的完成对视频中的关键时间点的识别，从而提高识别的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是根据一个示例性实施例示出的一种模型训练及关键时间点识别框架图；图2是图1所示实施例涉及的一种图像分类模型训练流程示意图；图3是图1所示实施例涉及的一种图像检测模型训练流程示意图；图4是根据一个示例性实施例示出的一种识别视频中的关键时间点的方法流程图；图5是根据一个示例性实施例示出的一种识别视频中的关键时间点的方法流程图；图6是图5所示实施例涉及的关键时间点识别系统的框架图；图7是根据一个示例性实施例示出的识别视频中的关键时间点的装置的结构方框图；图8是根据一个示例性实施例示出的一种计算机设备的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。本申请实施例提出了一种高效并且高准确率的视频中的关键时间点的方案，该方案能够通过机器学习模型对视频进行分片和对象检测，并根据检测结果识别视频中的关键时间点。为了便于理解，下面对本申请实施例涉及的几个名词进行解释。(1)镜头类型在本申请各个实施例中，镜头类型可以是图像帧中的场景内容对应的类型，比如，镜头类型可以包括远景镜头、近景镜头、特写镜头、观众镜头以及广告镜头中的至少一种。(2)机器学习模型本申请各个实施例涉及的机器学习模型，包括但不限于通过预先标注好的训练数据进行训练获得的模型。具体的，本申请各个实施例至少包括图像分类模型和图像检测模型。其中，上述图像分类模型可以用于对图像帧进行处理，以确定输入的图像帧所属的镜头类型。例如，上述图像分类模型可以是卷积神经网络(ConvolutionalNeuralNetwork，CNN)模型。上述图像检测模型，可以用于检测输入的图像帧中的指定对象，比如指定的人或者物体。例如，上述图像检测模型可以是快速基于区域的卷积神经网络(FasterRegionswithConvolutionalNeuralNetworkFeatures，Faster-RCNN)模型。本申请实施例的方案包括模型训练阶段和识别阶段。图1是根据一个示例性实施例示出的一种模型训练及关键时间点识别框架图。如图1所示，在模型训练阶段，模型训练设备110通过第一图像帧样本训练出图像分类模型，并通过第二图像帧样本训练出图像检测模型，其中，第一图像帧样本是标注有镜头类型的图像帧，第二图像帧样本是标注有第一对本文档来自技高网...

【技术保护点】
1.一种识别视频中的关键时间点的方法，其特征在于，所述方法包括：通过图像分类模型对视频中的各个图像帧进行处理，获得至少一个视频分片；所述图像分类模型是根据第一图像帧样本训练获得的机器学习模型，所述第一图像帧样本是标注有镜头类型的图像帧；每个所述视频分片包含所述视频中相邻的至少两个图像帧，且每个所述视频分片对应一种镜头类型；通过图像检测模型对目标视频分片进行处理，获得第一对象和第二对象分别在所述目标视频分片包含的图像帧中的位置；所述图像检测模型是根据第二图像帧样本训练获得的机器学习模型，所述第二图像帧样本是标注有所述第一对象的位置和所述第二对象的位置的图像帧；所述目标视频分片是所述至少一个视频分片中，对应指定镜头类型的视频分片；当第一图像帧中的所述第一对象的位置和所述第二对象的位置之间满足预设条件时，根据所述第一图像帧在所述视频中的时间点确定所述视频的关键时间点；所述第一图像帧是所述目标视频分片包含的图像帧中的任意图像帧。

【技术特征摘要】
1.一种识别视频中的关键时间点的方法，其特征在于，所述方法包括：通过图像分类模型对视频中的各个图像帧进行处理，获得至少一个视频分片；所述图像分类模型是根据第一图像帧样本训练获得的机器学习模型，所述第一图像帧样本是标注有镜头类型的图像帧；每个所述视频分片包含所述视频中相邻的至少两个图像帧，且每个所述视频分片对应一种镜头类型；通过图像检测模型对目标视频分片进行处理，获得第一对象和第二对象分别在所述目标视频分片包含的图像帧中的位置；所述图像检测模型是根据第二图像帧样本训练获得的机器学习模型，所述第二图像帧样本是标注有所述第一对象的位置和所述第二对象的位置的图像帧；所述目标视频分片是所述至少一个视频分片中，对应指定镜头类型的视频分片；当第一图像帧中的所述第一对象的位置和所述第二对象的位置之间满足预设条件时，根据所述第一图像帧在所述视频中的时间点确定所述视频的关键时间点；所述第一图像帧是所述目标视频分片包含的图像帧中的任意图像帧。2.根据权利要求1所述的方法，其特征在于，所述通过图像分类模型对视频中的各个图像帧进行处理，获得至少一个视频分片，包括：将所述视频中的各个图像帧输入所述图像分类模型，获得所述图像分类模型输出的模型分类结果，所述模型分类结果用于指示所述视频中的各个图像帧各自所属的镜头类型；对所述模型分类结果指示的所述视频中的各个图像帧各自所属的镜头类型进行平滑修正；根据平滑修正后的所述视频中的各个图像帧各自所属的镜头类型，将所述视频划分为所述至少一个视频分片。3.根据权利要求2所述的方法，其特征在于，所述对所述模型分类结果指示的所述视频中的各个图像帧各自所属的镜头类型进行平滑修正，包括：获取第一图像组的类别众数和第二图像组的类别众数，所述类别众数指示图像组中对应图像帧数最多的镜头类型；所述第一图像组是第二图像帧的前r帧图像帧，所述第二图像组是所述第二图像帧的后r帧图像帧，所述第二图像帧是所述视频中除了前r帧和末尾r帧之外的任意图像帧，r是大于或者等于1的整数；当所述第一图像组的类别众数和所述第二图像组的类别众数分别指示的镜头类型相同时，将所述第二图像帧所属的镜头类型设置为所述第一图像组的类别众数所指示的镜头类型。4.根据权利要求2所述的方法，其特征在于，所述根据平滑修正后的所述视频中的各个图像帧各自所属的镜头类型，将所述视频划分为所述至少一个视频分片，包括：根据平滑修正后的所述视频中的各个图像帧各自所属的镜头类型，将所述视频划分为至少一个临时视频分片；每个所述临时视频分片中包含的图像帧所属的镜头类型相同，且相邻的两个所述临时视频分片中包含的图像帧所属的镜头类型不同；当目标临时视频分片中包含的图像帧的数量小于预设数量阈值时，将所述目标临时视频分片中的各个图像帧所属的镜头类型，修改为所述目标临时视频分片的前一个临时视频分片中的各个图像帧所属的镜头类型，并将所述目标临时视频分片合并至所述目标临时视频分片的前一个临时视频分片；所述目标临时视频分片是所述至少一个临时视频分片中除了第一个临时视频分片之外的任意临时视频分片；将合并后剩余的各个临时视频分片作为所述至少一个视频分片。5.根据权利要求1所述的方法，其特征在于，通过图像检测模型对目标视频分片进行处理，获得第一对象和第二对象分别在所述目标视频分片包含的图像帧中的位置，包括：将所述目标视频分片中的各个图像帧输入所述图像检测模型，获得所述图像检测模型输出的模型检测结果，所述模型检测结果用于指示所述第一对象和所述第二对象分别在所述目标视频分片包含的图像帧中的临时位置；对所述第一对象和所述第二对象分别在所述目标视频分片包含的图像帧中的临时位置进行平滑修正，获得所述第一对象和所述第二对象分别在所述目标视频分片包含的图像帧中的位置。6.根据权利要求5所述的方法，其特征在于，所述对所述第一对象和所述第二对象分别在所述目标视频分片包含的图像帧中的临时位置进行平滑修正，包括：获取目标对象在第三图像组和第四图像组的图像帧中的临时位置，所述目标对象是所述第一对象和所述第二对象中的任意对象，所述第三图像组是第三图像帧的前w帧图像帧，所述第四图像组是所述第三图像帧的后w帧图像帧，所述第三图像帧是所述目标视频分片中除了前w帧和末尾w帧之外的任意图像帧，w是大于或者等于1的整数；获取平均位置，所述平均位置是所述目标对象在所述第三图像组和所述第四图像组的图像帧中的临时位置的平均值；根据所述平均位置，对所述目标对象在所述第三图像帧中的临时位置进行修正。7.根据权利要求6所述的方法，其特征在于，所述根据所述平...

【专利技术属性】
技术研发人员：吴韬，徐敘遠，龚国平，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44