本申请公开了一种视频的分幕节点预测方法、装置、终端及存储介质。方法包括：对视频数据进行特征提取，得到画面序列和音频序列；基于画面序列和音频序列，确定样本数据；从样本数据中提取预测样本数据，并将预测样本数据输入训练后的滑动窗体模型，得到预测样本数据对应的分幕节点的初始预测序列；对分幕节点的初始预测序列进行非极大值抑制操作以剔除所述预测样本数据中的冗余数据对应的分幕节点，得到目标数据对应的分幕节点的目标预测序列。本发明专利技术可提高滑动窗体模型对分幕节点识别的有效性以及预测的准确性，进而提高预测分幕节点的鲁棒性。的鲁棒性。的鲁棒性。
【技术实现步骤摘要】
视频的分幕节点预测方法、装置、终端及存储介质
[0001]本申请涉及视频分幕
，具体而言，涉及一种视频的分幕节点预测方法、装置、终端及存储介质。
技术介绍
[0002]视频是一种时序性结构的数据，对视频内容进行分析才能提取更多的有效信息。然而，对视频内容的划分是对视频内容进行分析的前置任务，如何有效划分视频内容成为亟待解决的问题。
[0003]目前，在视频分析场景下，一般采用基于帧间画面对视频进行划分，以判断画面的分割点(即分幕节点)。
[0004]但是，采用上述方法对分割点进行预测存在准确度低的问题。
技术实现思路
[0005]本申请的主要目的在于提供一种视频的分幕节点预测方法、装置、终端及存储介质，以解决相关技术中对分割点进行预测存在准确度低的问题。
[0006]为了实现上述目的，第一方面，本申请提供了一种视频的分幕节点预测方法，包括：
[0007]对视频数据进行特征提取，得到画面序列和音频序列；
[0008]基于画面序列和音频序列，确定样本数据；
[0009]从样本数据中提取预测样本数据，并将预测样本数据输入训练后的滑动窗体模型，得到预测样本数据对应的分幕节点的初始预测序列；
[0010]对分幕节点的初始预测序列进行非极大值抑制操作以剔除所述预测样本数据中的冗余数据对应的分幕节点，得到目标数据对应的分幕节点的目标预测序列。
[0011]在一种可能的实现方式中，对视频数据进行特征提取，得到画面序列和音频序列，包括：
[0012]分别利用C3D识别模型和VGGISH预训练模型以预设间隔对视频数据进行3D卷积特征和音频特征提取，得到画面序列和音频序列。
[0013]在一种可能的实现方式中，基于画面序列和音频序列，确定样本数据，包括：
[0014]将画面序列和音频序列进行拼接，得到拼接后的视频数据；
[0015]利用预设窗体以预设步长对拼接后的视频数据进行窗体提取，得到窗体数据；
[0016]基于窗体数据和窗体数据对应的标签值序列，构成样本数据。
[0017]在一种可能的实现方式中，分幕节点的初始预测序列包括用于预测是否包含分幕节点的第一初始预测序列和用于预测分幕节点位置的第二初始预测序列；
[0018]从样本数据中提取预测样本数据，并将预测样本数据输入训练后的滑动窗体模型，得到预测样本数据对应的分幕节点的初始预测序列，包括：
[0019]在样本数据中随机选取预设数量的未标记有分幕节点数据的样本作为预测样本
数据；
[0020]将预测样本数据输入训练后的滑动窗体模型，待预设的loss函数中的分幕节点的置信度达到第一预设置信度阈值，输出预测样本数据对应的第一初始预测序列和第二初始预测序列。
[0021]在一种可能的实现方式中，分幕节点的目标预测序列包括：用于预测是否包含分幕节点的第一目标预测序列和用于预测分幕节点位置的第二目标预测序列；
[0022]对分幕节点的初始预测序列进行非极大值抑制操作以剔除所述预测样本数据中的冗余数据对应的分幕节点，得到目标数据对应的分幕节点的目标预测序列，包括：
[0023]提取分幕节点的初始预测序列中的第一初始预测序列，并按照置信度从高到低的顺序将是第一初始预测序列进行排序，得到排序结果；
[0024]以预设半径依次遍历排序结果中的数据，将在预设半径范围内的数据剔除，得到是否包含分幕节点的第一目标预测序列；
[0025]基于第一目标预测序列，确定第二目标预测序列。
[0026]在一种可能的实现方式中，从样本数据中提取预测样本数据，并将预测样本数据输入训练后的滑动窗体模型，得到预测样本数据对应的分幕节点的初始预测序列之前，还包括：
[0027]从样本数据中提取训练样本数据；
[0028]获取初始滑动窗体模型，并利用训练样本数据对初始滑动窗体模型进行训练，得到训练后的滑动窗体模型。
[0029]在一种可能的实现方式中，从样本数据中提取训练样本数据，包括：
[0030]在样本数据中选取预设数量的标记有分幕节点数据的样本作为训练样本数据。
[0031]第二方面，本专利技术实施例提供了一种视频的分幕节点预测装置，包括：
[0032]特征提取模块，用于对视频数据进行特征提取，得到画面序列和音频序列；
[0033]样本确定模块，用于基于画面序列和音频序列，确定样本数据；
[0034]初始序列确定模块，用于从样本数据中提取预测样本数据，并将预测样本数据输入训练后的滑动窗体模型，得到预测样本数据对应的分幕节点的初始预测序列；
[0035]目标序列确定模块，用于对分幕节点的初始预测序列进行非极大值抑制操作以剔除所述预测样本数据中的冗余数据对应的分幕节点，得到目标数据对应的分幕节点的目标预测序列。
[0036]第三方面，本专利技术实施例提供了一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上任一种视频的分幕节点预测方法的步骤。
[0037]第四方面，本专利技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上任一种视频的分幕节点预测方法的步骤。
[0038]本专利技术实施例提供了一种视频的分幕节点预测方法、装置、终端及存储介质，包括：通过对视频数据进行特征提取，得到画面序列和音频序列，然后基于画面序列和音频序列，确定样本数据，再从样本数据中提取预测样本数据，并将预测样本数据输入训练后的滑动窗体模型，得到预测样本数据对应的分幕节点的初始预测序列，最后对分幕节点的初始
预测序列进行非极大值抑制操作以剔除所述预测样本数据中的冗余数据对应的分幕节点，得到目标数据对应的分幕节点的目标预测序列。本专利技术通过对画面序列和音频序列进行提取，可有效识别分幕节点，再在滑动窗体模型中设置loss函数，使滑动窗体模型对分幕节点更加敏感，提高滑动窗体模型对分幕节点识别的有效性以及预测的准确性，进而提高预测分幕节点的鲁棒性。
附图说明
[0039]构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0040]图1是本专利技术实施例提供的一种视频的分幕节点预测方法的实现流程图；
[0041]图2是本专利技术实施例提供的窗体提取的原理示意图；
[0042]图3是本专利技术实施例提供的样本特征的结构示意图；
[0043]图4是本专利技术实施例提供的建立初始滑动窗体模型的实现流程图；
[0044]图5是本专利技术实施例提供的去除冗余分幕节点的原理示意图；
[0045]图6是本专利技术实施例提供的一种视频的分幕节点预测方法的装置的结构示意图；
[0046]图7是本专利技术实施例提供的终端的示意图。...
【技术保护点】
【技术特征摘要】
1.一种视频的分幕节点预测方法，其特征在于，包括：对视频数据进行特征提取，得到画面序列和音频序列；基于所述画面序列和所述音频序列，确定样本数据；从所述样本数据中提取预测样本数据，并将所述预测样本数据输入训练后的滑动窗体模型，得到所述预测样本数据对应的分幕节点的初始预测序列；对所述初始预测序列进行非极大值抑制操作以剔除所述预测样本数据中的冗余数据对应的分幕节点，得到目标数据对应的分幕节点的目标预测序列。2.如权利要求1所述的视频的分幕节点预测方法，其特征在于，所述对视频数据进行特征提取，得到画面序列和音频序列，包括：分别利用C3D识别模型和VGGISH预训练模型以预设间隔对所述视频数据进行3D卷积特征和音频特征提取，得到所述画面序列和所述音频序列。3.如权利要求2所述的视频的分幕节点预测方法，其特征在于，所述基于所述画面序列和所述音频序列，确定样本数据，包括：将所述画面序列和所述音频序列进行拼接，得到拼接后的视频数据；利用预设窗体以预设步长对所述拼接后的视频数据进行窗体提取，得到窗体数据；基于所述窗体数据和所述窗体数据对应的标签值序列，构成所述样本数据。4.如权利要求3所述的视频的分幕节点预测方法，其特征在于，所述初始预测序列包括用于预测是否包含分幕节点的第一初始预测序列和用于预测分幕节点位置的第二初始预测序列；所述从所述样本数据中提取预测样本数据，并将所述预测样本数据输入训练后的滑动窗体模型，得到所述预测样本数据对应的分幕节点的初始预测序列，包括：在所述样本数据中随机选取预设数量的未标记有分幕节点数据的样本作为所述预测样本数据；将所述预测样本数据输入训练后的滑动窗体模型，待预设的loss函数中的分幕节点的置信度达到第一预设置信度阈值，输出所述预测样本数据对应的所述第一初始预测序列和所述第二初始预测序列。5.如权利要求4所述的视频的分幕节点预测方法，其特征在于，所述分幕节点的目标预测序列包括用于预测是否包含分幕节点的第一目标预测序列和用于预测分幕节点位置的第二目标预测序列；所述对所述分幕节点初始预测序列进行非极大值抑制操作以剔除所述预测样本数据...
【专利技术属性】
技术研发人员：王喆，李佳楠，范凌，
申请(专利权)人：特赞上海信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。