视频场景的分割方法、装置、计算机设备、存储介质制造方法及图纸

本申请涉及一种视频场景的分割方法、装置、计算机设备、存储介质和计算机程序产品。计算机设备可以包括智能手机、电脑或智能车载设备；包括：通过双路模型对视频镜头序列进行特征提取，得到镜头特征；在镜头特征中确定正样本特征；获取负样本特征，基于负样本特征和正样本特征之间的损失值对第一编码器和第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。采用本方法能够有效提高视频场景分割的准确性。确性。确性。

【技术实现步骤摘要】
视频场景的分割方法、装置、计算机设备、存储介质


[0001]本申请涉及计算机
，特别是涉及一种视频场景的分割方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术以及互联网技术的发展，视频场景分割是视频理解中的一项重要技术，其主要是以一个长段视频按照场景内容的不同为切分线索，并以镜头维度将长视频切分成若干独立子视频的一项技术，对于该技术而言，提取到良好的镜头特征和选择合适的镜头分割模型是至关重要的。
[0003]然而，目前视频场景的分割方式中，主要是采用将某个镜头边界两边的若干个数的相邻镜头特征进行聚合，得到镜头边界的特征，再进一步对该镜头边界的特征进行分类，来决策该边界是否为场景边界，这样带来的问题是每个镜头边界聚合的镜头特征个数是不确定的，且每个场景拥有的镜头数量也是不固定的，因此会引入较强的归纳偏置，容易导致视频场景分割模型的泛化能力不佳，使得视频场景分割的准确性较差。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够有效提高视频场景分割的准确性的视频场景的分割方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种视频场景的分割方法。所述方法包括：通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；在所述第一镜头特征中确定第一样本特征，并基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征；所述第一样本特征和所述第二样本特征作为正样本特征；获取负样本特征，基于所述负样本特征和所述正样本特征之间的损失值对所述第一编码器和所述第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过所述镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于所述第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。
[0006]第二方面，本申请还提供了一种视频场景的分割装置。所述装置包括：提取模块，用于通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；确定模块，用于在所述第一镜头特征中确定第一样本特征，并基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征；所述第一样本特征和所述第二样本特征作为正样本特征；优化模块，用于获取负样本特征，基于所述负样本特征和所述正样本特征之间的损失值对所述第一编码器和所述第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；训练模块，用于通过所述镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于所述第三镜头特征对场景分割模型进行训练；分割模块，用于基于训练后的场景分割模型对待分割视频进行视频场景分割。
[0007]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；在所述第一镜头特征中确定第一样本特征，并基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征；所述第一样本特征和所述第二样本特征作为正样本特征；获取负样本特征，基于所述负样本特征和所述正样本特征之间的损失值对所述第一编码器和所述第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过所述镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于所述第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。
[0008]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；在所述第一镜头特征中确定第一样本特征，并基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征；所述第一样本特征和所述第二样本特征作为正样本特征；获取负样本特征，基于所述负样本特征和所述正样本特征之间的损失值对所述第一编码器和所述第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过所述镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于所述第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。
[0009]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；在所述第一镜头特征中确定第一样本特征，并基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征；所述第一样本特征和所述第二样本特征作为正样本特征；获取负样本特征，基于所述负样本特征和所述正样本特征之间的损失值对所述第一编码器和所述第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过所述镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于所述第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。
[0010]上述视频场景的分割方法、装置、计算机设备、存储介质和计算机程序产品，通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；在第一镜头特征中确定第一样本特征，并基于第一样本特征的编码在第二镜头特征中确定第二样本特征；第一样本特征和第二样本特征作为正样本特征；获取负样本特征，基于负样本特征和正样本特征之间的损失值对第一编码器和第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。由于通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，故可以从提取得到的第一镜头特征和第二镜头特征中选择最佳的正样本特征，再使用选取的正样本特征和负样本特征对镜头特征提取
模型进行优化，使得优化得到的镜头特征提取模型具有更准确的识别能力，能够提取到良好的镜头特征，再基于镜头特征提取模型提取得到的镜头特征对场景分割模型进行训练，使得训练后的场景分割模型可以准确并高效的对待分割视频进行视频场景分割，有效提高了视频场景分割的准确性。
附图说明
[0011]图1为一个实施例中视频场景的分割方法的应用环境图；
[0012]图2为一个实施例中视频场景的分割方法的流程示意图；
[0013]图3为一个实施例中对连续视频镜头序列中的视频镜头进行乱序处理，得到乱序的视频镜头序列步骤的流程示意图；
[0014]图4为一个实施例中镜头无关的镜头序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频场景的分割方法，其特征在于，所述方法包括：通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取，得到第一镜头特征和第二镜头特征；在所述第一镜头特征中确定第一样本特征，并基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征；所述第一样本特征和所述第二样本特征作为正样本特征；获取负样本特征，基于所述负样本特征和所述正样本特征之间的损失值对所述第一编码器和所述第二编码器进行优化；其中，优化后的第一编码器作为镜头特征提取模型；通过所述镜头特征提取模型从目标视频镜头序列提取第三镜头特征，并基于所述第三镜头特征对场景分割模型进行训练；基于训练后的场景分割模型对待分割视频进行视频场景分割。2.根据权利要求1所述的方法，其特征在于，所述通过双路模型的第一编码器和第二编码器分别对视频镜头序列进行特征提取之前，所述方法还包括：获取时间连续的视频镜头，得到连续视频镜头序列；对所述连续视频镜头序列中的视频镜头进行乱序处理，得到乱序的视频镜头序列；对所述乱序的视频镜头序列中的各视频镜头进行数据增强处理，得到用于特征提取的视频镜头序列。3.根据权利要求2所述的方法，其特征在于，所述对所述连续视频镜头序列中的视频镜头进行乱序处理，得到乱序的视频镜头序列，包括：将所述连续视频镜头序列中各视频镜头进行片段划分，得到视频片段；将所述连续视频镜头序列中各视频镜头的视频片段进行乱序处理，得到乱序的视频镜头序列。4.根据权利要求2所述的方法，其特征在于，所述对所述连续视频镜头序列中的视频镜头进行乱序处理，得到乱序的视频镜头序列，包括：获取至少一个待插入视频镜头；将所述至少一个待插入视频镜头插入至所述视频镜头序列的各相邻视频镜头之间，得到乱序的视频镜头序列。5.根据权利要求2所述的方法，其特征在于，所述对所述乱序的视频镜头序列中的各视频镜头进行数据增强处理，得到用于特征提取的视频镜头序列，包括：对所述乱序的视频镜头序列中的各视频镜头进行第一数据增强处理，得到用于输入至所述第一编码器以进行特征提取的视频镜头序列；所述第一数据增强处理包括裁剪处理、模糊处理和反转操作中的至少一种；对所述乱序的视频镜头序列中的各视频镜头进行第二数据增强处理，得到用于输入至所述第二编码器以进行特征提取的视频镜头序列；所述第二数据增强处理包括缩放处理、裁剪处理、像素变换、模糊处理和水平反转操作中的至少一种。6.根据权利要求1所述的方法，其特征在于，所述在所述第一镜头特征中确定第一样本特征，包括：对所述第一镜头特征进行聚类处理，得到镜头特征类簇以及各所述镜头特征类簇的中心镜头特征；
选取各所述镜头特征类簇的中心镜头特征作为第一样本特征；所述方法还包括：记录各所述镜头特征类簇的中心镜头特征的编码。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一样本特征的编码在所述第二镜头特征中确定第二样本特征，包括：将所述编码作为索引映射函数的变量；所述索引映射函数用于反映每个所述镜头特征类簇的中心镜头特征与第二样本特征之间的映射关系...

【专利技术属性】
技术研发人员：吴昊谦，陈科宇，谯睿智，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：