用于视频分割的方法和系统技术方案

描述了用于视频分割和场景识别的方法和系统。接收具有多个帧的视频以及与所述视频相关联的字幕文件。对所述视频执行分割，以基于所述视频的所述帧中特征的逐帧比较生成包括一个或多个视频帧的第一组视频帧。所述第一视频帧中的每个视频帧包括帧指示器，所述帧指示器至少指示视频帧的第一起始帧。解析与所述视频相关联的所述字幕文件，以基于所述字幕文件中的每个对话的起始时间和结束时间生成一个或多个字幕片段；基于所述第一组视频帧中的所述视频帧和所述一个或多个字幕片段，生成包括一个或多个第二视频帧的第二组视频帧。所述第二组视频片段包括至少一个合并视频片段，所述合并视频片段通过合并所述第一组视频片段中对应于公共字幕片段的两个或多个视频片段生成。成。成。

【技术实现步骤摘要】
【国外来华专利技术】用于视频分割的方法和系统


[0001]本专利技术涉及图像处理，具体地，涉及用于视频分割的方法和系统。

技术介绍

[0002]观看电影、电视节目、录制的体育赛事和在线视频等存储视频的用户在访问视频相关信息和搜索视频内容方面的选择通常有限。目前，用户可以选择基于体裁、演员、导演等广泛类别来搜索视频。然而，用户可能希望在视频中搜索特定内容。
[0003]促进视频内容搜索的传统方法是使用传统计算机视觉技术将视频分为若干个时间分区(例如，片段)，并对每个视频片段应用场景标签。然后，可以基于对视频片段应用的场景标签来搜索视频内容。基于视频片段的视觉特征，使用场景识别算法为每个视频片段生成每个场景标签。然而，传统场景识别算法具有不准确性。例如，视频中的某些拍摄风格或视频效果可能会被误认为场景变化，从而导致过多的视频片段被标上不准确地对应于视频中实际场景的场景标签。视频分割不准确还可能导致在视频中的对话中间开始或结束的视频片段，这也是不希望的。
[0004]相应地，期望提供一种用于对视频进行更加准确地分割的解决方案，这可以使得对视频场景进行更加本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，其特征在于，包括：接收包括多个帧的视频，以及与所述视频相关联的字幕文件；对所述视频执行视频分割，以基于所述视频的所述帧中特征的逐帧比较生成包括一个或多个视频片段的第一组视频片段，并为所述第一组视频片段中的每个所述视频片段生成标签，其中，每个所述视频片段的所述标签包括指示所述视频片段的开始和结束的指示器；解析与所述视频相关联的所述字幕文件，以基于所述字幕文件中的每个对话的起始时间和结束时间生成一个或多个字幕片段；基于所述第一组视频片段中的所述视频片段和所述字幕片段，生成包括一个或多个第二视频片段和每个所述第二视频片段的标签的第二组视频片段，所述第二组视频片段包括：至少一个合并视频片段，所述至少一个合并视频片段通过合并所述第一组视频片段中对应于公共字幕片段的两个或多个视频片段生成。2.根据权利要求1所述的方法，其特征在于，还包括：基于所述第二视频片段的帧序列的场景分析，为所述第二组视频片段中的每个所述第二视频片段生成至少一个相应的第一场景标签；为所述第二组视频片段中的每个所述第二视频片段生成内容文件，所述内容文件包括为所述第二视频片段生成的所述至少一个相应的第一场景标签。3.根据权利要求2所述的方法，其特征在于，为每个所述第二视频段生成所述至少一个第一场景标签包括：将所述第二视频片段划分为一个或多个子片段；对于每个所述子片段：确定所述子片段的代表帧；对所述代表帧执行场景分析，以生成对应于所述子片段的所述至少一个第一场景标签；其中，为所述第二组视频片段中的每个所述第二视频片段生成的所述至少一个第一场景标签包括为所述多个子片段中的每个所述子片段生成的所述第一场景标签。4.根据权利要求3所述的方法，其特征在于，每个所述子片段包括至少一个帧，确定所述子片段的代表帧包括：计算每个帧的相应场景置信度；选择满足置信度条件的帧作为所述代表帧。5.根据权利要求1至4中任一项所述的方法，其特征在于，生成所述第二组视频片段还包括：从对应于相应视频片段的音频文件中提取对应于所述视频片段的一个或多个音频特征；合并两个或多个视频片段以生成相应的第二视频片段，所述两个或多个视频片段对应于具有满足相似性条件的音频特征的音频文件。6.根据权利要求5所述的方法，其特征在于，在所述进一步合并之后，为每个所述第二视频片段生成所述至少一个第一场景标签。7.根据权利要求2所述的方法，其特征在于，还包括：基于对应于所述第二视频片段的字幕片段的所述对话，为每个所述第二视频片段生成至少一个第二场景标签，其中，通过以
下方法为所述第二视频片段生成所述至少一个第二场景标签：提取所述对应的字幕片段的一个或多个感兴趣词；选择要包括在所述第二场景标签中的一个或多个代表词，所述一个或多个代表词选自预定义的数据集，以表示所述一个或多个感兴趣词的一个或多个含义。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：对于每个所述第二视频片段，从所述第二视频片段的音频文件中提取音频特征，并基于所述音频文件的所述音频特征生成至少一个第三场景标签；其中，生成所述内容文件还包括：向所述内容文件添加对应于所述第二组视频片段中的每个所述第二视频片段的所述至少一个第三场景标签。9.根据权利要求2所述的方法，其特征在于，每个所述第一场景标签与置信度评分相关联。10.根据权利要求2所述的方法，其特征在于，还包括：标识与满足查询条件的所述场景标签相关联的至少一个第二视频片段；提供所述至少一个标识的第二视频片段以及与每个所述标识的第二视频片段相关联的一个或多个所述第一场景标签和一个或多个所述第二场景标签作为输出。11.一种系统，其特征在于，包括：存储器，用于存储指令；...

【专利技术属性】
技术研发人员：郦睿文，戴鹏，瓦尔尚斯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：