视频处理方法、装置、设备和介质制造方法及图纸

本公开提供了一种视频处理方法、装置、电子设备和介质，涉及人工智能技术领域，尤其涉及知识图谱和深度学习技术领域。实现方案为：对待处理视频进行拆分以得到多个镜头；从多个镜头提取多个画面帧；提取多个画面帧的第一特征向量和多个镜头的流式特征；确定多个片段边界；基于多个片段边界将待处理视频拆分为多个片段；针对多个片段中的每一个片段，基于该片段中每两个相邻镜头的相似度，将该片段拆分为至少一个子片段；针对至少一个子片段中的每一个子片段，根据该子片段内的画面帧的第一特征向量和该子片段内的镜头流式特征，确定该子片段内属于场景边界的至少一个镜头；根据场景边界对该子片段内的镜头进行合并，以得到至少一个场景。个场景。个场景。

【技术实现步骤摘要】
视频处理方法、装置、设备和介质


[0001]本公开涉及人工智能
，尤其涉及知识图谱和深度学习
，具体涉及一种视频处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着信息传播技术的发展，视频成为承载信息传递的主要方式之一，被应用到人际交流、工业生产、社会生活的各个方面。视频拆分是对视频数据进行二次加工，将包含多个片段或场景的视频按照特定的逻辑和需求进行拆分的技术手段，在视频智能分析、媒资管理、互联网短视频平台等领域具有重要意义。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种视频处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种视频处理方法，所述方法包括：对待处理视频进行镜头级别的拆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，所述方法包括：对待处理视频进行镜头级别的拆分以得到多个镜头；从所述多个镜头提取多个画面帧；提取所述多个画面帧各自的第一特征向量和所述多个镜头各自的流式特征；基于机器学习模型，确定所述待处理视频的多个片段边界；基于所述多个片段边界将所述待处理视频拆分为多个片段；针对所述多个片段中的每一个片段，基于该片段中每两个相邻镜头的相似度，将该片段拆分为至少一个子片段；针对所述至少一个子片段中的每一个子片段,根据该子片段内的画面帧的所述第一特征向量和该子片段内的镜头的所述流式特征，确定该子片段内属于场景边界的至少一个镜头；以及根据所述场景边界对该子片段内的镜头进行合并，以得到至少一个场景。2.根据权利要求1所述的方法，其中，针对所述多个片段中的每一个片段，基于该片段中每两个相邻镜头的相似度，将该片段拆分为至少一个子片段包括：针对所述多个镜头中的每一个镜头，根据该镜头包含的画面帧的第一特征向量和该镜头的镜头流式特征，确定该镜头的第二特征向量；针对所述多个片段中的每一个片段，基于该片段中每两个相邻镜头的所述第二特征向量，确定相似度小于阈值的相邻镜头；以及基于相似度小于阈值的相邻镜头，将该片段拆分为至少一个子片段。3.根据权利要求1所述的方法，其中，根据该子片段内的画面帧的所述第一特征向量和该子片段内的镜头的所述流式特征，确定该子片段内属于场景边界的至少一个镜头包括：针对所述多个镜头中的每一个镜头，根据该镜头包含的画面帧的第一特征向量和该镜头的流式特征，确定该镜头的第二特征向量；针对所述至少一个子片段中的每一个子片段，将所述每一个子片段的每三个连续镜头的第二特征向量输入经训练的神经网络，获取所述神经网络的检测结果，所述检测结果表示三个连续镜头中的中间镜头是否属于场景边界；以及基于所述检测结果确定属于场景边界的所述至少一个镜头。4.根据权利要求3所述的方法，其中，所述神经网络包括残差网络。5.根据权利要求1所述的方法，其中，所述机器学习模型为自监督学习模型，并且其中，确定所述待处理视频的多个片段边界包括：获取与所述待处理视频相关联的音频数据所对应的文本数据；将所述文本数据拆分为多个语句；基于所述自监督学习模型，确定所述多个语句中的多个语句边界；以及基于所述多个语句边界确定所述多个片段边界。6.根据权利要求1
‑
5中任一项所述的方法，其中，从所述多个镜头提取多个画面帧包括：以预设时间间隔从所述多个镜头中的每一个镜头提取画面帧，以得到所述多个画面帧。
7.根据权利要求1
‑
5中任一项所述的方法，其中，提取所述多个镜头各自的流式特征包括：采用时间分段网络从所述多个镜头提取所述流式特征。8.根据权利要求1
‑
5中任一项所述的方法，其中，提取所述多个画面帧各自的第一特征向量包括：从所述多个画面帧中的每一个画面帧提取多个特征；以及对该画面帧的所述多个特征进行累加和/或拼接，以得到该画面帧的第一特征向量。9.根据权利要求8所述的方法，其中，从每一个画面帧提取的所述多个特征包括以下各项中的至少一项：该画面帧的图片颜色直方图特征、该画面帧的人脸特征、该画面帧的地点特征和该画面帧的通用物体特征。10.一种视频处理装置，所述装置包括：第一拆分模块，所述第一拆分模块被配置为对待处理视频进行镜头级别的拆分以得到多个镜头；第一提取模块，所述第一提取模块被配置为从所述多个镜头提取多个画面帧；第二提取模块，所述第二提取模块被配置为提取所述多个画面帧各自的第一特征向量和所述多个镜头各自的流式特征；第一确定模块，所述第一确定模块被配置为基于机器学习模型，确定所述待处理视频的多个片段边界；第二拆分模块，所述第二拆分模块被配置为基于所述多个片段边界将所述待处理视频拆分为多个片段；第三拆分模块，所述第三拆分模块被配置为针对所述多个片段中的每一个片段，基于...

【专利技术属性】
技术研发人员：杨虎，汪琦，冯知凡，柴春光，朱勇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：