视频分割方法、设备、计算机设备及介质技术

本申请公开了一种视频分割方法、设备、计算机设备及介质。该方法包括：基于视频中相邻的视频帧之间的相关系数，将所述视频分割成片段；对于所述片段中的视频帧，识别该视频帧的场景，得到场景特征向量；对于所述片段中的视频帧，识别该视频帧的局部行为特征，得到局部行为特征向量；基于所述场景特征向量和所述局部行为特征向量，识别所述视频帧的行为类别和与该行为类别对应的置信度；基于所述片段的视频帧的行为类别和置信度，确定该片段的行为类别；和将相邻的行为类别相同的片段合并，得到所述视频的分割结果。该方法能够同时对双路模型进行融合，综合利用场景和局部行为两个维度，对整体行为信息进行提取，从而快速地对视频进行分割。频进行分割。频进行分割。

【技术实现步骤摘要】
视频分割方法、设备、计算机设备及介质


[0001]本申请涉及图像自动化处理领域，特别是涉及一种视频分割方法、设备、计算机设备及介质。

技术介绍

[0002]视频压缩算法及应用的快速发展，带来了海量的视频数据。视频中蕴含了丰富的信息，然而，由于视频数据巨大，不像文字直接表示出了抽象概念，因此视频信息的提取及结构化相对复杂。目前，视频信息的提取方法主要是先对视频进行分割，然后给分割后的每个片段分类打上标签，是视频信息提取及结构化的一种思路。基于传统的计算机视觉对视频进行分割，一般需要人工设计图像特征，这样设计的特征不能灵活的适应各种场景的变化。目前大部分实际可用的视频分割仅仅根据每帧的颜色信息，经过各种传统计算机视觉的变换，检测相邻两帧的变化，从而确定视频分割点，然后继续利用机器学习中的聚类算法，对分割好的相邻的视频片段进行聚合，相似类别的会归为一类。然而，上述这些方法只能完成粗浅的分割，并且不能识别出视频中每个片段的语义。

技术实现思路

[0003]本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分割方法，包括：片段分割步骤：基于视频中相邻的视频帧之间的相关系数，将所述视频分割成片段；场景识别步骤：对于所述片段中的视频帧，将所述视频帧的RGB通道分别转化为固定尺寸的分辨率，将经过分辨率转化后的视频帧输入到第一网络模型中，得到该视频帧的场景特征向量，其中，所述第一网络模型为：去掉最后一层全连接层和Softmax分类器的VGG16网络模型；局部行为特征识别步骤：将所述视频帧的RGB通道分别转化为最短边长固定的分辨率，将最短边长固定的视频帧输入到第一网络模型中，将所述第一网络模型的输出结果输入到基于区域的卷积神经网络模型中，利用所述基于区域的卷积神经网络的输出结果计算最优检测类别结果，将所述最优检测类别结果经过感兴趣区域池化层得到局部行为特征向量；视频帧行为类别判断步骤：基于所述场景特征向量和所述局部行为特征向量，识别所述视频帧的行为类别和与该行为类别对应的置信度，所述视频帧行为类别判断步骤包括：视频帧特征向量合并步骤：将所述场景特征向量和所述局部行为特征向量合并为视频帧特征向量，和行为类别和置信度计算步骤：将所述视频帧特征向量输入到第三网络，得到所述视频帧的行为类别和与该行为类别对应的置信度，其中，所述第三网络由4个全连接层与Softmax分类器依次连接形成；片段行为类别确定步骤：基于所述片段的视频帧的行为类别和置信度，确定该片段的行为类别，所述片段行为类别确定步骤包括：在行为类别相同的视频帧数量与所述片段的视频帧总数量的比值大于预定的第二阈值的情况下，将该行为类别作为该片段的行为类别；片段合并步骤：将相邻的行为类别相同的片段合并，得到所述视频的分割结果。2.一种视频分割装置，包括：片段分割模块，其配置成用于基于视频中相邻的视频帧之间的相关系数，将所述视频分割成片段；场景识别模块，其配置成用于对于所述片段中的视频帧，将所述视频帧的RGB通道分别...

【专利技术属性】
技术研发人员：宋波，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：