视频分割方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视频分割方法、装置、计算机设备和存储介质，涉及视频处理技术领域。所述方法包括：响应于针对视频帧序列中的参考帧的交互操作，获取针对参考帧的参考帧交互点；根据参考帧交互点对参考帧进行粗分割，得到参考帧的粗分割掩码；确定参考帧的精细化特征；精细化特征是针对参考帧的图像细节进行特征提取所得到的特征；根据精细化特征和粗分割掩码对参考帧进行精细分割，得到参考帧的分割掩码；根据参考帧的分割掩码分别对视频帧序列中各视频帧进行分割预测，得到各视频帧分别对应的分割掩码。采用本方法能够提升视频分割掩码的精细度。的精细度。的精细度。

【技术实现步骤摘要】
视频分割方法、装置、计算机设备和存储介质


[0001]本申请涉及视频处理
，特别是涉及一种视频分割方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术和多媒体技术的不断发展，交互式的视频分割方法广泛应用于视频编辑中的视频抠像功能，其主要任务是用户选取视频中的部分静态的参考帧进行交互以选择需要抠像的物体，分割算法则可以根据用户的交互信息生成的交互图自动对参考帧进行分割。其中，目前的分割算法一般是直接将参考帧以及交互图拼接后送入图像分割网络进行预测，得到分割掩码。但是，采用上述方法得到的分割掩码的边缘比较粗糙，从而影响视频分割的准确性。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提高视频分割的准确性的视频分割方法、装置、计算机设备和存储介质。
[0004]第一方面，本申请提供了一种视频分割方法。所述方法包括：
[0005]响应于针对视频帧序列中的参考帧的交互操作，获取针对参考帧的参考帧交互点；
[0006]根据参考帧和参考帧交互点对参考帧进行粗分割，得到参考帧的粗分割掩码；
[0007]确定参考帧的精细化特征；精细化特征是针对参考帧的图像细节进行特征提取所得到的特征；
[0008]根据精细化特征和粗分割掩码对参考帧进行精细分割，得到参考帧的分割掩码；
[0009]根据参考帧的分割掩码分别对视频帧序列中各视频帧进行分割预测，得到各视频帧分别对应的分割掩码。
[0010]第二方面，本申请还提供了一种视频分割装置。所述装置包括：
[0011]获取单元，用于响应于针对视频帧序列中的参考帧的交互操作，获取针对参考帧的参考帧交互点；
[0012]粗分割单元，用于根据参考帧和参考帧交互点对参考帧进行粗分割，得到参考帧的粗分割掩码；
[0013]确定单元，用于确定参考帧的精细化特征；精细化特征是针对参考帧的图像细节进行特征提取所得到的特征；
[0014]细分割单元，用于根据精细化特征和粗分割掩码对参考帧进行精细分割，得到参考帧的分割掩码；
[0015]预测单元，用于根据参考帧的分割掩码分别对视频帧序列中各视频帧进行分割预测，得到各视频帧分别对应的分割掩码。
[0016]在一些实施例中，粗分割单元还用于将参考帧交互点转换为交互点距离图；对参
考帧和交互点距离图进行特征融合，得到第一融合特征；根据第一融合特征对参考帧进行粗分割，得到参考帧的粗分割掩码。
[0017]在一些实施例中，粗分割单元还用于分别提取第一融合特征的深层特征和浅层特征；根据深层特征和浅层特征进行解码处理，得到参考帧的粗分割掩码。
[0018]在一些实施例中，粗分割单元还用于使用多个不同感受野的卷积对深层特征进行特征提取，得到多个感受野特征；将多个感受野特征进行特征拼接，得到感受野拼接特征；将感受野拼接特征和浅层特征进行特征融合，得到第二融合特征；对第二融合特征进行解码得到参考帧的粗分割掩码。
[0019]在一些实施例中，粗分割掩码是通过解码模块对第二融合特征进行解码得到的；细分割单元还用于将粗分割掩码和解码模块的最后一层特征进行特征拼接，得到第一拼接特征；将精细化特征和对第一拼接特征进行深层特征提取所得到的特征进行特征拼接，得到第二拼接特征；根据第二拼接特征预测得到参考帧的分割掩码。
[0020]在一些实施例中，预测单元还用于将参考帧和参考帧的分割掩码进行特征编码，得到参考帧特征；将参考帧对应的参考帧特征存储至预设的存储库队列；确定每个视频帧的查询帧特征；查询帧特征是针对各视频帧进行特征提取所得到的特征；针对每个视频帧的查询帧特征，通过存储库队列中存储的参考帧特征对查询帧特征进行特征匹配，得到查询帧匹配特征；根据每个视频帧的查询帧匹配特征，预测得到各视频帧分别对应的分割掩码。
[0021]在一些实施例中，本申请的视频分割模块还包括队列更新模块，队列更新模块用于在存储库队列的队列长度超过队列长度阈值的情况下，按照预设间隔从存储库队列中提取需要保留的参考帧所对应的参考帧特征；根据需要保留的参考帧所对应的参考帧特征对存储库队列进行更新。
[0022]在一些实施例中，本申请的获取单元还用于响应于针对视频帧序列的选中操作，将被选中的视频帧确定为参考帧；根据预设提取规则从视频帧序列中确定出参考帧。
[0023]第三方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述视频分割方法中的步骤。
[0024]第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述视频分割方法中的步骤。
[0025]第五方面，本申请还提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述视频分割方法中的步骤。
[0026]上述视频分割方法、装置、计算机设备、存储介质和计算机程序产品，获取包括多个视频帧的视频帧序列；响应于针对从多个视频帧中所确定的参考帧的交互操作，获取针对参考帧的参考帧交互点，能够在参考帧上支持更局部的分割微调，根据参考帧交互点对参考帧进行粗分割，得到参考帧的粗分割掩码；为了得到更为精细的分割效果，还可以提取参考帧中更精细的、且富含图像细节的精细化特征，根据参考帧的精细化特征和粗分割掩码，对参考帧进行精细分割，得到参考帧的分割掩码，从而使得在粗分割掩码的基础上，通过上述精细化分割处理提升分割掩码的精度，从而使基于准确的分割掩码对多个视频帧进行分割预测所得到的分割掩码更为准确。
附图说明
[0027]图1为本申请实施例提供的第一种视频分割方法的流程示意图；
[0028]图2为本申请实施例提供的交互图像分割模块的结构示意图；
[0029]图3为本申请实施例提供的对各视频帧进行分割预测的流程示意图；
[0030]图4为本申请实施例提供的第二种视频分割方法的流程示意图；
[0031]图5为本申请实施例提供的一种视频分割装置的结构框图；
[0032]图6为本申请实施例提供的第一种计算机设备的内部结构图；
[0033]图7为本申请实施例提供的第二种计算机设备的内部结构图。
具体实施方式
[0034]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0035]在一些实施例中，如图1所示，提供了一种视频分割方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该计算机设备可以是服务器或终端，该方法可以由服务器或终端单独实现，也可以通过服务器和终端之间的交互来实现，本申请的视频分割指的是对视频帧序列中的各个视频帧进行图像分割。本实施例中，该方法包括以下步骤：
[0036]步骤102，响应于针对视频帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分割方法，其特征在于，包括：响应于针对视频帧序列中的参考帧的交互操作，获取针对所述参考帧的参考帧交互点；根据所述参考帧交互点对所述参考帧进行粗分割，得到所述参考帧的粗分割掩码；确定所述参考帧的精细化特征；所述精细化特征是针对所述参考帧的图像细节进行特征提取所得到的特征；根据所述精细化特征和所述粗分割掩码对所述参考帧进行精细分割，得到所述参考帧的分割掩码；根据所述参考帧的分割掩码分别对所述视频帧序列中各视频帧进行分割预测，得到所述各视频帧分别对应的分割掩码。2.根据权利要求1所述的方法，其特征在于，所述根据所述参考帧和所述参考帧交互点对所述参考帧进行粗分割，得到所述参考帧的粗分割掩码，包括：将所述参考帧交互点转换为交互点距离图；对所述参考帧和所述交互点距离图进行特征融合，得到第一融合特征；根据所述第一融合特征对所述参考帧进行粗分割，得到所述参考帧的粗分割掩码。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一融合特征对所述参考帧进行粗分割，得到所述参考帧的粗分割掩码，包括：分别提取所述第一融合特征的深层特征和浅层特征；根据所述深层特征和所述浅层特征进行解码处理，得到所述参考帧的粗分割掩码。4.根据权利要求3所述的方法，其特征在于，所述根据所述深层特征和所述浅层特征进行解码处理，得到所述参考帧的粗分割掩码，包括：使用多个不同感受野的卷积对所述深层特征进行特征提取，得到多个感受野特征；将所述多个感受野特征进行特征拼接，得到感受野拼接特征；将所述感受野拼接特征和所述浅层特征进行特征融合，得到第二融合特征；对所述第二融合特征进行解码得到所述参考帧的粗分割掩码。5.根据权利要求4所述的方法，其特征在于，所述粗分割掩码是通过解码模块对所述第二融合特征进行解码得到的；所述根据所述精细化特征和所述粗分割掩码对所述参考帧进行精细分割，得到所述参考帧的分割掩码，包括：将所述粗分割掩码和所述解码模块的最后一层特征进行特征拼接，得到第一拼接特征；将所述精细化特征和对所述第一拼接特征进行深层特征提取所得到的特征进行特征拼接，得到第二拼接特征；根据所述第二拼接特征预测得到所述参考帧的分割掩码。6.根据权利要求1所述的方法，其特征在于，所述根据所述参考...

【专利技术属性】
技术研发人员：孙启超，刘挺，刘洛麒，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：