一种视频分割方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种视频分割方法、装置、计算机设备及存储介质，包括：获取待分割视频，以及所述待分割视频对应的分割提示信息；其中，所述分割提示信息用于表征所述待分割视频的分割需求；基于图像编码器对所述待分割视频的视频帧进行编码，得到第一编码特征；以及，基于提示信息编码器对所述分割提示信息进行编码，得到第二编码特征；将所述第一编码特征和所述第二编码特征输入至解码器中，分别进行时间特征提取得到第一特征，以及进行空间特征提取，得到第二特征；基于所述第一特征和所述第二特征，确定所述视频帧对应的分割掩码图像，并基于所述分割掩码图像对所述视频帧进行分割处理。理。理。

【技术实现步骤摘要】
一种视频分割方法、装置、计算机设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种视频分割方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着神经网络的发展，用于进行图像分割的网络越来越多，图像分割的精度也越来越高。视频虽然是由多帧图像帧组合成的，但是视频的分割要求与图像的分割要求明显不同，图像分割仅需考虑图像本身各个对象之间的关系即可，而视频分割则还需要考虑各个图像帧之间的关联关系，若直接将图像分割的网络应用于视频分割领域，分割效果较差。

技术实现思路

[0003]本公开实施例至少提供一种视频分割方法、装置、计算机设备及存储介质。
[0004]第一方面，本公开实施例提供了一种视频分割方法，包括：
[0005]获取待分割视频，以及所述待分割视频对应的分割提示信息；其中，所述分割提示信息用于表征所述待分割视频的分割需求；
[0006]基于图像编码器对所述待分割视频的视频帧进行编码，得到第一编码特征；以及，基于提示信息编码器对所述分割提示信息进行编码，得到第二编码特征；
[0007]将所述第一编码特征和所述第二编码特征输入至解码器中，分别进行时间特征提取得到第一特征，以及进行空间特征提取，得到第二特征；
[0008]基于所述第一特征和所述第二特征，确定所述视频帧对应的分割掩码图像，并基于所述分割掩码图像对所述视频帧进行分割处理。
[0009]一种可能的实施方式中，所述待分割视频的视频帧为经过采样抽帧后得到的视频帧；所述基于图像编码器对所述待分割视频的视频帧进行编码，得到第一编码特征，包括：
[0010]针对任一视频帧，将该视频帧划分成多个图像块；
[0011]确定各个图像块的嵌入表征向量，并基于各个图像块的嵌入表征向量，确定该视频帧的嵌入表征向量；
[0012]基于各个视频帧的嵌入表征向量，确定所述第一编码特征。
[0013]一种可能的实施方式中，所述将所述第一编码特征和所述第二编码特征输入至解码器中，包括：
[0014]将所述第一编码特征和所述第二编码特征进行拼接，得到第三编码特征；
[0015]将所述第三编码特征输入至所述解码器中。
[0016]一种可能的实施方式中，所述解码器用于通过以下方法进行所述空间特征提取：
[0017]将所述第三编码特征输入至包含微调结构层的注意力机制模型，得到所述第二特征。
[0018]一种可能的实施方式中，所述将所述第三编码特征输入至包含微调结构层的注意力机制模型，得到所述第二特征，包括：
[0019]基于第一归一化层对所述第三编码特征进行归一化处理，得到第一归一化特征；
[0020]将所述第一归一化特征输入至所述微调结构层，得到微调特征；以及将所述第一归一化特征输入至多头自注意力模块进行特征提取，得到中间特征；
[0021]将所述第一归一化特征、所述中间特征以及所述微调特征进行融合，得到第一融合特征；
[0022]基于第二归一化层对所述第一融合特征进行归一化处理，得到第二归一化特征；
[0023]将所述第二归一化特征输入至多层感知器，得到所述第二特征。
[0024]一种可能的实施方式中，所述解码器用于通过以下方法进行所述时间特征提取：
[0025]对所述第三编码特征进行第一通道调整，得到调整特征；
[0026]将所述调整特征输入至包含微调结构层的注意力机制模型，得到第三特征；
[0027]对所述第三特征进行第二通道调整，得到所述第一特征。
[0028]一种可能的实施方式中，所述基于所述第一特征和所述第二特征，确定所述视频帧对应的分割掩码图像，包括：
[0029]将所述第一特征和所述第二特征进行融合，得到第二融合特征；
[0030]基于所述第二融合特征，确定所述视频帧对应的分割掩码图像。
[0031]第二方面，本公开实施例还提供一种视频分割装置，其特征在于，包括：
[0032]获取模块，用于获取待分割视频，以及所述待分割视频对应的分割提示信息；其中，所述分割提示信息用于表征所述待分割视频的分割需求；
[0033]编码模块，用于基于图像编码器对所述待分割视频的视频帧进行编码，得到第一编码特征；以及，基于提示信息编码器对所述分割提示信息进行编码，得到第二编码特征；
[0034]解码模块，用于将所述第一编码特征和所述第二编码特征输入至解码器中，分别进行时间特征提取得到第一特征，以及进行空间特征提取，得到第二特征；
[0035]确定模块，用于基于所述第一特征和所述第二特征，确定所述视频帧对应的分割掩码图像，并基于所述分割掩码图像对所述视频帧进行分割处理。
[0036]第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
[0037]第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
[0038]本公开实施例提供的视频分割方法、装置、计算机设备及存储介质，在对待分割视频进行分割时，在对视频帧和分割提示信息进行编码之后，可以分别从空间领域和时间领域进行特征提取，然后再基于时间特征提取得到的第一特征和空间特征提取得到的第二特征，确定视频帧对应的分割掩码图像，并基于分割掩码图像进行分割处理。这样，由于在进行特征提取时，考虑到了各视频帧在时间领域上的关联关系，因此通过这种方法得到的分割掩码图像在对视频的视频帧进行分割时，分割结果更加精确。
[0039]为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0040]为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0041]图1示出了本公开实施例所提供的一种SAM模型的架构示意图；
[0042]图2示出了本公开实施例所提供的一种视频分割方法的流程图；
[0043]图3示出了本公开实施例所提供的一种LoRA的内部结构示意图；
[0044]图4a示出了本公开实施例所提供的一种空间特征提取模块的内部结构；
[0045]图4b示出了本公开实施例所提供的SAM模型的解码器内部结构示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分割方法，其特征在于，包括：获取待分割视频，以及所述待分割视频对应的分割提示信息；其中，所述分割提示信息用于表征所述待分割视频的分割需求；基于图像编码器对所述待分割视频的视频帧进行编码，得到第一编码特征；以及，基于提示信息编码器对所述分割提示信息进行编码，得到第二编码特征；将所述第一编码特征和所述第二编码特征输入至解码器中，分别进行时间特征提取得到第一特征，以及进行空间特征提取，得到第二特征；基于所述第一特征和所述第二特征，确定所述视频帧对应的分割掩码图像，并基于所述分割掩码图像对所述视频帧进行分割处理。2.根据权利要求1所述的方法，其特征在于，所述待分割视频的视频帧为经过采样抽帧后得到的视频帧；所述基于图像编码器对所述待分割视频的视频帧进行编码，得到第一编码特征，包括：针对任一视频帧，将该视频帧划分成多个图像块；确定各个图像块的嵌入表征向量，并基于各个图像块的嵌入表征向量，确定该视频帧的嵌入表征向量；基于各个视频帧的嵌入表征向量，确定所述第一编码特征。3.根据权利要求1所述的方法，其特征在于，所述将所述第一编码特征和所述第二编码特征输入至解码器中，包括：将所述第一编码特征和所述第二编码特征进行拼接，得到第三编码特征；将所述第三编码特征输入至所述解码器中。4.根据权利要求3所述的方法，其特征在于，所述解码器用于通过以下方法进行所述空间特征提取：将所述第三编码特征输入至包含微调结构层的注意力机制模型，得到所述第二特征。5.根据权利要求4所述的方法，其特征在于，所述将所述第三编码特征输入至包含微调结构层的注意力机制模型，得到所述第二特征，包括：基于第一归一化层对所述第三编码特征进行归一化处理，得到第一归一化特征；将所述第一归一化特征输入至所述微调结构层，得到微调特征；以及将所述第一归一化特征输入至多头自注意力模块进行特征提取，得到中间特征；将所述第一归一化特征、所述中间特征以及所述微调特征进行融合，得到第一...

【专利技术属性】
技术研发人员：杨志雄，杨延展，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：