一种视频分割方法、装置、计算机设备和存储介质制造方法及图纸

本公开提供了一种视频分割方法、装置、计算机设备和存储介质，其中，该方法包括：获取待分割视频；针对待分割视频中的每帧目标图像，基于目标图像的初始图像特征和预设卷积特征，确定目标图像对应的第一实体预测结果和目标图像对应的各第一实体的第一动态卷积特征；利用第一实体预测结果和所述初始图像特征，将各个第一动态卷积特征分别与目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个第一实体的中间动态卷积特征；基于每帧目标图像对应的各个第一实体的中间动态卷积特征，确定待分割视频对应的全景分割结果。景分割结果。景分割结果。

【技术实现步骤摘要】
一种视频分割方法、装置、计算机设备和存储介质


[0001]本公开涉及图像分割
，具体而言，涉及一种视频分割方法、装置、计算机设备和存储介质。

技术介绍

[0002]视频全景分割作为视频感知任务中的一种复杂任务，其目的在于准确分割出视频中的各个语义实体、实例实体以及实例实体对应的标识。当前的视频全景分割方法，在进行视频全景分割的过程中，不仅需要复杂的分割流程，还需要融合各个实体在像素级别上的时序特征，以实现对实体标识的确定，增加了视频全景分割的计算量。

技术实现思路

[0003]本公开实施例至少提供一种视频分割方法、装置、计算机设备和存储介质。
[0004]第一方面，本公开实施例提供了一种视频分割方法，包括：
[0005]获取待分割视频；
[0006]针对所述待分割视频中的每帧目标图像，基于所述目标图像的初始图像特征和预设卷积特征，确定所述目标图像对应的第一实体预测结果和所述目标图像对应的各第一实体的第一动态卷积特征；
[0007]利用所述第一实体预测结果和所述初始图像特征，将各个第一动态卷积特征分别与所述目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个所述第一实体的中间动态卷积特征；
[0008]基于每帧所述目标图像对应的各个所述第一实体的所述中间动态卷积特征，确定所述待分割视频对应的全景分割结果。
[0009]该实施方式，利用目标图像的第一实体预测结果和初始图像特征，对目标图像中各个第一实体的第一动态卷积特征和目标图像的前一帧图像对应的各个第二实体的第二动态卷积特征进行卷积特征融合，得到中间动态卷积特征；由于融合了目标图像中各个第一实体的第一动态卷积特征和前一帧图像对应的第二动态卷积特征，中间动态卷积特征不仅能够更精准地表征各个第一实体对应的特征，还有利于后续对分割出的图像中的各个目标实体进行追踪。如此，利用每帧目标图像对应的中间动态卷积特征，能够实现在实体级别上对每帧目标图像进行精准全景分割，进而得到待分割视频对应的精准的全景分割结果；此外，上述视频全景分割的核心过程在于将目标图像对应的第一动态卷积特征和前一帧图像对应的第二动态卷积特征进行融合，也即不需要融合各个实体在像素级别上的时序特征，可以减少视频全景分割的计算量，在保障分割结果准确性的前提下，节省了计算资源。
[0010]在一种可能的实施方式中，所述利用所述第一实体预测结果和所述初始图像特征，将各个所述第一动态卷积特征分别与所述目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个所述第一实体的中间动态卷积特征，包括：
[0011]对所述第一实体预测结果和所述初始图像特征进行特征融合，得到融合后的目标
图像特征；
[0012]利用所述目标图像特征，对所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体对应更新后的第三动态卷积特征；
[0013]将所述第二实体的所述第三动态卷积特征和所述第一实体的所述第一动态卷积特征进行卷积特征融合，得到所述中间动态卷积特征。
[0014]该实施方式，利用目标图像对应的目标图像特征对第二实体的第二动态卷积特征进行更新，可以得到融合了目标图像特征的第三动态卷积特征，再通过第三动态卷积特征和第一动态卷积特征的卷积特征融合，可以得到能够更精准地表征各个第一实体对应的特征的中间动态卷积特征。
[0015]在一种可能的实施方式中，所述利用所述目标图像特征，对所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体对应更新后的第三动态卷积特征，包括：
[0016]利用所述目标图像特征，对所述前一帧图像对应的每个所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体的第四动态卷积特征，并进行各个所述第四动态卷积特征之间的卷积特征融合；
[0017]对融合后的各个第四动态卷积特征执行维度变化操作，得到每个所述第二实体对应更新后的第三动态卷积特征。
[0018]该实施方式，先利用目标图像特征，对每个第二实体的第二动态卷积特征进行更新，再对更新后得到的各个第二实体的第四动态卷积特征进行卷积特征融合，对融合后的各个第四动态卷积特征执行维度变化操作，可以实现对融合后的各个第四动态卷积特征中的深层次特征的充分挖掘，从而得到能够更精准地表征各个第二实体对应特征的第三动态卷积特征。
[0019]在一种可能的实施方式中，所述基于每帧所述目标图像对应的各个所述第一实体的所述中间动态卷积特征，确定所述待分割视频对应的全景分割结果，包括：
[0020]针对每帧所述目标图像，对各个所述第一实体对应的中间动态卷积特征进行特征交互处理，得到所述目标图像对应的第一分类预测信息、第二实体预测结果和各个所述第一实体对应的目标动态卷积特征；
[0021]基于所述第一分类预测信息、所述第二实体预测结果和目标动态卷积特征，确定所述目标图像对应的语义实体分割结果、实例实体分割结果和实例实体分割结果对应的各个目标实体的标识信息；所述目标实体为从所述第一实体中筛选出的实体；
[0022]根据每帧所述目标图像对应的所述语义实体分割结果、所述实例实体分割结果和所述标识信息，确定所述待分割视频对应的全景分割结果。
[0023]该实施方式，基于确定的第一分类预测信息，能够确定出目标图像对应的语义类别信息；基于第二实体预测结果，能够确定出目标图像对应的各个语义实体预测结果和各个实例实体预测结果；目标动态卷积特征包括最终确定出目标图像中的各个第一实体对应的特征，为在第一动态卷积特征的基础上进行了多次更新后得到的特征，其能够准确地反映目标图像中的各个第一实体对应的特征。进而，根据第一分类预测信息、第二实体预测结果和目标动态卷积特征，能够实现对待分割视频的各目标图像进行准确地全景分割。
[0024]在一种可能的实施方式中，所述基于所述第一分类预测信息、所述第二实体预测结果和目标动态卷积特征，确定所述目标图像对应的语义实体分割结果、实例实体分割结
果和和各个目标实体对应的标识信息，包括：
[0025]基于所述第一分类预测信息、所述第二实体预测结果中的语义实体预测结果，确定所述目标图像对应的语义实体分割结果；
[0026]基于所述第一分类预测信息和所述第二实体预测结果中的第一实例实体预测结果，确定所述目标图像对应的实例实体分割结果；
[0027]基于所述目标动态卷积特征和所述第二动态卷积特征中的各个第一实例实体卷积特征，确定各个所述目标实体对应的标识信息。
[0028]该实施方式，语义实体预测结果为目标图像中与语义实体相关的信息，基于第一分类预测信息，能够确定出目标图像中与语义实体相关的分类信息，根据与语义实体相关的分类信息以及语义实体预测结果，可以从目标图像中准确地分割出各个语义实体，也即得到准确的语义实体分割结果。第一实例实体预测结果为目标图像中与实例实体相关的信息，基于第一分类预测信息能够确定出目标图像中与实例实体相关的分类信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分割方法，其特征在于，包括：获取待分割视频；针对所述待分割视频中的每帧目标图像，基于所述目标图像的初始图像特征和预设卷积特征，确定所述目标图像对应的第一实体预测结果和所述目标图像对应的各第一实体的第一动态卷积特征；利用所述第一实体预测结果和所述初始图像特征，将各个第一动态卷积特征分别与所述目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个所述第一实体的中间动态卷积特征；基于每帧所述目标图像对应的各个所述第一实体的所述中间动态卷积特征，确定所述待分割视频对应的全景分割结果。2.根据权利要求1所述的方法，其特征在于，所述利用所述第一实体预测结果和所述初始图像特征，将各个所述第一动态卷积特征分别与所述目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个所述第一实体的中间动态卷积特征，包括：对所述第一实体预测结果和所述初始图像特征进行特征融合，得到融合后的目标图像特征；利用所述目标图像特征，对所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体对应更新后的第三动态卷积特征；将所述第二实体的所述第三动态卷积特征和所述第一实体的所述第一动态卷积特征进行卷积特征融合，得到所述中间动态卷积特征。3.根据权利要求2所述的方法，其特征在于，所述利用所述目标图像特征，对所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体对应更新后的第三动态卷积特征，包括：利用所述目标图像特征，对所述前一帧图像对应的每个所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体的第四动态卷积特征，并进行各个所述第四动态卷积特征之间的卷积特征融合；对融合后的各个第四动态卷积特征执行维度变化操作，得到每个所述第二实体对应更新后的第三动态卷积特征。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于每帧所述目标图像对应的各个所述第一实体的所述中间动态卷积特征，确定所述待分割视频对应的全景分割结果，包括：针对每帧所述目标图像，对各个所述第一实体对应的中间动态卷积特征进行特征交互处理，得到所述目标图像对应的第一分类预测信息、第二实体预测结果和各个所述第一实体对应的目标动态卷积特征；基于所述第一分类预测信息、所述第二实体预测结果和目标动态卷积特征，确定所述目标图像对应的语义实体分割结果、实例实体分割结果和实例实体分割结果对应的各个目标实体的标识信息；所述目标实体为从所述第一实体中筛选出的实体；根据每帧所述目标图像对应的所述语义实体分割结果、所述实例实体分割结果和所述标识信息，确定所述待分割视频对应的全景分割结果。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一分类预测信息、所述第二实体预测结果和目标动态卷积特征，确定所述目标图像对应的语义实体分割结果、实例实体分割结果和各个目标实体对应的标识信息，包括：基于所述第一分类预测信息、所述第二实体预测结果中的语义实体预测结果，确定所述目标图像对应的语义实体分割结果；基于所述第一分类预测信息和所述第二实体预测结果中的第一实例实体预测结果，确定所述目标图像对应的实例实体分割结果；基于所述目标动态卷积特征和所述第二动态卷积特征中的各个第一实例实体卷积特征，确定各个所述目标实体对应的标识信息。6.根据权利要求5所述的方法，其特征在于，所述基于所述目标动态卷积特征和所述第二动态卷积特征中的各个第一实例实体卷积特征，确定各个所述目标实体对应的标识信息，包括：从所述目标动态卷积特征中，筛选出与所述实例实体分割结果指示的各个目标实体对应的第二实例实体卷积特征；对所述第一实例实体卷积特征和所述第二实例实体卷积特征执行卷积特征融合操作，得到各个所述目标实体对应的融合后的目标实例实体卷积特征；根据所述目标实例实体卷积特征和第一实例实体卷积特征，将各个所述目标实体和所述第一实例实体卷积特征对应的各个实例实体进行匹配，确定出每个所述目标实体的标识信息。7.根据权利要求6所述的方法，其特征在于，所述对所述第一实例实体卷积特征和所述第二实例实体卷积特征执行卷积特征融合操作，得到各个所述目标实体对应的融合后的目标实例实体卷积特征，包括：对所述第一实例实体卷积特征和所述第二实例实体卷积特征执行卷积特征融合操作，得到每个所述目标实体对应的第三实例实体卷积特征，并进行所述第三实例实体卷积特征之间的卷积特征融合，得到融合后的各个第三实例实体卷积特征；对融合后的各个第三实例实体卷积特征执行维度变化操作，得到各个所述目标实体对应的所述目标实例实体卷积特征。8.根据权利要求7所述的方法，其特征在于，所述根据所述目标实例实体卷积特征和第一实例实体卷积特征，将各个所述目标实体和所述第一实例实体卷积特征对应的各个实例实体进行匹配，确定出每个所述目标实体的标识信息，包括：对各个所述目标实例实体卷积特征进行全连接操作，得到各个所述目标实体对应的第一目标卷积特征，并对各个所述第一实例实体卷积特征进行全连接操作，得到各个所述实例实体对应的第二目标卷积特征；针对每个目标实体，基于该目标实体对应的第一目标卷积特征和各个所述实例实体对应的第二目标卷积特征，确定出该目标实体与各个所述实例实体的特征距离；将最大特征距离对应的实例实体对应的标识信息，作为该目标实体的标识信息。9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于所述目标图像的初始图像特征和预设卷积特征，确定所述目标图像对应的第一实体预测结果和所述目标图像对应的各第一实体的第一动态卷积特征，包括：
基于所述目标图像的初始图像特征和预设卷积特征，确定所述目标图像对应的第三实体预测结果；基于所述预设卷积特征、所述第三实体预测结果和所述初...

【专利技术属性】
技术研发人员：李祥泰，程光亮，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：