一种基于深度学习的多视图协同图像分割方法和系统技术方案

本发明专利技术涉及一种基于深度学习的多视图协同图像分割方法和系统，方法包括：步骤S1：获取多视角图像；步骤S2：将所述多视角图像输入至深度学习模型，所述深度学习模型通过多视角视图像内在特征的一致性，实现对多视角图像中的同一目标进行图像分割；其中，所述深度学习模型设置有MVFI模块，所述MVFI模块用于实现多视角图像间的特征交互。本发明专利技术构建的深度学习模型能够充分利用多视图间的特征一致性来优化视图特征，进而提高分割精度。进而提高分割精度。进而提高分割精度。

【技术实现步骤摘要】
一种基于深度学习的多视图协同图像分割方法和系统


[0001]本专利技术涉及图像协同分割
，尤其是指一种基于深度学习的多视图协同图像分割方法和系统。

技术介绍

[0002]图像分割是计算机视觉领域内的一个重要研究方向，其任务是为图像中的每个像素点分配所属类别，使得计算机更好地理解和处理图像信息。图像的协同分割是指分割一组图像中包含的共类目标。而多视图协同分割就是同时分割包含了同一个目标的不同视角的图像。多视图协同分割的提出是为了解决复杂场景下的单视图分割易受噪声影响而导致分割不准确的问题。基于多视图协同分割可以从不同视角获取图像信息，提高分割的准确性和多视角的一致性。
[0003]传统的多视图协同分割算法通常需要先提取图像中的传统特征，如颜色直方图、Gabor滤波器、SIFT算子等，然后基于提取的特征建立匹配模型，最后使用分类模型给每个像素分类。近年来，基于深度学习的多视图协同分割算法逐渐发展起来，这种方法通常采用卷积神经网络(CNN)对输入的多视图进行特征提取，然后进行多视图间的特征交互，最后通过特征解码得到多视图协同分割的结果。还有一些基于深度学习的多视图协同分割算法将少量视图的人工分割结果作为先验信息融入到模型中，让模型通过学习的方式优化多视图之间的分割一致性。
[0004]现有技术缺点如下：
[0005]基于传统的图像处理方法的多视图协同分割技术存在一定局限性。其在特定场景下且特征较明显的情况下表现良好，但在复杂场景下且特征较难提取的情况下效果不佳。主要是因为传统的图像分割算法受噪声影响较大，并且人工设计的特征并不适用于复杂场景。基于传统方法的多视图协同分割无法充分利用多视图的信息，导致分割准确度不高。
[0006]基于深度学习的多视图协同分割技术在提取特征方面表现很好，但是其准确度高度依赖模型算法的结构设计和参数设置。现有技术中，简单的多视图特征交互操作往往不能有效地提升协同分割性能，而设计一些复杂的模型则会引入较大的计算量和参数量。

技术实现思路

[0007]为此，本专利技术所要解决的技术问题在于克服现有技术中无法充分利用多视图之间内在的特征一致性信息，进而导致协同分割精度不高的问题。
[0008]为解决上述技术问题，本专利技术提供了一种基于深度学习的多视图协同图像分割方法，包括：
[0009]步骤S1：获取多视角图像；
[0010]步骤S2：将所述多视角图像输入至深度学习模型，所述深度学习模型通过多视角视图像内在特征的一致性，实现对多视角图像中的同一目标进行图像分割；
[0011]其中，所述深度学习模型设置有MVFI模块，所述MVFI模块用于实现多视角图像间
的特征交互。
[0012]在本专利技术的一个实施例中，所述步骤S2中将所述多视角图像输入至深度学习模型，所述深度学习模型通过多视角视图像内在特征的一致性，实现对多视角图像中的同一目标进行图像分割，方法包括：
[0013]设三通道的多视角图像为I∈R
B
×3×
N
×
H
×
W
，其中，B为批处理数，N为视图数，H为图像高度，W为图像宽度；将I经过视图合并之后输出X∈R
BN
×3×
H
×
W
，其中，所述视图合并为将视图维度转化为批维度；将X输入编码器得到深度特征F∈R
BN
×
c
×
h
×
w
；将深度特征F进行视图分离得到F
i
∈R
B
×
c
×
h
×
w
，i＝1,2,...,N，其中，所述视图分离为将批维度转化为视图维度，c为特征维度，h为特征高度，w为特征宽度；
[0014]将分离后的特征F
i
输入到MVFI模块中，得到输出F
i
′
∈R
B
×
c
×
h
×
w
，i＝1,2,...,N；
[0015]将F
i
′
进行视图合并，得到优化后的特征输出F
′
∈R
BN
×
c
×
h
×
w
；再将F
′
输入解码器得到最终输出O∈R
BN
×
c
×
h
×
w
；最后对O进行视图分离，得到批次中的每个视图的分割结果O
i
∈R
B
×1×
H
×
W
,i＝1,2,...,N。
[0016]在本专利技术的一个实施例中，所述MVFI模块包括：
[0017]通过视图分离得到N个特征F
i
∈R
B
×
c
×
h
×
w
分别对应多视角图像I∈R
B
×3×
N
×
H
×
W
中的视图V
i
，i＝1,2,...,N；对于N个特征F
i
，每一个特征均要接受其余N
‑
1个特征的一致性引导。
[0018]在本专利技术的一个实施例中，所述对于N个特征F
i
，每一个特征均要接受其余N
‑
1个特征的一致性引导，方法包括：
[0019]设视图V
i
作为参考视图，将视图V
i
的先验分割结果P
i
下采样至与F
i
大小一致，再与F
i
相乘以掩去背景，得到伪掩码特征；对所述伪掩码特征进行全局池化得到长度为c的待分割前景目标的特征pg
i
∈R
B
×
c
×1×1，其中，pg为伪全局特征；
[0020]使用LRL模块对pg
i
进行特征偏移，得到真正的类别特征g
i
∈R
B
×
c
×1×1；利用g
i
与其余N
‑
1个视图特征F
j
的每一个像素位置计算余弦相似度，得到相似度矩阵M；
[0021]将每一次得到的相似度矩阵M与经过CBR模块后的其余N
‑
1个视图特征F
j
相乘，再将相乘结果与类别特征g
i
融合降维，得到最终输出f
ij
，f
ij
表示将第i个视图特征作为参考视图，对第j个视图特征的一致性引导输出；将所有一致性引导输出的特征构成矩阵G；其中，所述将相乘结果与类别特征g
i
融合降维，得到最终输出f
ij
，包括：将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多视图协同图像分割方法，其特征在于：包括：步骤S1：获取多视角图像；步骤S2：将所述多视角图像输入至深度学习模型，所述深度学习模型通过多视角视图像内在特征的一致性，实现对多视角图像中的同一目标进行图像分割；其中，所述深度学习模型设置有MVFI模块，所述MVFI模块用于实现多视角图像间的特征交互。2.根据权利要求1所述的基于深度学习的多视图协同图像分割方法，其特征在于：所述步骤S2中将所述多视角图像输入至深度学习模型，所述深度学习模型通过多视角视图像内在特征的一致性，实现对多视角图像中的同一目标进行图像分割，方法包括：设三通道的多视角图像为I∈R
B
×3×
N
×
H
×
W
，其中，B为批处理数，N为视图数，H为图像高度，W为图像宽度；将I经过视图合并之后输出X∈R
BN
×3×
H
×
W
，其中，所述视图合并为将视图维度转化为批维度；将X输入编码器得到深度特征F∈R
BN
×
c
×
h
×
w
；将深度特征F进行视图分离得到F
i
∈R
B
×
c
×
h
×
w
，i＝1,2,...,N，其中，所述视图分离为将批维度转化为视图维度，c为特征维度，h为特征高度，w为特征宽度；将分离后的特征F
i
输入到MVFI模块中，得到输出F
i
′
∈R
B
×
c
×
h
×
w
，i＝1,2,...,N；将F
i
′
进行视图合并，得到优化后的特征输出F
′
∈R
BN
×
c
×
h
×
w
；再将F
′
输入解码器得到最终输出O∈R
BN
×
c
×
h
×
w
；最后对O进行视图分离，得到批次中的每个视图的分割结果O
i
∈R
B
×1×
H
×
W
,i＝1,2,...,N。3.根据权利要求2所述的基于深度学习的多视图协同图像分割方法，其特征在于：所述MVFI模块包括：通过视图分离得到N个特征F
i
∈R
B
×
c
×
h
×
w
分别对应多视角图像I∈R
B
×3×
N
×
H
×
W
中的视图V
i
，i＝1,2,...,N；对于N个特征F
i
，每一个特征均要接受其余N
‑
1个特征的一致性引导。4.根据权利要求3所述的基于深度学习的多视图协同图像分割方法，其特征在于：所述对于N个特征F
i
，每一个特征均要接受其余N
‑
1个特征的一致性引导，方法包括：设视图V
i
作为参考视图，将视图V
i
的先验分割结果P
i
...

【专利技术属性】
技术研发人员：石霏，周健，夏文涛，
申请(专利权)人：苏州大学，
类型：发明
国别省市：