一种基于形状约束的图像分割系统技术方案

本发明专利技术公布了一种基于形状约束的图像分割系统，由目标形状表示模块M0，目标分割模块M1组成；其中，基于图像及其目标分割二值图，利用目标形状表示模块M0对目标形状进行学习，可以获得对目标形状的表示能力；进而，利用训练完成得到的目标形状表示模块M0对分割网络N1进行形状约束，训练完成的图像分割网络N1即为图像分割模型。本发明专利技术提出能够有针对性地对分割目标的形状特征进行重点学习，不仅对分割结果中的像素级误差进行可控惩罚，还能够从整体上对分割结果中的形状误差进行可调节惩罚，从而使优化得到的分割模型有更好的复杂目标形状的判别能力，达到在目标边界模糊不清时仍能有效分割出目标区域的效果。有效分割出目标区域的效果。有效分割出目标区域的效果。

【技术实现步骤摘要】
一种基于形状约束的图像分割系统


[0001]本专利技术涉及计算机视觉人工智能
，更具体地，涉及一种基于形状约束的图像分割方法。

技术介绍

[0002]影像学检查已经成为临床病变评价中不可缺少的重要手段，并发挥着越来越重要的作用。多种影像检查的普及给影像医生带来的阅片压力和挑战也与日俱增。近年来基于医学影像的辅助诊断技术在多种病变自动甄别中取得了长足的发展。病变辅助诊断技术的一般流程是首先进行解剖部位的自动提取，然后针对部位进行不同病变的自动甄别和检出，其中最基础也是最关键的步骤就是解剖部位的提取。解剖部位提取一般是通过自动图像分割来实现。深层卷积网络作为一种深度学习方法，是目前用于图像分割的一种流行方法，且在医学影像的自动分割中逐渐超越传统方法得到研究人员的认可。但值得注意的是，在目前主流的分割网络中，网络的训练目标函数往往是比较简单的像素级损失函数，忽略了分割结果的整体形态误差评价，导致在边界不清的目标结构的分割任务中由于边界对比微弱仍然存在不小的挑战，而医学影像中这种情况是普遍存在的。所以，目前主流的分割模型在边界不清的分割问题中存在很大的局限性。

技术实现思路

[0003]为解决上述问题，本专利技术公开了一种用于图像中目标边界模糊且具有非规则形状特征的目标分割方法，在分割模型中引入对分割目标的形状约束，解决目前分割模型在边界对比不足的目标结构上表示能力欠佳的问题。
[0004]为实现上述目的，本专利技术提供一种基于形状约束的图像分割系统，包括以下组成部分及步骤：S1：目标形状表示模块M0，M0由图像形状编码器E1，目标分割二值图的形状编码器E2，目标形状解码器D0三个部分组成。基于标注好的图像及对应的目标分割二值图利用目标形状表示模块M0学习分割目标的形状表示。
[0005]所述目标形状表示模块M0的构建与训练过程为，
[0006]S11：N张图像与对应的人工标注的目标分割结果作为M0的训练集；
[0007]S12：从N张训练集中随机挑选n张图像I
1，i
(i＝1，...，n)与对应的人工标注的目标分割二值图I
2，i
(i＝1，...，n)分别经过图像形状编码器E1和目标分割二值图形状编码器E2计算得到对应的形状表示向量V
1，i
和V
2，i
；
[0008]其中的图像形状编码器E1和目标分割二值图形状编码器E2分别能够实现对图像和二值图像的降维编码，编码器的具体种类和构成可根据具体应用场景的需求而选择，本专利技术对编码器的具体种类和构成不做严格限定。
[0009]该步骤中同时对图像和对应的目标分割二值图像进行降维编码是为了通过约束使两者降维编码之后的特征向量V
1，i
和V
2，i
相近，从而使V
1，i
和V
2，i
分别是图像和二值图像的形状表示，避免V
1，i
和V
2，i
中包含其他特征成分。这也是目标形状表示模块M0能实现目标形
状表示的关键。
[0010]S13：V
2，i
经过目标形状解码器D0计算得到重构的目标分割二值图I
′
2，i
；
[0011]所述目标形状解码器D0能够实现将降维编码之后的形状表示向量V
2，i
重构成目标分割二值图像，重构的目的是保证降维编码之后的形状表示向量V
2，i
与目标分割二值图的形状特征保持一致。解码器的具体种类和构成可根据具体应用场景的需求而选择，本专利技术对解码器的具体种类和构成不做严格限定。
[0012]S14：计算V
1，i
和V
2，i
的形状损失函数的值，计算I
2，i
和I
′
2，i
的重构损失函数的值，并通过L
S
和L
R
构造的总体损失函数L
M0
＝L
R
+αL
S
的值更新E1、E2和D0的参数；其中α为超参数，用于调节L
S
和L
R
两者之间的权重，本专利技术对权重的具体取值不做具体限定。
[0013]S15：重复S11-S14过程K次，得到训练完成的M0。
[0014]S2：图像分割模块M1由分割网络N1，训练完成的目标分割二值图的形状编码器E2组成。图像分割模块M1用于待分割图像的分割，获得预测分割结果。
[0015]所述图像分割模块M1的构建与训练过程为，
[0016]S21：N张图像与对应的人工标注的目标分割结果作为M1的训练集；
[0017]S22：从N张训练集中随机挑选n张图像I
i
(i＝1，...，n)经过分割网络N1得到预测分割二值图P
i
；分割网络N1的作用是实现对图像的目标分割，只要能实现图像分割的神经网络结构都能够作为分割网络N1，神经网络模型能够采用包括卷积层、池化层和上采样层的一种或多种组合的用于进行图像分割处理的深度神经网络。本专利技术对分割网络的具体种类和构成同样不做严格限定。
[0018]S23：预测分割二值图P
i
与对应的人工标注分割二值图G
i
分别经过S1中的目标分割二值图形状编码器E2计算得到二者的形状编码表示和
[0019]S24：形状损失函数L
S
为P和G的像素级损失函数L
P
为为计算形状损失函数L
S
和像素级损失函数L
P
的值，并通过L
S
和L
P
构造的总体损失函数L
M1
＝L
P
+λL
S
的值更新分割网络N1的参数；其中λ为超参数，用于调节L
P
和L
S
两者之间的权重，本专利技术对权重的具体取值不做具体限定。
[0020]对预测分割结果的惩罚和约束，也就是训练目标函数或损失函数，是分割网络能够学习到图像中不同特征表达能力并实现有效目标分割的关键。目前常规的分割网络的损失函数都是像素级的损失函数，比如交叉熵损失函数或者Dice损失函数。这类像素级损失函数只能实现对预测分割结果的像素级误差评价，很难实现对分割结果的整体误差评价。本专利技术在像素级损失函数的基础上引入的形状损失，能够实现对分割目标的整体形状评价，从而能够使预测分割结果不仅像素级误差小，而且整体形状误差也小，在目标边界不清导致预测分割结果形态不符合真实形态的情况下减小分割误差，实现目标准确分割。像素级损失函数的具体选择可根据实际应用场景的需求而调整，本申请对像素级损失函数的具体种类不做严格限定。另外，其中λ为L
S
项的权重，调节两者之间的平衡，本专利技术对权重的具体取值不做具体限定。
[0021]S25：重复S21-S24过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于形状约束的图像分割系统，由目标形状表示模块M0，目标分割模块M1组成；其中，M0由灰度图像形状编码器E1，目标分割二值图的形状编码器E2，目标形状解码器D0三部分组成；M1由分割网络N1，与训练完成的M0共享的目标分割二值图的形状编码器E2组成；灰度图像形状编码器E1和目标分割二值图的形状编码器E2均由多层的卷积层和降采样层组成；目标形状解码器D0由多层卷积层和上采样层组成；分割网络N1是由多个卷积层、降采样层和上采样层组成的全卷积神经网络；其特征在于，基于图像及其目标分割二值图，利用目标形状表示模块M0对目标形状进行学习，获得目标形状表示能力；M0训练损失函数为目标分割二值图的重构损失函数L
R
和形状损失函数L
S
形成的总体损失函数L
M0
；进而，利用训练完成得到的目标形状表示模块M0中的形状编码器E2对分割网络N1进行形状约束，即结合形状损失函数L
S
和分割损失函数L
P
形成总体损失函数L
M1
，训练完成的图像分割网络N1即为图像分割模型。2.如权利要求1所述的目标形状表示模块M0，其特征在于，M0的构建与训练步骤具体为：S1：将N张图像与对应的人工标注的目标分割结果作为M0的训练集；S2：从N张训练集中随机挑选n张图像I
1，i
(i＝1，...，n)与对应的人工标注的目标分割结果I
2，i
(i＝1，...，n)分别经过图像形状编码器E1和目标分割二值图的形状编码器E2计算得到对应的形状表示向量V
1，i
和V
2，i
；S3：V
2，i
经过目标形状解码器D0计算得到重构的目标二值图I
′

【专利技术属性】
技术研发人员：高飞，张珏，王霄英，张晓东，
申请(专利权)人：北京大学，
类型：发明
国别省市：