一种肾小球图像生成模型的构建方法及应用技术

本发明专利技术公开了一种肾小球图像生成模型的构建方法及应用，属于智能辅助阅片技术领域；其中，编码模块将初始特征图按通道拆分为多组特征图，对各组特征图分别进行不同尺度的金字塔卷积后进行合并，并基于残差机制将合并后的特征图与所述初始特征图进行融合，得到融合特征图；对上一级的融合特征图重复执行拆分、合并和融合操作，直至重复次数达到预设次数；并基于自注意力机制学习最后一次所得的融合特征图中的整体关联信息；通过上述手段保证了卷积的视野既能捕捉全局，又能对焦局部，有利于肾小球自身纹理形态特征生成，同时也能够保证新生成的肾小球区域和周围背景的融合，从而生成更接近真实肾小球图像的图像，所生成的肾小球图像质量较高。球图像质量较高。球图像质量较高。

【技术实现步骤摘要】
一种肾小球图像生成模型的构建方法及应用


[0001]本专利技术属于智能辅助阅片
，更具体地，涉及一种肾小球图像生成模型的构建方法及应用。

技术介绍

[0002]肾小球的病理特征是反映肾的功能状态的重要指标之一，近年来，随着计算机和数字化的发展，越来越多的病理医师将染色后的肾病理切片进行电子扫描制作成数字切片以方便提取肾小球的病理特征。与此同时，随着深度学习技术在图像识别方面的应用越来越广泛，越来越多的人工智能辅助检测方法或系统出现在了肾小球区域的检测、识别、分类等任务中，以辅助病理医师完成大量重复性的简单工作，从而减轻病理医师的工作负担，使得病理医师可以将大量时间分配在疑难杂症等复杂工作上，提高病理医师的工作效率。
[0003]但是由于深度学习方法需要大量标注良好的肾小球图像对模型进行训练，而医学图像的标注具有高度专业性，成本巨大，并且医学数据的获取涉及隐私等问题，不易获得，具有特定特征的肾小球数量更是稀少，因此该技术应用存在局限。
[0004]为了解决上述问题，基于采集到的真实肾小球图像，现有技术采用传统的数据增强方法或传统GAN网络来生成相似的肾小球图像，以对肾小球图像进行扩充。但是传统的数据增强方法只是对图像本身做一些几何操作或者亮度对比度改变；而基于传统GAN网络的方法，由于传统GAN网络结构简单，未能深度挖掘肾小球图像的本质特征以及肾小球和背景之间的语义关系，生成图像的随机性也较大；因此，上述方法均无法关注到图像的局部和整体特征，生成的肾小球图像中的肾小球形状并不完全符合真实样本的形状，质量较低，人工智能辅助检测的准确性较低。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种肾小球图像生成模型的构建方法及应用，用以解决现有技术生成的肾小球图像质量较低的技术问题。
[0006]为了实现上述目的，第一方面，本专利技术提供了一种肾小球图像生成模型的构建方法，包括：
[0007]将训练样本集输入到MSPSA
‑
CGAN模型中进行训练，得到肾小球图像生成模型；其中，训练样本集包括含有肾小球区域的肾小球图像X
ori
以及对应的肾小球区域掩码图X
mask
；
[0008]MSPSA
‑
CGAN模型包括：预处理模块、生成器和用于判断生成器生成的图像是否为真实肾小球图像的判别器；
[0009]预处理模块，用于将输入的肾小球图像X
ori
与对应的反掩码图进行点乘运算，得到空缺图后，将空缺图与对应的掩码图X
mask
相加后，得到轮廓背景图；反掩码图为掩码图X
mask
取反后的结果；
[0010]生成器包括：
[0011]编码模块，用于对轮廓背景图进行特征提取，得到轮廓背景图的初始特征图；将初
始特征图按通道拆分为多组特征图，对各组特征图分别进行不同尺度的金字塔卷积后进行合并，并基于残差机制将合并后的特征图与初始特征图进行融合，得到融合特征图；并对上一级的融合特征图重复执行拆分、合并和融合操作，直至重复次数达到预设次数；并基于自注意力机制学习最后一次所得的融合特征图中的整体关联信息，得到轮廓背景图的特征编码图；
[0012]解码模块，用于对特征编码图进行上采样操作，生成与肾小球图像X
ori
大小相同的图像，得到新的肾小球图像X
rec
。
[0013]进一步优选地，在方式一下，将训练样本集输入到MSPSA
‑
CGAN模型中进行训练，通过最小化图像整体损失，对MSPSA
‑
CGAN模型中的生成器参数和判别器参数进行交替更新，得到肾小球图像生成模型；
[0014]或者，
[0015]在方式二下，将训练样本集输入到MSPSA
‑
CGAN模型中进行训练，通过同时最小化图像整体损失和图像局部损失，对MSPSA
‑
CGAN模型中的生成器参数和判别器参数进行交替更新，得到肾小球图像生成模型；
[0016]其中，图像整体损失为X
ori
与X
rec
之间的差异损失，包括：同于度量X
ori
与X
rec
分布差异的整体对抗损失、用于度量X
ori
与X
rec
像素差异的整体像素损失、以及用于度量X
ori
与X
rec
特征差异的整体特征损失；
[0017]图像局部损失为X
ori
与X
rec
中肾小球区域部分的差异损失，包括：用于度量R
ori
与R
rec
结构差异的局部结构损失、用于度量R
ori
与R
rec
像素差异的局部像素损失、以及用于度量R
ori
与R
rec
分布差异的局部对抗损失；R
ori
为X
ori
中的肾小球区域，具体为X
ori
与X
mask
点乘后的结果；R
rec
为X
rec
中的肾小球区域，具体为X
rec
与X
mask
点乘后的结果。
[0018]进一步优选地，在方式一下，上述整体对抗损失为：
[0019][0020]整体像素损失为：
[0021][0022]整体特征损失包括：感知损失和风格损失；
[0023]其中，E[
·
]表示数学期望；D(X
rec
)为判决器输出的对X
rec
中不同位置是否为真实肾小球区域的概率进行判决的结果；D(X
ori
)为判决器输出的对X
ori
中不同位置是否为真实肾小球区域的概率进行判决的结果。
[0024]进一步优选地，在方式二下，上述判别器包括第一判决模块和第二判决模块；
[0025]上述整体对抗损失为：
[0026][0027]上述整体像素损失为：
[0028][0029]上述整体特征损失包括：感知损失和风格损失；
[0030]上述局部结构损失为：
[0031]L
ssim
＝1
‑
SSIM(R
ori
,R
rec
)
[0032]上述局部像素损失为：
[0033][0034]上述局部对抗损失为：
[0035][0036]其中，E[
·
]表示数学期望；D1(X
rec
)为第一判决模块输出的对X
rec
中不同位置是否为真实肾小球区域的概率进行判决的结果；D1(X
ori
)为第一判决模块输出的对X
...

【技术保护点】

【技术特征摘要】
1.一种肾小球图像生成模型的构建方法，其特征在于，包括：将训练样本集输入到MSPSA
‑
CGAN模型中进行训练，得到肾小球图像生成模型；其中，所述训练样本集包括含有肾小球区域的肾小球图像X
ori
以及对应的肾小球区域掩码图X
mask
；所述MSPSA
‑
CGAN模型包括：预处理模块、生成器和用于判断生成器生成的图像是否为真实肾小球图像的判别器；所述预处理模块用于将输入的肾小球图像X
ori
与对应的反掩码图进行点乘运算，得到空缺图后，将空缺图与对应的掩码图X
mask
相加后，得到轮廓背景图；所述反掩码图为掩码图X
mask
取反后的结果；所述生成器包括：编码模块，用于对所述轮廓背景图进行特征提取，得到所述轮廓背景图的初始特征图；将所述初始特征图按通道拆分为多组特征图，对各组特征图分别进行不同尺度的金字塔卷积后进行合并，并基于残差机制将合并后的特征图与所述初始特征图进行融合，得到融合特征图；对上一级的融合特征图重复执行拆分、合并和融合操作，直至重复次数达到预设次数；基于自注意力机制学习最后一次所得的融合特征图中的整体关联信息，得到所述轮廓背景图的特征编码图；解码模块，用于对所述特征编码图进行上采样操作，生成与肾小球图像X
ori
大小相同的新的肾小球图像X
rec
。2.根据权利要求1所述的肾小球图像生成模型的构建方法，其特征在于，在方式一下，将所述训练样本集输入到所述MSPSA
‑
CGAN模型中进行训练，通过最小化图像整体损失，对所述MSPSA
‑
CGAN模型中的生成器参数和判别器参数进行交替更新，得到肾小球图像生成模型；或者，在方式二下，将所述训练样本集输入到所述MSPSA
‑
CGAN模型中进行训练，通过同时最小化图像整体损失和图像局部损失，对所述MSPSA
‑
CGAN模型中的生成器参数和判别器参数进行交替更新，得到肾小球图像生成模型；其中，所述图像整体损失为X
ori
与X
rec
之间的差异损失，包括：同于度量X
ori
与X
rec
分布差异的整体对抗损失、用于度量X
ori
与X
rec
像素差异的整体像素损失、以及用于度量X
ori
与X
rec
特征差异的整体特征损失；所述图像局部损失为R
ori
与R
rec
之间的差异损失，包括：用于度量R
ori
与R
rec
结构差异的局部结构损失、用于度量R
ori
与R
rec
像素差异的局部像素损失、以及用于度量R
ori
与R
rec
分布差异的局部对抗损失；R
ori
为X
ori
中的肾小球区域，具体为X
ori
与X
mask
点乘后的结果；R
rec
为X
rec
中的肾小球区域，具体为X
rec
与X
mask
点乘后的结果。3.根据权利要求2所述的肾小球图像生成模型的构建方法，其特征在于，在所述方式一下，所述整体对抗损失为：所述整体像素损失为：所述整体特征损失包括：感知损失和风格损失；
其中，E[
·
]表示数学期望；D(X
rec
)为判...

【专利技术属性】
技术研发人员：贺松平，邹奕，陈妍妍，卢峡，李斌，彭芳瑜，毛新勇，刘红奇，
申请(专利权)人：华中科技大学同济医学院附属同济医院，
类型：发明
国别省市：