病灶掩膜图像生成方法及装置制造方法及图纸

本发明专利技术提供一种病灶掩膜图像生成方法及装置，涉及人工智能技术领域，该方法包括：获取至少一个包括病灶的第一图像；将各第一图像分别输入病灶掩膜图像生成网络，得到病灶掩膜图像生成网络输出的各第一图像对应的至少一个病灶掩膜图像；病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，病灶掩膜图像生成网络用于生成各第一图像对应的至少一个病灶掩膜图像。由于病灶掩膜生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，提升病灶掩膜图像生成网络的泛化性和多样性。进而通过病灶掩膜图像生成网络实现病灶掩膜图像的生成，无需人工手动进行标注，提升了病灶掩膜图像的生成效率。膜图像的生成效率。膜图像的生成效率。

【技术实现步骤摘要】
病灶掩膜图像生成方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种病灶掩膜图像生成方法及装置。

技术介绍

[0002]随着计算机技术的发展，影像设备逐渐数字化，数字化影像传输和电子胶片应运而生，众多传统医院已纷纷向数字化转型，在加快就诊效率的同时也加大了医生对医学影像数据的审核量。因此，利用深度学习技术实现医学影像的智能诊辅来减轻医生的工作量，已成为当前的研究热点。深度学习技术是通过网络模型自主学习数据特征的方式实现对模型的训练，模型性能的优劣与训练所使用的标注样本量成正比，标注样本量越大而且样本越具有多样性，训练所得的网络模型的性能就越好。
[0003]然而，并非所有的疾病都能在短期内累积出足以训练高精度模型的样本数据量，而且在实际场景中，样本图像的背景差异比较大，病灶类型多样。以胶囊内窥镜图像为例，收集样本，尤其是不同类型带病灶的样本图像有限，而且只能由专业医生进行图像标注，需花费较多的时间、人力和物力成本。因此，如何大量生成用于模型训练的高质量病灶图像，是亟需解决的结束问题。

技术实现思路

[0004]本专利技术提供一种病灶掩膜图像生成方法及装置，用以解决如何大量生成用于模型训练的高质量病灶图像的问题。
[0005]本专利技术提供一种病灶掩膜图像生成方法，包括：获取至少一个包括病灶的第一图像；将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。
[0006]根据本专利技术提供的一种病灶掩膜图像生成方法，所述病灶掩膜图像生成网络包括图像生成网络和背景编码器；所述图像生成网络包括图像合成网络；所述将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像，包括：将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量；将各所述第一隐向量输入至所述图像合成网络，得到所述图像合成网络输出的第一生成图像；基于所述第一生成图像，重复迭代执行所述得到所述图像合成网络输出的第一生成图像的步骤，得到至少一个第二生成图像；
计算最后一次所述图像合成网络输出的各所述第二生成图像和各所述第一图像之间的差值；基于各所述差值，确定各所述第一图像对应的至少一个病灶掩膜图像。
[0007]根据本专利技术提供的一种病灶掩膜图像生成方法，所述病灶掩膜图像生成网络还包括背景分类网络，所述背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块；所述将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量，包括：针对每个第一图像，将所述第一图像输入至所述骨干网络，得到所述骨干网络输出的至少一个不同尺度的第一特征图像；将尺度最小的第一特征图像输入至所述背景分类网络，得到所述背景分类网络输出的背景向量；将各所述不同尺度的第一特征图像输入至所述特征金字塔模块，得到所述特征金字塔模块输出的至少一个不同尺度的第二特征图像；基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量。
[0008]根据本专利技术提供的一种病灶掩膜图像生成方法，所述基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量，包括：将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量；将除所述预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各所述风格生成模块中除各所述第一风格生成模块之外的多个第二风格生成模块，得到各所述第二风格生成模块分别输出的所述第一隐向量。
[0009]根据本专利技术提供的一种病灶掩膜图像生成方法，所述风格生成模块包括多个卷积层、压平层和第一全连接层；所述将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量，包括：针对每个预设尺度的第二特征图像，将所述第二特征图像依次输入至所述第一风格生成模块中的多个卷积层，得到最后一个卷积层输出的第三特征图；将所述第三特征图输入至所述压平层，得到所述压平层输出的第一特征向量；将所述背景向量输入至第二全连接层，得到所述第二全连接层输出的第二特征向量；将所述第一特征向量和所述第二特征向量进行拼接，得到第一拼接向量；将所述第一拼接向量输入至所述第一全连接层，得到所述第一全连接层输出的所述第一隐向量。
[0010]根据本专利技术提供的一种病灶掩膜图像生成方法，所述图像生成网络还包括映射网络和判别器，所述图像生成网络是基于以下步骤训练得到：
获取病灶图像数据集；所述病灶图像数据集包括多个所述不包括病灶的样本图像、各所述不包括病灶的样本图像对应的背景类型、以及多个所述包括病灶的样本图像；将各所述不包括病灶的样本图像对应的样本背景向量和预设的随机向量输入至初始图像生成网络中的所述映射网络，得到所述映射网络输出的各所述不包括病灶的样本图像对应的第二隐向量；所述样本背景向量是基于所述背景类型确定的；对所述第二隐向量进行多次复制，得到多个第二隐向量；将各所述第二隐向量输入至所述初始图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第一无病灶图像；将各所述第一无病灶图像和各所述不包括病灶的样本图像分别输入至所述初始图像生成网络中的所述判别器，得到所述判别器输出的判别结果；所述判别结果用于更新所述初始图像生成网络的参数；基于最终更新的初始图像生成网络的参数，确定所述图像生成网络。
[0011]根据本专利技术提供的一种病灶掩膜图像生成方法，所述背景编码器是基于以下步骤训练得到：将各所述不包括病灶的样本图像输入初始背景编码器，得到所述初始背景编码器输出的各所述不包括病灶的样本图像分别对应的至少一个第三隐向量；将各所述第三隐向量输入至所述图像生成网络中的所述图像合成网络，得到所述图像合成网络输出的第二无病灶图像；基于各所述第二无病灶图像和各所述不包括病灶的样本图像，分别计算背景分类损失函数和合成损失函数；基于所述背景分类损失函数和所述合成损失函数，更新所述初始背景编码器的参数，得到第一背景编码器；基于所述第一背景编码器和多个包括病灶的样本图像，更新所述第一背景编码器的参数，得到所述背景编码器。
[0012]本专利技术还提供一种病灶掩膜图像生成装置，包括：获取模块，用于获取至少一个包括病灶的第一图像；掩膜图像生成模块，用于将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种病灶掩膜图像生成方法，其特征在于，包括：获取至少一个包括病灶的第一图像；将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像生成网络是基于包括病灶的样本图像和不包括病灶的样本图像进行训练得到的，所述病灶掩膜图像生成网络用于生成各所述第一图像对应的至少一个病灶掩膜图像；所述病灶掩膜图像表示病灶所在区域的图像。2.根据权利要求1所述的病灶掩膜图像生成方法，其特征在于，所述病灶掩膜图像生成网络包括图像生成网络和背景编码器；所述图像生成网络包括图像合成网络；所述将各所述第一图像分别输入病灶掩膜图像生成网络，得到所述病灶掩膜图像生成网络输出的各所述第一图像对应的至少一个病灶掩膜图像，包括：将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量；将各所述第一隐向量输入至所述图像合成网络，得到所述图像合成网络输出的第一生成图像；基于所述第一生成图像，重复迭代执行所述得到所述图像合成网络输出的第一生成图像的步骤，得到至少一个第二生成图像；计算最后一次所述图像合成网络输出的各所述第二生成图像和各所述第一图像之间的差值；基于各所述差值，确定各所述第一图像对应的至少一个病灶掩膜图像。3.根据权利要求2所述的病灶掩膜图像生成方法，其特征在于，所述病灶掩膜图像生成网络还包括背景分类网络，所述背景编码器包括骨干网络、特征金字塔模块和至少一个风格生成模块；所述将各所述第一图像分别输入至所述背景编码器，得到所述背景编码器输出的各所述第一图像分别对应的至少一个第一隐向量，包括：针对每个第一图像，将所述第一图像输入至所述骨干网络，得到所述骨干网络输出的至少一个不同尺度的第一特征图像；将尺度最小的第一特征图像输入至所述背景分类网络，得到所述背景分类网络输出的背景向量；将各所述不同尺度的第一特征图像输入至所述特征金字塔模块，得到所述特征金字塔模块输出的至少一个不同尺度的第二特征图像；基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量。4.根据权利要求3所述的病灶掩膜图像生成方法，其特征在于，所述基于所述至少一个不同尺度的第二特征图像、所述背景向量和各所述风格生成模块，确定各所述风格生成模块分别输出的所述第一隐向量，包括：将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量；将除所述预设尺度的多个第二特征图像之外的多个第二特征图像分别输入各所述风
格生成模块中除各所述第一风格生成模块之外的多个第二风格生成模块，得到各所述第二风格生成模块分别输出的所述第一隐向量。5.根据权利要求4所述的病灶掩膜图像生成方法，其特征在于，所述风格生成模块包括多个卷积层、压平层和第一全连接层；所述将预设尺度的多个第二特征图像和所述背景向量分别输入各所述风格生成模块中的多个第一风格生成模块，得到各所述第一风格生成模块分别输出的所述第一隐向量，包括：针对每个预设尺度的第二特征图像，将所述第二特征图像依次输...

【专利技术属性】
技术研发人员：陈裕潮，周可，王羽嗣，刘思德，
申请(专利权)人：广州思德医疗科技有限公司，
类型：发明
国别省市：