基于文本和图像多模态的脑病灶图像生成方法和系统技术方案

本发明专利技术公开了一种基于文本和图像多模态的脑病灶图像生成方法和系统，包括：数据收集模块：收集相关的脑部病灶的公开数据集，为每一张图像配以文本模板，形成文本

【技术实现步骤摘要】
基于文本和图像多模态的脑病灶图像生成方法和系统


[0001]本专利技术涉及人工智能生成医学图像
，特别涉及一种基于深度学习的文本和图像多模态脑病灶图像生成方法和系统。

技术介绍

[0002]脑病灶图像是指通过影像学技术(如磁共振成像、计算机断层扫描等)对人脑进行检查，发现的异常病灶所呈现出的图像。这些图像可以用于医生对脑病进行诊断和治疗。常见的脑病灶包括脑出血、脑梗死、肿瘤等。通过计算机辅助诊断(CAD)和人工智能技术的应用，可以更加准确地识别和定位脑病灶，为医生制定治疗方案提供重要参考。
[0003]现有技术提出了基于深度学习的脑部疾病图像生成模型，例如GAN
[1][2][0004](Generative Adversarial Networks)等。这些模型通常基于单一的数据源，如脑部MRI图像，来生成脑病灶图像。但是，这些方法存在一些缺陷。首先，它们无法利用其他可用的数据源，如病灶描述文本，以提高生成图像的准确性和真实性，也无法通过文本描述增加先验信息。其次，这些方法通常需要大量的训练数据，而这些数据通常很难获取，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文本和图像多模态的脑病灶图像生成方法，其特征在于：包括以下步骤：Step1:收集相关的脑部病灶的公开数据集，并为每一张图像配以文本模板，根据每张图像样本填充文本模板中的预留位置，形成文本
‑
图像模板数据集；Step2:将配对生成的文本
‑
图像模板数据集用来在DALLE2的CLIP模块上微调，使得匹配图像文本特征空间；Step3：使用微调后的DALLE2模型根据需要的文本需求进行图像生成与变体生成；CLIP模块将需求的文本编码并映射到文本特征空间，文本特征空间又通过先验模型转换成图像特征空间，图像特征通过解码器生成带有需求语义的图像；生成的图像作为一种扩充数据，在有限的公开数据集的基础上进一步满足DALLE2模型对数据量的需求；Step4:将S3中生成的配对的图像文本与S1的原始的文本
‑
图像模板数据集一起对模型再次循环微调；Step5:使用循环微调后的模型对目标图像进行编辑，提供mask指定编辑图像的区域，输入文本描述以生成目标病灶，从而生成带有标注的病灶图像，用于后续的分割任务。2.根据权利要求1所述的一种基于文本和图像多模态的脑病灶图像生成方法，其特征在于：S2中所述的微调具体为：加载由大型文图图像对预训练的带权重模型作为初始...

【专利技术属性】
技术研发人员：张欣茹，叶初阳，郭威严，文梓棋，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：