【技术实现步骤摘要】
本专利技术属于人工智能，具体涉及一种基于多模态扩散模型的抗差异医学图像分割方法。
技术介绍
1、医学图像分割是诊断疾病和评估肿瘤边界的重要工具。目前，基于深度学习的医学图像分割方法常常融合语言模态来提升分割的准确性。然而，这些方法只依赖于单一评估者对多模态数据的解读，这会带来个体评估者的偏见问题。在临床实际中，通常会采用多个评估者共同进行图像分割，以减少由个人偏好所引入的偏见，从而降低个体差异的影响。虽然多评估者学习策略在减少分割错误方面具有潜力，但由于评估者之间以及评估者自身的不一致性，这种方法在多模态医学图像分割领域中没有得到应用。评估者之间的诊断水平和经验的不同会导致评估者间的差异，而同一评估者在不同时间对同一图像区域进行分割时，也会出现内部差异。
技术实现思路
1、为克服现有技术不足，本专利技术提出一种基于多模态扩散模型的抗差异医学图像分割方法。实现了医学图像中的病灶分割。具体的步骤如下：
2、步骤1、实验数据的预处理，对采集到的医学影像数据进行预处理；
3、步骤2、构建医学图像分割网络mmdsn；
4、步骤3、训练mmdsn网络模型；
5、步骤4、利用完成训练的mmdsn网络模型进行多评估者推理。
6、所述步骤1具体包括以下步骤：
7、步骤1.1对医学图像进行裁剪；
8、步骤1.2对裁剪后的图像进行数据增强；
9、步骤1.3划分训练集、验证集和测试集。
10、所述步
11、步骤2.1构建文本编码器，从输入文本中提取语义信息；
12、对于输入的文本信息，我们首先进行分词，得到文本向量t。然后文本向量t经过文本编码器进行特征提取得到文本的高维表示文本编码器的具体结构如下：
13、首先，对于分词后得到的文本向量t会通过嵌入层被转换为固定大小的向量，同时，每个向量会被加上位置编码，从而得到嵌入向量。
14、进一步的，嵌入向量会经过transformer层，在这个层中，每个token都会关注输入序列中的其它所有token，并计算一个加权和，权重反映了其它token对当前token的重要性。
15、进一步的，transformer层的输出会通过层归一化，得到文本的高维表示，这个表示捕捉了文本中的语义信息。
16、步骤2.2图像前向加噪；
17、输入的医学影像掩膜x0会被高斯随机噪声扰动，并且迭代的添加噪声，使数据样本模糊和不确定，噪声添加过程如下：
18、
19、其中βt是用来调整高斯噪声的方差，i是单位矩阵，t是时间步，xt是原始图像掩膜x0加噪t个时间步后的图像。也可以使用x0直接获得第t个时间步的加噪图像，表示如下：
20、
21、
22、其中αt＝1-βt，且是标准高斯随机噪声。
23、步骤2.3构建图像特征提取头；
24、对于输入的医学影像x和加噪t个时间步的加噪图像掩膜xt，首先进行通道维度的拼接，然后将拼接后的图像送入图像特征提取头得到y0。图像特征提取头由卷积块组成。
25、步骤2.4构建u型视觉transformer分支，该分支由四层transformer编码器和四层transformer解码器组成；
26、具体来说，图像特征y0和文本特征送入第一层视觉transformer编码器，该编码器由视觉transformer组成。首先，输入图像y0被切分为n个大小相同的图像块，然后将每个图像块展平通过一个线性层转换为d维的向量。然后将y0与位置编码和文本特征相加，然后计算自我注意力后，经过层归一化得到每一层编码器的输出，记为y1_down,y2_down,y3_down,y4_down。
27、进一步的，第四层编码器的输出特征y4_down会依次经过第四层解码器、第三次解码器、第二次解码器和第一层解码器，解码器由双线性插值层和卷积层组成，每一层解码器都会有输出特征，记为
28、步骤2.5构建u型网络分支；
29、该分支由四层编码器、解码器和视觉图模块组成，用于预测当前第t个时间步的分割掩膜；具体来说，输入的图像特征y0会首先经过四层编码器，每一层编码器由残差块和下采样块组成。残差块结构如下：
30、首先对于输入的时间嵌入t，即加噪步数，首先经过silu激活函数和线性层得到时间向量。输入的图像特征y0会依次经过group normalization层、silu激活函数层和卷积层得到输出特征，然后输出特征与时间向量相加后再经过group normalization层、silu激活函数层和卷积层得到输出特征。最终特征再经过下采样得到该层编码器的输出特征，每一层编码器都会有输出特征，记为z1_down,z2_down,z3_down,z4_down。
31、u型网络分支第四层编码器输出特征与u型视觉transformer第四层解码器输出特征在送入u型网络分支第四层解码器之前，会送入视觉语言图模块进行特征融合，其中c和n是特征的维度表示，视觉语言图模块的具体结构如下：
32、首先计算z4_down与之间的亲和力矩阵，表示如下：
33、
34、其中是可学习的权重矩阵，是亲和力矩阵。
35、进一步的，对亲和力矩阵进行标准化，然后z4_down和经过图卷积神经网络进行特征提取，具体表示如下：
36、
37、
38、其中concat是通道维度的拼接操作，gcn是图卷积神经网络。然后z4_new与y4_new再进行通道维度的拼接，拼接后的特征会送入u型网络分支第四层解码器得到然后与再次送入视觉语言图模块进行特征融合，得到的融合特征会送入u型网络分支的第三层解码器。经过四次解码操作后，得到第t个时间步预测的原始图像掩膜解码器由残差块和上采样层组成。
39、步骤2.6潜在高斯分布建模，我们将第t个时间步预测的图像掩膜与医学影像x进行通道维度的拼接后，送入一个先验分布映射函数fθ，该函数将特征映射到一个高斯分布上，其均值为方差为表示如下：
40、
41、其中zq是先验高斯分布，fθ是先验分布映射函数，该函数由卷积层组成，生成先验高斯分布。
42、进一步的，我们将真实的原始图像掩码x0与医学影像x进行通道维度的拼接后，送入一个后验分布映射函数fη，该函数将特征映射到一个高斯分布上，其均值为μ(x0,x；fη)∈rn，方差为σ(x0,x；fη)∈rn×n。表示如下：
43、
44、其中zp是后验高斯分布，fη是后验分布映射函数，该函数由卷积层组成，生成后验高斯分布。
45、所述步骤3包括以下步骤：
46、步骤3.1计算mmdsn的损失函数，第一个损失函数是预测的掩码和真实掩码x0之间的均方本文档来自技高网...
【技术保护点】
1.一种基于多模态扩散模型的抗差异医学图像分割方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种跨模态跨域通用人脸伪造定位方法，其特征在于所述步骤2包括以下步骤：
3.根据权利要求2所述的一种基于多模态扩散模型的抗差异医学图像分割方法，其特征在于步骤2.5具体实现如下：
4.根据权利要求2所述的一种基于多模态扩散模型的抗差异医学图像分割方法，其特征在于步骤2.6具体实现如下：
5.根据权利要求1所述的一种跨模态跨域通用人脸伪造定位方法，其特征在于所述步骤3包括以下步骤：
6.根据权利要求1所述的一种跨模态跨域通用人脸伪造定位方法，其特征在于所述步骤4包括以下步骤：
【技术特征摘要】
1.一种基于多模态扩散模型的抗差异医学图像分割方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种跨模态跨域通用人脸伪造定位方法，其特征在于所述步骤2包括以下步骤：
3.根据权利要求2所述的一种基于多模态扩散模型的抗差异医学图像分割方法，其特征在于步骤2.5具体实现如下：
4...
【专利技术属性】
技术研发人员：王浩宇，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。