【技术实现步骤摘要】
本专利技术属于图像处理领域，尤其涉及一种基于配准增强和最优传输gan的dsa图像生成方法。
技术介绍
1、数字减影血管造影(dsa)图像是一种在血管造影中常用的技术。其通过对剪影前的dsa图像进行处理，生成剪影后的图像，只包含血管部分，以便于医生对病变进行观察和诊断。
2、公开号为cn109087306a的中国专利文献公开了动脉血管图像模型训练方法、分割方法，包括：s1、对获取到的dsa图像进行预处理，以构建动脉血管图像库；s2、对动脉血管图像库中的部分样本图像进行标注，以构建标注样本图像集；s3、构建卷积深度网络，并设置深度网络参数，生成初始动脉血管分割模型；s4、使用标注样本图像集训练初始动脉血管分割模型，生成动脉血管图像分割模型；s5、对于使用动脉血管图像分割模型分割动脉血管图像库中除部分样本图像之外的其他图像得到的血管目标图像，进一步进行标注，以对动脉血管图像分割模型进行迭代训练。
3、公开号为cn115439651a的中国专利文献公开了一种基于空间多尺度注意网络的dsa脑血管分割系统及方法；获取原始的dsa图像数据；对每一帧图像标注类别，标注出血管结构和非血管结构，制作dsa脑血管数据集；对图像进行预处理，分为测试集、训练集和验证集；将训练集的数据送入空间多尺度注意力网络模型中进行训练，调整模型训练过程的参数，通过验证集中的auc值选择出最好的模型；将测试集的图像分成局部图像块，通过筛选出的最好模型，测试测试集数据，并将预测结果重建，验证分割效果。
4、然而，采用现有的方法生成的图像
5、此外，现有技术也有采用生成对抗网络(gan)对剪影前的dsa图像进行处理，但是，传统的gan神经网络通常只关注像素级别的图像质量，忽视了图像的特征级别，导致生成的图像与真实图像的差距较大。
技术实现思路
1、本专利技术提供了一种基于配准增强和最优传输gan的dsa图像生成方法，使得网络能够生成质量更高的图像。
2、一种基于配准增强和最优传输gan的dsa图像生成方法，包括：
3、(1)收集剪影前、后的dsa图像数据集；
4、(2)构建生成器
5、输入图像进入生成器后经过不同大小的卷积核进行卷积操作，得到一系列包含全局信息的特征图；将特征图切割成一系列的小块并通过线性变换得到一系列特征向量vi；
6、将特征向量vi输入自适应注意力机制后得到每个小块i对应的注意力结果zi，将这些结果zi投影到一个共享表示空间后进行加权求和，得到整合所有尺度信息的表示z，最后再通过前馈神经网络得到生成器的输出生成的图像g；
7、(3)构建判别器
8、计算生成图像g与真实图像r之间的光流图fgr，将生成图像g根据光流图fgr进行空间扭曲，将扭曲后生成的图像gwarp和真实图像分别输入到一个深度卷积网络进行特征提取；采用最优传输度量函数来度量两个提取特征之间的相似性；
9、(4)构建损失函数，利用dsa图像数据集对生成器和判别器进行训练；
10、(5)将待剪影的dsa图像输入训练好的生成器，生成剪影后的图像。
11、步骤(2)中，每个小块patch通过一个线性变换被投影到一个高维空间，得到一系列的特征向量vi，公式如下：
12、vi＝linertransform(patchi(x))
13、式中，x表示生成器输出的包含全局信息的特征图，linertransform表示线性变换函数。
14、步骤(2)中，得到每个小块i对应的注意力结果zi的具体过程为：
15、首先利用transformer模块计算原始的注意力矩阵m，然后将其作为一个线性变换的输入，进行特征值分解得到特征值λ和特征向量u，λ和u描述了这个线性变换在不同方向上的拉伸和旋转；
16、使用sigmoid函数将特征值λ转换为0-1之间的数，得到自适应权重a；用这些自适应权重线性组合原始的特征向量，得到新的注意力矩阵m′；利用新的注意力矩阵m′进一步计算得到每个小块i对应的注意力结果zi。
17、’具体公式为：
18、qi＝wq*vi,ki＝wk*vi,vi＝wv*vi
19、
20、λ,u＝eigendecomposition(m)
21、a＝sigmoid(fc(λ))
22、m′＝u*a*ut
23、zi＝attention(qi,ki,vi)＝softmax(m′)vi
24、式中，vi是第i个小块对应的向量，wq,wk,wv是权重矩阵，qi,ki,vi分别代表query、key、value向量,dk是key的维度，eigendecomposition代表特征值分解，m是原始的注意力矩阵，λ和u代表特征值和特征向量，a是自适应权重，fc代表全连接层，m′代表新的注意力矩阵，attention(qi,ki,vi)代表新的自适应注意力机制。
25、得到整合所有尺度信息的表示z的过程为：
26、将所有注意力结果zi通过一个可学习的线性变换投影到一个共享的表示空间，该表示空间具有固定的维度，不受输入尺度的影响；并进行加权求和后得到一个整合所有尺度信息的表示，该过程可用以下公式表示
27、z′＝wz*concat(z1,z2,…,zn)
28、z＝∑αi*z′
29、其中，z′是投影后的表示，z是最终的整合表示。
30、步骤(3)中，采用最优传输度量函数来度量两个提取特征之间的相似性具体为：
31、首先计算每个特征表示的相关矩阵，公式如下：
32、cm(gwarp)＝h(gwarp)*h(gwarp)t
33、cm(r)＝h(r)*h(r)t
34、式中，将深度卷积网络记作h，对齐后的生成图像的特征表示h(gwarp)和真实图像的特征表示h(r)；
35、将相关矩阵cm(gwarp)和cm(r)视为概率分布，采用最优传输度量函数ot来度量这两个分布之间的差异，计算公式如下：
36、ot(cm(gwarp),cm(r))＝mintr＜tr,mc>
37、式中，<.,.>代表矩阵的内积，tr是一个运输矩阵，满足所有元素非负且每行和每列都为1，mc是成本矩阵，代表了将对齐后的生成图像gwarp的特征转移到真实图像r的特征所需要的成本。
38、步骤(3)中，采用最优传输度量函数ot作为损失函数，以此来评估生成图像的得分sg，计算公式如下：
39、sg＝ot(cm(gwarp),cm(r))
40、最优传输度量函数ot中，通过sinkhorn迭代算法迭代地规范化tr的行和列来求解tr，直到达到一个稳定状态本文档来自技高网...
【技术保护点】
1.一种基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，包括：
2.根据权利要求1所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(2)中，每个小块patch通过一个线性变换被投影到一个高维空间，得到一系列的特征向量vi，公式如下：
3.根据权利要求1所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(2)中，得到每个小块i对应的注意力结果Zi’的具体过程为：
4.根据权利要求3所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，得到每个小块i对应的注意力结果Zi的公式为：
5.根据权利要求4所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，得到整合所有尺度信息的表示Z的过程为：
6.根据权利要求1所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(3)中，采用最优传输度量函数来度量两个提取特征之间的相似性具体为：
7.根据权利要求6所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征
8.根据权利要求7所述的基于配准增强和最优传输GAN的DSA图像生成方法，其特征在于，步骤(4)中，还采用均方误差损失、感知损失以及结构相似性损失的组合作为损失函数。
...【技术特征摘要】
1.一种基于配准增强和最优传输gan的dsa图像生成方法，其特征在于，包括：
2.根据权利要求1所述的基于配准增强和最优传输gan的dsa图像生成方法，其特征在于，步骤(2)中，每个小块patch通过一个线性变换被投影到一个高维空间，得到一系列的特征向量vi，公式如下：
3.根据权利要求1所述的基于配准增强和最优传输gan的dsa图像生成方法，其特征在于，步骤(2)中，得到每个小块i对应的注意力结果zi’的具体过程为：
4.根据权利要求3所述的基于配准增强和最优传输gan的dsa图像生成方法，其特征在于，得到每个小块i对应的注意力结果zi的公式为：
5.根据权利要求4所述的基于配准增...
【专利技术属性】
技术研发人员：俞刚，舒力琪，黄坚，马晓辉，周昊天，张志诚，张有健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。