【技术实现步骤摘要】
本专利技术涉及医学图像融合领域，具体是一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法。
技术介绍
1、医学图像融合(mif)方法在精确诊断和治疗计划管理中发挥着重要作用，而医学图像融合质量评估(mifqa)在提高mif性能方面具有积极作用。然而，对医学先验知识和参考图像的巨大需求是mifqa领域的一个重要挑战。同时，由于医学图像的特殊性，现有的图像质量评估方法的结果并不令人满意。
技术实现思路
1、本专利技术设计一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，通过将放射科医生的医生视觉感知分数dvps与源图像融合，引导模型生成每种质量的一个参考图像。然后，在少镜头学习下，将未标记融合图像以及参考图像输入到我们提出的基于类激活映射cam的类注意力暹罗网络casnet中，以充分探索有限参考图像中的信息。它可以强制引导模型聚焦于关键病变区域，有效降低mifqa对医学融合图像的依赖性。
2、一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，包括图像生成阶段和图像质量评价阶段：
3、图像生成阶段，引入融合图像的医生视觉感知分数dvps，基于质量感知网络学习源图像、融合图像和dvps的关系，然后，在质量感知网络中输入dvps以及2张同位置同角度不同模态的源图像一和源图像二，生成不同dvps的参考图像，
4、融合图像质量评价阶段，在少镜头学习下，将未标记融合图像以及参考图像输入到基于类激活映射的类注意力暹罗网
5、优选的，医生视觉感知分数dvps为1-5的量化数字得分，满足下式：
6、
7、其中，round()表示四舍五入取整函数，p1表示经验丰富的主任医师一给出图像的质量状况评分，p2表示经验丰富的主任医师二给出图像的质量状况评分，p3表示在p1和p2差异大于2时，引入的经验丰富的主任医师三给出图像的质量状况评分，p1、p2、p3均为1、2、3、4和5中的一个。
8、进一步的，在质量感知网络中，输入通道扩展为9个，分别用于输入dvps、源图像一、源图像二，输出通道扩展为3个，分别用于捕捉dvps、纹理信息和形状特征。
9、进一步的，质量感知网络包括生成器g和鉴别器d，生成器g生成具有不同dvps的融合图像，从而为融合图像质量评价阶段提供支持集，鉴别器d通过比较生成的图像和真实图像，提供图像质量的反馈，通过生成器g和鉴别器d的协同训练，不断优化生成模型。
10、优选的，生成器公式为：
11、ig＝g(dvps，si1，si2)
12、其中，ig表示g生成的图像，si1和si2表示源图像一和源图像二，即为相同位置相同角度的不同模态的两张图像，
13、生成器g的损失函数包括功能性损失和解剖学损失：
14、lg＝lfun+αlana
15、这里lg为生成器的损失函数，α为生成器损失权衡因子，它调控着功能性损失lfun和解剖学损失lana之间的权衡关系，
16、其中，功能性损失计算生成器g生成的图像与对应dvps融合图像之间的l1距离，具体公式为：
17、
18、其中，lfun表示功能性损失，n表示图像数量，if表示对应dvps的融合图像，|·|1表示l1距离，ζ表示图像差异平衡参数，ξ表示图像差异平衡度参数，
19、解剖学损失计算生成图像和对应dvps融合图像之间的图像结构感知度量，具体公式为：
20、lana＝1-γispm(if，ig)
21、其中，lana表示解剖学损失，γ表示感知度量权重，ispm表示图像结构感知度量。
22、优选的，ispm参照下式计算：
23、
24、其中，μx和μy分别表示图像x和y的平均亮度，和分别表示图像x和y的亮度方差，σxy表示图像x和y的协方差，c1、c2、c3、c4、m、n、p是分别是亮度平滑度调整项、对比度平滑度调整项、协方差平滑度调整项、方差平滑度调整项、亮度调整偏移项、协方差调整偏移项、方差调整偏移项。
25、进一步的，鉴别器的损失函数使用均方误差ld计算，如下：
26、
27、其中，fi表示第i张图像特征输出的真实值，表示第i张图像特征输出的预测值，对于真实图像输入，fi是14×14的全为1的矩阵，对于g生成的图像输入，fi14×14的全为0的矩阵。
28、进一步的，融合图像质量评价阶段对骨干网络vgg11进行优化，形成了vgg11-ch，通过两个具有相同结构vgg11分支能够有效利用各自在训练过程中获得的不同特征，使得网络通过特征提取捕捉融合图像中关键信息差异，以准确评估和量化融合图像的质量，
29、同时，将vgg11-ch最后一个卷积层的权重矩阵wf视为卷积核，对vgg-bn的输出结果fmap进行1×1的卷积操作，引入了权重的空间分布，类激活映射cam模块根据输入图像的内容自动调整权重矩阵，通过在特征图的不同位置赋予不同的权重，以更好地捕捉医学图像中各个区域的关键特征。
30、优选的，剔除了vgg11的最后两层，以简化网络结构，并将这一部分命名为vgg11-bn；然后，引入了全局平均池化层gap，通过计算每个特征图的平均值，将二维数据压缩成一维数据，从而减少计算复杂度，在捕获图像全局信息的同时降低了网络的参数量；最后，采用了两个全连接层，将gap得到的特征映射到预测输入图像的dvps。
31、优选的，将图像生成阶段生成的融合图像作为支持集，记为frf|dvps＝i，i∈[1，2，3，4，5]，frf表示生成器生成的融合图像，dvps表示医生视觉感知分数。
32、在质量评价的过程中，需要将查询集的图像分别与支持集的每张图像一起输入到类注意力暹罗网络中，通过计算查询集与支持集中各图像的距离来预测无标签融合图像的dvps值：
33、dvps＝min||fq，frf|dvps＝i||，i∈[1，2，3，4，5]
34、其中，fq表示查询集的图像，||··||表示欧氏距离。
35、与现有技术相比，本专利技术的有益效果：
36、本专利技术设计一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，通过将放射科医生的医生视觉感知分数dvps与源图像融合，引导模型生成每种质量的一个参考图像。然后，在少镜头学习下，将未标注融合图像以及参考图像输入到我们提出的基于类激活映射cam的类注意力暹罗网络casnet中，以充分探索有限参考图像中的信息。它可以强制引导模型聚焦于关键病变区域，有效降低mifqa对医学融合图像的依赖性。
37、1、本专利技术不仅在第一阶段通过质量感知网络生成接近医生感知的参考图像，还在第二阶段强调关键病变区域，此外，由于引入了少镜头学习，网络对本文档来自技高网...
【技术保护点】
1.一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于，包括图像生成阶段和图像质量评价阶段：
2.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
3.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
4.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
5.根据权利要求4所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
6.根据权利要求5所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
7.根据权利要求6所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
8.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
9.根据权利要求8所述的一种质量感知网络与类注意力
10.根据权利要求9所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
...【技术特征摘要】
1.一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于，包括图像生成阶段和图像质量评价阶段：
2.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
3.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
4.根据权利要求1所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：
5.根据权利要求4所述的一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，其特征在于：...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。