【技术实现步骤摘要】
本专利技术涉及图像识别领域，尤其涉及使用超分辨率技术增强医学图像机器视觉的方法和系统。
技术介绍
1、医学图像指采用医学影像设备，不侵入人体地获取患者内部器官或组织的详细信息。这些图像蕴含丰富的生理、解剖和病理信息，对于诊断患者的病状、制定治疗方案和进行医学研究具有重要意义。特别是高质量的医学图像，能够提供更加精确的细节信息，显著提高病理诊断的准确率，准确识别病灶位置，并深入了解患处的具体情况。超分辨率技术在图像领域的早期应用主要是自然图像。随着深度学习方法在自然图像超分辨率技术中的不断进步，其方法也开始被应用于医学图像，例如edsr、srgan、rcan、swinir等经典网络，已经展现出了巨大的应用潜力。
2、利用深度学习中基于卷积的方法，医学图像超分辨率技术已经取得了显著的性能提升，不仅在人类视觉效果上表现出色，而且在客观评价指标上也有很好的表现。但是在医学领域，图像处理的目标并非仅仅是图像质量的提升，而是更注重于图像对于确切的诊断任务的贡献，这导致目前基于深度学习的医学图像超分辨率仍面临着一些挑战，例如：
3、1.目前大多数技术依然过于关注重建高质量图像，而忽视了这些图像是否真正有助于提升机器视觉任务(具体的医疗诊断分析，如分类、分割、检测等)的性能；
4、2.医学图像和自然图像在图像特征、图像模态、信噪比等方面存在显著的差异，因此在设计网络时需要更有针对性地利用这些差异进行设计；
5、3.由于日渐复杂的网络设计、较小规模的公开医学图像数据，在训练大量参数的模型时可能遇到慢
技术实现思路
1、为了克服上述技术缺陷，本专利技术要解决的技术问题体现在以下几点：
2、1.本专利针对医学图像超分辨率缺少对机器视觉任务性能提升关注的问题提出机器视觉增强的两阶段医学图像超分辨率框架设计，在保留重建图像人类视觉效果的基础上增强机器视觉效果，提升机器视觉任务性能；
3、2.本专利针对医学图像和自然图像差异的问题提出在基于医学图像预训练的超分辨率网络基础上进行微调和框架的设计，同时在加入自适应的多尺度信息提取设计，使模型可以更有针对性地学习医学图像的特征；
4、3.本专利针对参数量大的模型训练收敛速度较慢的问题提出改进的多样本对比学习策略，同时也有利于提升超分辨率网络重建质量。
5、为此，本专利技术的一个方面提供使用超分辨率技术增强医学图像机器视觉的方法，包括以下步骤：
6、步骤1：制作低分辨率-高分辨率图像对，所述图像对是由低分辨率图像、高分辨率图像、标签组成，其中标签为0或1，包括以下步骤：
7、步骤1.1：获取医学图像原图以及对应健康状况，将健康和疾病两类的标签分别记作0和1，作为真实标签；
8、步骤1.2：将医学图像原图裁剪并保留有助于机器视觉任务的关键信息，作为高分辨率图像，按照给定尺度、使用双三次下采样方法得到低分辨率图像，结合真实标签，组成“低分辨率图像、高分辨率图像、标签”图像对，记作图像对a；
9、步骤1.3：将医学图像原图作为高分辨率图像，按照给定尺度、使用双三次下采样方法得到低分辨率图像，结合真实标签，组成“低分辨率图像、高分辨率图像、标签”图像对，记作图像对b；
10、步骤2：利用图像对a中的医学图像训练一个分类器，所述分类器用于预测输入图像内容标签，输出结果为患病概率；
11、步骤3：在经典网络基础上设计超分辨率网络；
12、步骤3.1：在网络头部，增加多尺度信息提取模块提取特征，保留和增强输入图像的局部信息和整体信息；
13、步骤3.2：在网络尾部，将网络生成的超分辨率图像和输入的低分辨率图像在通道维度进行连接，利用两个卷积分支分别得到动态归一化的两个参数，使用该参数修正超分辨率图像的信息分布，得到最终的超分辨率图像；
14、步骤4：将图像对a、b中的低分辨率图像输入超分辨率网络进行训练，利用生成的超分辨率图像和对应的高分辨率图像计算超分辨率网络损失，对超分辨率网络进行优化，得到预训练超分辨率网络，包括以下步骤：
15、步骤4.1：图像对a的低分辨率图像输入超分辨率网络后处理得到对应的超分辨率图像，其中保留了图像中关键信息；
16、步骤4.2：将图像对b中的低分辨率图像裁剪为适当尺寸的图像分块，经过数据增强操作处理后，分批输入超分辨率网络，得到对应的超分辨率图像；
17、步骤4.3：利用由图像对a、图像对b生成的超分辨率图像和对应的高分辨率图像计算超分辨率网络损失，使用该损失对超分辨率网络进行优化，得到预训练的超分辨率网络；
18、步骤5：设计图像超分辨率模型，包括步骤4中预训练的超分辨率网络，和步骤2中预训练的分类器；将图像对a、b的低分辨率图像输入模型，由生成的超分辨率图像、对应的高分辨率图像和预测类别、真实标签计算总损失，对超分辨率网络的参数进行微调，包括以下步骤：
19、步骤5.1：图像对a的低分辨率图像输入超分辨率网络得到对应的超分辨率图像sra，将sra输入分类器，利用预测标签和真实标签计算分类损失；
20、步骤5.2：图像对b裁剪为图像分块，并经过数据增强操作处理后，输入超分辨率网络，利用该超分辨率图像和对应的高分辨率图像计算超分辨率网络损失；
21、步骤5.3：使用图像对a中的高分辨率图像作为正样本，当前一轮生成的sra作为锚定样本，间隔了固定轮数的生成的sra作为负样本，利用小波变换分别提取高频信息，再利用分类器的各卷积层转换为对应的特征表示，在该过程中保留相应样本每层的特征表示，计算多个正样本特征、锚定样本特征、负样本特征之间的多样本对比损失；
22、步骤5.4：使用分类损失、超分辨率网络损失、多样本对比损失的加权总损失优化超分辨率网络；
23、步骤6：在测试阶段，将图像对a中用于测试的低分辨率图像输入图像超分辨率模型，由第一阶段的超分辨率网络得到超分辨率图像，将其输入第二阶段的分类器得到预测类别。
24、进一步的，所述步骤2中训练过程中将低分辨率和对应的标签输入分类器，利用预测标签和真实标签计算交叉熵损失函数，通过adam算法优化分类器参数，得到一个二分类的分类器，并保存为预训练的分类器。
25、进一步的，步骤3.1中所述多尺度信息提取模块为使用googlenet中的inception模块，使用残差连接将输入图像和模块得到的特征利用可学习的参数在通道维度进行加权融合，得到提取后的特征。
26、进一步的，所述步骤4中训练超分辨率网络过程中，利用图像对中的高分辨率图像和生成的超分辨率图像计算超分辨率网络损失，通过adam算法优化网络参数，并保存经过预训练的超分辨率网络。
27、进一步的，所述步骤5.2中所述超分辨率网络损失包括l1损失、感知损失，但不包括对比损失。
28本文档来自技高网...
【技术保护点】
1.使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，所述步骤2中训练过程中将低分辨率和对应的标签输入分类器，利用预测标签和真实标签计算交叉熵损失函数，通过Adam算法优化分类器参数，得到一个二分类的分类器，并保存为预训练的分类器。
3.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，步骤3.1中所述多尺度信息提取模块为使用GoogleNet中的Inception模块，使用残差连接将输入图像和模块得到的特征利用可学习的参数在通道维度进行加权融合，得到提取后的特征。
4.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，所述步骤4中训练超分辨率网络过程中，利用图像对中的高分辨率图像和生成的超分辨率图像计算超分辨率网络损失，通过Adam算法优化网络参数，并保存经过预训练的超分辨率网络。
5.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，所述步骤5.2中所
6.使用超分辨率技术增强医学图像机器视觉的系统，其特征在于，包括准备模块，分类器模块，超分辨率网络模块，网络训练模块，模型训练模块，和测试模块，其中：
7.根据权利要求6所述的使用超分辨率技术增强医学图像机器视觉的方法和系统，其特征在于，所述分类器模块中训练过程中将低分辨率和对应的标签输入分类器，利用预测标签和真实标签计算交叉熵损失函数，通过Adam算法优化分类器参数，得到一个二分类的分类器，并保存为预训练的分类器。
8.根据权利要求6所述的使用超分辨率技术增强医学图像机器视觉的方法和系统，其特征在于，头部组件中所述多尺度信息提取模块为使用GoogleNet中的Inception模块，使用残差连接将输入图像和模块得到的特征利用可学习的参数在通道维度进行加权融合，得到提取后的特征。
9.根据权利要求6所述的使用超分辨率技术增强医学图像机器视觉的方法和系统，其特征在于，所述网络训练模块中训练超分辨率网络过程中，利用图像对中的高分辨率图像和生成的超分辨率图像计算超分辨率网络损失，通过Adam算法优化网络参数，最终保存一个预训练网络。
10.根据权利要求6所述的使用超分辨率技术增强医学图像机器视觉的方法和系统，其特征在于，所述网络损失组件中，所述超分辨率网络损失包括L1损失、感知损失，但不包括对比损失。
...【技术特征摘要】
1.使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，所述步骤2中训练过程中将低分辨率和对应的标签输入分类器，利用预测标签和真实标签计算交叉熵损失函数，通过adam算法优化分类器参数，得到一个二分类的分类器，并保存为预训练的分类器。
3.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，步骤3.1中所述多尺度信息提取模块为使用googlenet中的inception模块，使用残差连接将输入图像和模块得到的特征利用可学习的参数在通道维度进行加权融合，得到提取后的特征。
4.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，所述步骤4中训练超分辨率网络过程中，利用图像对中的高分辨率图像和生成的超分辨率图像计算超分辨率网络损失，通过adam算法优化网络参数，并保存经过预训练的超分辨率网络。
5.根据权利要求1所述的使用超分辨率技术增强医学图像机器视觉的方法，其特征在于，所述步骤5.2中所述超分辨率网络损失包括l1损失、感知损失，但不包括对比损失。
6.使用超分辨率技术增强医学图像机器视觉的系统...
【专利技术属性】
技术研发人员：黄飞跃，朱立峰，柏志安，孟煜祥，
申请(专利权)人：上海交通大学医学院附属瑞金医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。