医学图像感兴趣区域可视化方法、装置、存储介质和设备制造方法及图纸

本发明专利技术公开了一种医学图像感兴趣区域可视化方法、装置、存储介质和设备，使用卷积神经网络作为分类模型，模型的训练过程中，采用多尺度输入数据进行训练：1)原始图像，2)由原始图像上随机取得的图像块；随机提取的图像块和原始图像交替作为模型的输入，模型可以综合学习来自图像不同尺度的输入信息，模型也可以学习到图像的整体信息。训练标签采用精神疾病标签类别，即模型输出为健康、精神分裂症、双相情感障碍等。本方案利用特定的训练策略，实现模型对图像局部信息和整体信息的融合，实现图像的快速、精确分类，同时可以实现相比现有方法更加精细的对于指定类别的感兴趣区域可视化结果。

【技术实现步骤摘要】
医学图像感兴趣区域可视化方法、装置、存储介质和设备
本专利技术涉及图像数据分析技术，尤其涉及一种医学图像感兴趣区域可视化方法、装置、存储介质和设备。
技术介绍
目前基于深度学习，尤其是卷积神经网络(Convolutionneuralnetwork，CNN)的图像分类方法是图像分析领域的主流研究方法之一，且已在多种应用场景中取得很好效果，但是在细粒度图像分类任务中，CNN等深度学习算法的性能仍有待提升。以基于大脑结构磁共振图像的精神疾病分类任务为例，由于大脑的解剖结构较为复杂，精神疾病对大脑结构的影响相对较为细微，同时与肿瘤、脑卒中等具有确切病灶的疾病不同，精神疾病对大脑的影响往往分布于大脑中的多个位置，因此对于精神疾病的诊断任务而言，全脑结构磁共振图像具有大量的冗余信息，因此直接将全脑结构磁共振图像作为深度学习模型的输入，很难实现精神疾病的精确诊断。针对此问题，目前最新的研究提出利用先验信息，定位出特定图像区域，该特定图像区域根据先验被认为是与分类标签高度相关的图像区域，如痴呆症诊断任务中的大脑磁共振图像中的海马体区域、汽车品牌分类任务中的车标区域等。将定位区域作为图像块提取出来，作为深度学习模型的输入，进行分类。这种策略可以很大程度上减少原始图像中的冗余信息，从而提升分类精度。但上述策略存在四个问题：1)需要预先人工定义图像感兴趣区域，对于一些难分类的图像(如精神分裂症患者的大脑结构磁共振图像)很难预先精确定义哪些特定的图像区域发生病变；2)对于不同图像，很难确定包含感兴趣区域的图像块的大小，因此感兴趣区域可能超出预定义图像块的范围，或包含在多个图像块中，因此造成分类相关特征的缺失或割裂；3)定义好感兴趣区域后，在每个图像数据上提取感兴趣区域，需要目标检测算法的协助，因此目标检测算法的精度将极大地决定后续分类模型的性能；4)预定义的感兴趣区域彼此之间可能存在关联，因此直接提取出感兴趣区域进行分类，将导致这种潜在关联信息的丢失，从而没有实现数据的有效利用。深度学习分类模型的一个弊端在于其难解释性，即很难给出模型进行推理判断具体依据哪些特征。为解决此问题，目前最新的研究采用类别激活图(Classactivationmap，CAM)和基于梯度的类别激活图(Gradient-basedCAM，Grad-CAM)的策略，即利用网络模型全连接层的神经元权重、或各通道特征图的平均值为网络每个通道的梯度激活情况进行加权，得到模型对于每幅输入图像的特定类别标签的响应情况，以此来可视化深度学习模型对图像的哪些区域做出较大响应。目前，CAM和Grad-CAM广泛应用于图像处理的各个领域，但此类方法需要利用深度神经网络模型中下采样得到的特征图上的梯度激活情况，因此可视化过程中需要大比例的上采样操作，因此得到的类别激活图较为模糊，如果应用场景需要精细的解释(如医学影像分析中需要接近体素级别的可视化)，CAM类方法无法得到较为精细的可视化结果。综上，现有技术的模型对图像局部信息和整体信息的融合差，对图像的分类速度和精确低；对于制定类别的感兴趣区域可视化结果精细度不高。亟需一种对图像分类及感兴趣区域可视化的高速、高精度方法。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种医学图像感兴趣区域可视化方法、装置、存储介质和设备，其能解决上述问题。本专利技术的目的采用以下技术方案实现。一种医学图像自动分类及感兴趣区域可视化方法，方法包括：步骤1，建立分类模型；步骤2，从训练数据中的一个原始图像上任意位置随机提取一个任意尺寸的图像块作为模型的输入进行训练；步骤3，将步骤2中的原始图像整幅作为模型的输入进行训练，获匹配该图像块的类别标签并确定相应的权值；步骤4，改变步骤2中原始图像的选取位置，提取任意尺寸的图像块作为模型的输入进行训练；步骤5，再将步骤2中的原始图像整幅作为模型的输入进行训练；步骤6，重复步骤4和步骤5，选取的图像块的位置遍历整个原始图像，通过迭代训练学习图像全局及不同位置的局部纹理信息，获得训练好的生成器；步骤7，验证测试，加载所述训练好的生成器，从原始图像中随机取T个图像块，使采样得到的图像块集合可以有重叠地覆盖整幅图像，通过融合每个图像块中的激活图，得到原始图像X针对类别标签c的感兴趣区域激活图Lc(X)；步骤8，通过原始图像X的感兴趣区域激活图Lc(X)实现神经网络对于输入测试图像各个类别的激活情况，标记出神经网络的感兴趣区域，实现神经网络的可视化。优选的，在步骤1中，采用卷积神经网络作为分类模型。优选的，图像块尺寸采用正方体尺寸块。优选的，训练标签采用精神疾病标签类别，模型输出为健康、精神分裂症、和双相情感障碍。优选的，疾病标签类别c，神经网络对于相应图像块的感兴趣区域激活图lc(x）为：式中：fk(x)为输入图像块为x时，卷积神经网络最后一层卷积层输出的k个通道的特征图；为最后一层卷积层k个特征通道上，对于标签类别c的梯度值的平均值，作为各特征图的权重；ReLU(·)为线性整流单元激活函数；Upsamp(·)为上采样操作，即将按通道加权求和后的特征图尺寸上采样至输入图像块的尺寸。优选的，原始图像X的感兴趣区域激活图Lc(X)为：式中：lc(xt)为根据式1计算得到的第t个图像块的感兴趣区域激活图；为将第t个图像块的感兴趣区域激活图lc(xt)按照xt在原始图像X上的空间位置复制至一与原始图像X具有相同尺寸的空白图像的操作；为卷积神经网络模型将图像块xt预测为类别c的概率，在神经网络中即为阈值化操作前的输出层输出结果，将其作为第t个图像块的感兴趣区域激活图lc(xt)的权重；°为哈达玛积、即矩阵图像对应位置元素相乘；为重叠情况记录矩阵，其大小与原始图像X相同，其每个元素为前述图像对应位置上粘贴操作的重叠次数的倒数。本专利技术还提供了一种识别医学图像的装置，所述装置包括：图像获取模块，用于获取医学图像；图像处理模块，通过图像处理方法对医学图像进行初步处理为便于学习的二值化图像；区域提取模块，对处理后的二值化图像进行形态学随机块选取处理以得到感兴趣区域；可视化分类标识，通过前述方法训练的卷积神经网络模型对感兴趣区域进行识别。本专利技术还提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述的方法。本专利技术还提供了一种电子设备，设备包括：处理器和存储器；所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实施前述的方法。相比现有技术，本专利技术的有益效果在于：1.利用特定的训练策略，实现模型对图像局部信息和整体信息的融合，实现图像的快速、精确分类；2.提供一种新的深度学习可视化方法，可以实现相比现有方法更加精细的对于指定类别的感兴趣区域可视化结果。附图说明图1为本专利技术图像分类及可视化系统的训练及测试示意图。具体实施方式<本文档来自技高网...

【技术保护点】
1.一种医学图像感兴趣区域可视化方法，其特征在于，方法包括：/n步骤1，建立分类模型；/n步骤2，从训练数据中的一个原始图像上任意位置随机提取一个任意尺寸的图像块作为模型的输入进行训练；/n步骤3，将步骤2中的原始图像整幅作为模型的输入进行训练，获匹配该图像块的类别标签并确定相应的权值；/n步骤4，改变步骤2中原始图像的选取位置，提取任意尺寸的图像块作为模型的输入进行训练；/n步骤5，再将步骤2中的原始图像整幅作为模型的输入进行训练；/n步骤6，重复步骤4和步骤5，选取的图像块的位置遍历整个原始图像，通过迭代训练学习图像全局及不同位置的局部纹理信息，获得训练好的生成器；/n步骤7，验证测试，加载所述训练好的生成器，从原始图像中随机取T个图像块，使采样得到的图像块集合可以有重叠地覆盖整幅图像，通过融合每个图像块中的激活图，得到原始图像X针对类别标签c的感兴趣区域激活图L

【技术特征摘要】
1.一种医学图像感兴趣区域可视化方法，其特征在于，方法包括：
步骤1，建立分类模型；
步骤2，从训练数据中的一个原始图像上任意位置随机提取一个任意尺寸的图像块作为模型的输入进行训练；
步骤3，将步骤2中的原始图像整幅作为模型的输入进行训练，获匹配该图像块的类别标签并确定相应的权值；
步骤4，改变步骤2中原始图像的选取位置，提取任意尺寸的图像块作为模型的输入进行训练；
步骤5，再将步骤2中的原始图像整幅作为模型的输入进行训练；
步骤6，重复步骤4和步骤5，选取的图像块的位置遍历整个原始图像，通过迭代训练学习图像全局及不同位置的局部纹理信息，获得训练好的生成器；
步骤7，验证测试，加载所述训练好的生成器，从原始图像中随机取T个图像块，使采样得到的图像块集合可以有重叠地覆盖整幅图像，通过融合每个图像块中的激活图，得到原始图像X针对类别标签c的感兴趣区域激活图Lc(X)；
步骤8，通过原始图像X的感兴趣区域激活图Lc(X)实现神经网络对于输入测试图像各个类别的激活情况，标记出神经网络的感兴趣区域，实现神经网络的可视化。


2.根据权利要求1所述的方法，其特征在于：在步骤1中，采用卷积神经网络作为分类模型。


3.根据权利要求1所述的方法，其特征在于：图像块尺寸采用正方体尺寸块。


4.根据权利要求1所述的方法，其特征在于：训练标签采用精神疾病标签类别，模型输出为健康、精神分裂症、和双相情感障碍。


5.根据权利要求1或4所述的方法，其特征在于：疾病标签类别c，神经网络对于相应图像块的感兴趣区域激活图lc(x)为：



式中：
fk(x)为输入图像块为x时，卷积神经网络最后一层卷积层输出的k个通道的特征图；

为最后一层卷积层k个特征...

【专利技术属性】
技术研发人员：李青峰，
申请(专利权)人：上海市精神卫生中心上海市心理咨询培训中心，
类型：发明
国别省市：上海;31