一种可解释的癌症病理切片图像识别方法、装置及计算机设备制造方法及图纸

本发明专利技术属于医学图像处理领域，涉及一种可解释的癌症病理切片图像识别方法、装置及计算机设备；所述方法包括获取癌症病理切片的高分辨率医学图像，并处理成图像块；将图像块输入特征提取网络中，提取出特征向量；将第一图像块的特征向量输入到图像识别网络中进行预训练；将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图；利用稀疏表示方法优化，并对优化后的第一可解释热力图进行判断；按照判断结果重新训练图像识别网络；将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。本发明专利技术使得高分辨率图像能够在模型中进行预测并提供专业的可解释结果，实现了数据与医学领域知识的双向交互。领域知识的双向交互。领域知识的双向交互。

【技术实现步骤摘要】
一种可解释的癌症病理切片图像识别方法、装置及计算机设备


[0001]本专利技术属于医学图像处理领域，具体涉及一种可解释的癌症病理切片图像识别方法、装置及计算机设备。

技术介绍

[0002]随着全切片扫描技术的发展，大量组织切片被扫描为全视野数字病理切片(Wholeslide image,WSI)，以数字化的形式存储，通过使用机器学习算法、深度学习算法等人工智能(Artificial Intelligence，AI)方法，将计算机运用于病理切片分析之中，能够借助计算机的算力优势在大量WSI上进行学习，并使用训练所得的模型对WSI进行分析，将结果可视化后辅助医生进行诊断，从而充分利用WSI中包含的丰富图像信息。
[0003]目前，利用AI方法对病理切片分析的过程中，主要是将扫描获得的高分辨率的癌症肿瘤切片作为数据集以一种弱监督的方式训练模型，最后通过模型能够对一张病例切片的肿瘤类型进行预测打分，并且能生成每张切片的注意力得分，根据得分可以来判断肿瘤的最有可能的来源的位置。
[0004]然而，在AI医疗中，合格的分析识别系统必须是透明的、可解释的、可理解的，这样才能获得病人和医生的信任。分析识别系统的可解释性即为对应的神经网络模型可解释性，而解释就是需要使用某种语言来描述和注解。对于神经网络模型在实践中经常会有预测的错误，但是这种错误的来源是不清楚的，需要解释这种错误，从而有助于解决这种错误改进模型。同时将端到端的深度学习模型从医学癌症切片推测出癌症发病位置以及癌症类型的结果使用到临床诊断结果存在局限性问题，这些局限性问题大部分也是源于黑匣子模型取法可解释性。

技术实现思路

[0005]为解决以上现有技术存在的问题，本专利技术提出了一种可解释的癌症病理切片图像识别方法、装置及计算机设备，给出了一种基于人机交互学习的病理切片癌症可解释判别模型，改进了传统的模型，提供了一种新的模型可解释框架，改进的模型可解释框架包括p1、p2、p3和p4四个部分，p1为对高分辨率医学图像进行处理，p2为高分辨率医学图像的训练过程，p3为基于人机交互学习的可解释学习，p4为对可解释结果的稀疏学习，通过四个部分来优化癌症病理切片图像识别结果和可解释结果。
[0006]在本专利技术的第一方面，本专利技术提供了一种可解释的癌症病理切片图像识别方法，所述方法包括：
[0007]获取癌症病理切片的高分辨率医学图像，对其进行预处理划分为统一尺寸的图像块；并将来自于预测训练集、解释训练集和测试集的高分辨率医学图像对应处理为第一图像块、第二图像块和第三图像块；
[0008]将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；
[0009]将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；
[0010]将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图；
[0011]利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；
[0012]将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；
[0013]或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；
[0014]将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。
[0015]在本专利技术的第二方面，本专利技术还提供了一种可解释的癌症病理切片图像识别装置，其用于实现如本专利技术第一方面所述的一种可解释的癌症病理切片图像识别方法，所述装置包括：
[0016]图像采集模块，用于获取癌症病理切片的高分辨率医学图像；
[0017]图像处理模块，用于将获取的癌症病理切片的高分辨率医学图像进行预处理并划分为统一尺寸的图像块；
[0018]特征提取模块，用于将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；
[0019]预训练模块，用于将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；
[0020]图像优化模块，用于将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图，利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；
[0021]重训练模块，用于将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；
[0022]图像识别模块，用于将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。
[0023]在本专利技术的第三方面，本专利技术还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如本专利技术第一方面所述的识别方法中所执行的操作。
[0024]本专利技术的有益效果：本专利技术首先对高分辨率的医学图像进行处理，使其能够在传统的标准图像识别网络模型或者改进的模型中进行训练和预测；其次，在保证AI决策模型分类准确率高的基础上，本专利技术提高了图像识别网络模型的可解释能力，使得预测出的可解释热力图能够反映高分辨率医学图像的分类识别效果以及可解释效果；同时对比其他提高可解释能力的技术，本专利技术在训练过程中引入了可解释热力图的解释区域对应的专业知识，从而对模型的解释能力进行优化。最后，在提高模型可解释能力的基础上，使用基于稀
疏表示的方法，优化了模型可解释能力的表达。本专利技术又可以基于这些优化效果，提高对于医学图像在模型分类中的可信程度，能够更加准确地判别模型对医学图像的分类依据以及该医学图像中的癌症位置。
附图说明
[0025]图1为本专利技术实施例中一种可解释的癌症病理切片图像识别方法流程图；
[0026]图2为本专利技术实施例中的一种图像识别网络的修正框图；
[0027]图3为本专利技术实施例的图像识别模型的训练框图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为一种可解释的癌症病理切片图像识别方法流程图，如图1所示，所述方法包括：
[0029]101、获取癌症病理切片的高分辨率医学图像，对其进行预处理划分为统一尺寸的图像块；
[0030]在本专利技术实施例中，所述癌症病理切片的高分辨率医学图像可以是现有医学图像数据库中的数据集，也可以是在医院等场景下采集的高分辨率医学图像。
[0031]需要说明的是，这里的高分辨率医学图像可以是CT图像、MRI图像或者US图像。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可解释的癌症病理切片图像识别方法，其特征在于，所述方法包括：获取癌症病理切片的高分辨率医学图像，对其进行预处理划分为统一尺寸的图像块；将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图；利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。2.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法，其特征在于，对癌症病理切片的高分辨率医学图像进行预处理包括根据图像分割算法，将癌症肿瘤分割为所需尺寸的多个图像块，将分割结果保存至文件，其文件内容为分割结果在高分辨率医学图像中的坐标。3.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法，其特征在于，所述利用稀疏表示方法优化第一可解释热力图包括对第一可解释热力图的解释区域进行稀疏表示，计算出第二图像块的注意力分数，提高注意力高的对应解释区域的分数，降低注意力低的对应解释区域的分数；优化第一可解释热力图的解释区域。4.根据权利要求1或3所述的一种可解释的癌症病理切片图像识别方法，其特征在于，稀疏表示方法优化第一可解释热力图所采用的第一损失函数表示为：其中，L(X)表示第一损失函数，X表示当前癌症病理切片中所有图像块的分数，N表示当前癌症病理切片中图像块个数，x
n
表示第n个图像块的分数，则表示当前癌症病理切片中所有图像块的分数的均值，表示第一可解释热力图整体的初始分数均值。5.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法，其特征在于，将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络包括将第一可解释热力图的错误部分对应的图像块的特征向量取0或者取反例，再将该图像块所属的癌症肿瘤数据送入图像识别网络进行训练，从而修改图像识别网络的可解释方向。6.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法，其特征在于，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络包括将第一可解释热力图...

【专利技术属性】
技术研发人员：戴大伟，杨倩兰，王煜淇，徐涛，夏书银，王国胤，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：