本申请涉及图像处理技术领域，提供一种医疗图像的热力图计算方法、装置、设备和存储介质，可以用于医疗领域中校验深度学习模型的医疗图像分类例如MRI图像分类是否有充足且有效的依据，其中方法包括：对医疗图像进行预处理；将每个图像块转换为关注度矩阵；根据关注度矩阵计算注意力矩阵更新量；根据注意力矩阵更新量依次计算各个注意力矩阵；将最后一个注意力层对应的注意力矩阵转换为医疗图像的关注度热力图。本方法根据每一个注意力层对应的注意力矩阵计算下一个注意力层对应的注意力矩阵，通过逐层传递的方式获取最后一个注意力层对应的注意力矩阵，将最后一个注意力层对应的注意力矩阵转换为热力图，能够可视化的表示医疗图像中的病理区域。图像中的病理区域。图像中的病理区域。
【技术实现步骤摘要】
医疗图像的热力图计算方法、装置、设备和存储介质
[0001]本申请涉及图像处理
，例如涉及医疗图像的热力图计算方法、装置、设备和存储介质。
技术介绍
[0002]图像可视化是判断深度学习模型的图像处理效果与解释深度学习模型原理的重要依据，目前医疗图像领域广泛的使用深度学习模型进行医疗图像分类和医疗图像识别，用热力图显示深度学习模型的关注点是一种通用的方法，能够直观的校验深度学习模型的医疗图像分类过程是否有充足且有效的依据。医疗图像包括MRI(Nuclear Magnetic Resonance Imaging，核磁共振成像)图像、PET(Positron Emission Computed Tomography，正电子发射型计算机断层显像)图像，和CT(Computed Tomography，电子计算机断层扫描)图像。医疗图像比较复杂，包含重要的区域和一般的区域。目前大多使用CAM(Class Activation Mapping，类激活映射)及其拓展的技术手段提取热力图，CAM主要是提取用于医疗图像分类或医疗图像识别的深度学习模型中需要可视化的层的热力图，从而得到该深度学习模型对医疗图像中的关键区域，即病理区域进行表征的能力。但是，CAM只能提取深度学习模型中的全连接层、循环神经网络层和长短时记忆神经网络层的热力图，无法提取注意力层的热力图。另外，CAM只能提取深度学习模型中的单层结构的热力图，无法提取多层结构的热力图。
[0003]综上所述，CAM技术无法提取注意力层的热力图和多层结构的热力图，无法可视化的表示医疗图像中的病理区域。
技术实现思路
[0004]本申请提供一种医疗图像的热力图计算方法、装置、设备和存储介质，旨在解决CAM技术无法提取注意力层的热力图和多层结构的热力图，无法可视化的表示医疗图像中的病理区域的问题。
[0005]为解决上述问题，本申请采用以下技术方案：
[0006]本文提供了医疗图像的热力图计算方法，包括：
[0007]获取医疗图像，对医疗图像进行预处理，得到多个图像块；
[0008]将每个所述图像块转换为关注度矩阵；
[0009]根据所述关注度矩阵计算注意力矩阵更新量；
[0010]根据所述注意力矩阵更新量依次计算各个注意力矩阵，所述注意力矩阵包括自注意力矩阵和交叉注意力矩阵，每一个所述注意力矩阵对应一个注意力层；
[0011]将最后一个所述注意力层对应的所述注意力矩阵转换为医疗图像的关注度热力图。
[0012]优选地，所述根据所述注意力矩阵更新量依次计算各个注意力矩阵，包括：
[0013]根据当前所述自注意力矩阵和所述注意力矩阵更新量计算下一个所述自注意力
矩阵；
[0014]根据当前所述交叉注意力矩阵和所述注意力矩阵更新量计算下一个所述交叉注意力矩阵。
[0015]优选地，所述根据所述关注度矩阵计算注意力矩阵更新量，包括：
[0016]计算所述关注度矩阵的梯度，得到关注度梯度矩阵；
[0017]将所述关注度梯度矩阵乘以所述关注度矩阵，得到所述注意力矩阵更新量。
[0018]优选地，所述将每个所述图像块转换为关注度矩阵，包括：
[0019]根据所述图像块计算查询向量、键向量和值向量；
[0020]根据所述查询向量、键向量和值向量计算所述关注度矩阵。
[0021]优选地，所述根据当前所述自注意力矩阵和所述注意力矩阵更新量计算下一个所述自注意力矩阵，包括：
[0022]计算当前所述自注意力矩阵和所述注意力矩阵更新量的乘积，得到自注意力矩阵更新量；
[0023]将所述自注意力矩阵与所述自注意力矩阵更新量相加，得到下一个所述自注意力矩阵。
[0024]优选地，所述根据所述图像块计算查询向量、键向量和值向量，包括：
[0025]将所述图像块乘以查询矩阵，得到所述查询向量；
[0026]将所述图像块乘以键矩阵，得到所述键向量；
[0027]将所述图像块乘以值矩阵，得到所述值向量。
[0028]优选地，所述对医疗图像进行预处理，得到多个图像块，包括：
[0029]获取预设图像块长度和预设图像块宽度；
[0030]按照所述预设图像块长度和所述预设图像块宽度从所述医疗图像中截取多个图像区域；
[0031]对各个所述图像区域进行尺寸调整，得到多个所述图像块。
[0032]本申请还提供了一种医疗图像的热力图计算装置，包括：
[0033]医疗图像预处理模块，用于获取医疗图像，对医疗图像进行预处理，得到多个图像块；
[0034]图像块转换模块，用于将每个所述图像块转换为关注度矩阵；
[0035]注意力矩阵更新量计算模块，用于根据所述关注度矩阵计算注意力矩阵更新量；
[0036]注意力矩阵计算模块，用于根据所述注意力矩阵更新量依次计算各个注意力矩阵，所述注意力矩阵包括自注意力矩阵和交叉注意力矩阵，每一个所述注意力矩阵对应一个注意力层；
[0037]注意力矩阵转换模块，用于将最后一个所述注意力层对应的所述注意力矩阵转换为医疗图像的关注度热力图。
[0038]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的医疗图像的热力图计算方法的步骤。
[0039]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的医疗图像的热力图计算方法的步骤。
[0040]本申请的医疗图像的热力图计算方法，包括获取医疗图像，对医疗图像进行预处理，得到多个图像块；将每个图像块转换为关注度矩阵；根据关注度矩阵计算注意力矩阵更新量；根据注意力矩阵更新量依次计算各个注意力矩阵，注意力矩阵包括自注意力矩阵和交叉注意力矩阵，每一个注意力矩阵对应一个注意力层；将最后一个注意力层对应的注意力矩阵转换为医疗图像的关注度热力图。对于包含多个注意力层的深度学习模型，本方法根据每一个注意力层对应的注意力矩阵计算下一个注意力层对应的注意力矩阵，通过逐层传递的方式获取最后一个注意力层对应的注意力矩阵，将最后一个注意力层对应的注意力矩阵转换为热力图，能够可视化的表示医疗图像中的病理区域。
附图说明
[0041]图1为一实施例的医疗图像的热力图计算方法的流程示意图；
[0042]图2为一实施例的根据注意力矩阵更新量依次计算各个注意力矩阵的流程示意图；
[0043]图3为一实施例的根据关注度矩阵计算注意力矩阵更新量的流程示意图；
[0044]图4为一实施例的将每个图像块转换为关注度矩阵的流程示意图；
[0045]图5为一实施例的对医疗图像进行预处理的流程示意图；
[0046]图6为一实施例的医疗图像的热力图计算装置的结构示意框图；
[0047]图7为一实施例的计算机设备的结构示意框图。...
【技术保护点】
【技术特征摘要】
1.一种医疗图像的热力图计算方法，其特征在于，包括：获取医疗图像，对医疗图像进行预处理，得到多个图像块；将每个所述图像块转换为关注度矩阵；根据所述关注度矩阵计算注意力矩阵更新量；根据所述注意力矩阵更新量依次计算各个注意力矩阵，所述注意力矩阵包括自注意力矩阵和交叉注意力矩阵，每一个所述注意力矩阵对应一个注意力层；将最后一个所述注意力层对应的所述注意力矩阵转换为医疗图像的关注度热力图。2.根据权利要求1所述的医疗图像的热力图计算方法，其特征在于，所述根据所述注意力矩阵更新量依次计算各个注意力矩阵，包括：根据当前所述自注意力矩阵和所述注意力矩阵更新量计算下一个所述自注意力矩阵；根据当前所述交叉注意力矩阵和所述注意力矩阵更新量计算下一个所述交叉注意力矩阵。3.根据权利要求1所述的医疗图像的热力图计算方法，其特征在于，所述根据所述关注度矩阵计算注意力矩阵更新量，包括：计算所述关注度矩阵的梯度，得到关注度梯度矩阵；将所述关注度梯度矩阵乘以所述关注度矩阵，得到所述注意力矩阵更新量。4.根据权利要求1所述的医疗图像的热力图计算方法，其特征在于，所述将每个所述图像块转换为关注度矩阵，包括：根据所述图像块计算查询向量、键向量和值向量；根据所述查询向量、键向量和值向量计算所述关注度矩阵。5.根据权利要求2所述的医疗图像的热力图计算方法，其特征在于，所述根据当前所述自注意力矩阵和所述注意力矩阵更新量计算下一个所述自注意力矩阵，包括：计算当前所述自注意力矩阵和所述注意力矩阵更新量的乘积，得到自注意力矩阵更新量；将所述自注意力矩阵与所述自注意力矩阵更新量相加，得到下一个所述自注意力矩阵...
【专利技术属性】
技术研发人员：刘羲，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。