图像配准网络模型及其建立方法、设备及介质技术

本申请涉及一种图像配准网络模型及其建立方法、设备及介质，其模型包括编码器和解码器，所述编码器包括参考图像编码器和移动图像编码器，所述参考图像编码器和所述移动图像编码器相互独立；解码器包括解码并行交叉注意力模块，所述解码并行交叉注意力模块以所述参考图像编码器、移动图像编码器不同尺度的编码获得的输出矢量序列作为输入。本申请参考图像编码器、移动图像编码器网络和解码器网络充分考虑了图像尺寸与分辨率的差异，基于并行交叉注意力模块进行网络设计，并融合不同尺度级别的并行交叉注意力模块获取的特征信息，使得不同尺寸、不同分辨率的多模态图像可直接进行配准，最终完成形变场估计。最终完成形变场估计。最终完成形变场估计。

【技术实现步骤摘要】
图像配准网络模型及其建立方法、设备及介质


[0001]本申请涉及图像配准领域，尤其是涉及一种图像配准网络模型及其建立方法、设备 及介质。

技术介绍

[0002]医学图像配准是将不同时间、不同医学设备采集的图像转换到统一的空间坐标系下， 使相同空间位置上的图像信息对应于相同的解剖结构，从而融合不同时间、设备采集的信息， 完成融合多模态信息辅助诊断、监测病灶变化等，因此在医学图像处理中有广泛的应用。
[0003]与处理同一设备采集的多幅图像的单模态图像配准相比，不同模态图像配准面临更 多的技术挑战。由于不同模态成像方式与原理的差异，相同解剖结构在不同模态图像中存在 明显的差异。例如CT图像分辨率高，成像范围大，可提供明显的解剖结构信息，但是无法 精细区分不同类型软组织；而MR图像序对软组织差异敏感，可以区分脑白质和脑灰质等不 同的软组织列，而且序列变化多，但每次采集的图像范围相对较小。除了由于成像技术引起 的图像像素值对比差异外，由于不同时间采集图像时病人的呼吸运动，体位变化，肠胃蠕动， 膀胱充盈程度等原因，图像中脏器大小、形态也存在明显的差异。因此，探索适合描述不同 尺寸、不同分辨率的多模态图像可直接配准的模型，是多模态医学图像配准技术亟待解决地 难题。

技术实现思路

[0004]为了构建能够对不同尺寸、不同分辨率的多模态图像直接配准的多模态网络模型， 本申请提供一种图像配准网络模型及其建立方法、设备及介质。
[0005]第一方面，本申请提供一种图像配准网络模型，采用如下的技术方案：一种图像配准网络模型，包括编码器和解码器，所述编码器包括用于对参考图像进行处理的 参考图像编码器和用于对移动图像进行处理的移动图像编码器，所述参考图像编码器和所述 移动图像编码器相互独立；所述参考图像编码器和移动图像编码器均包括编码并行交叉注意力模块，所述编码并行交叉 注意力模块用于对不同尺寸、不同分辨率的原始图像输入的矢量序列进行计算，得到所述编 码器的输出矢量序列；所述解码器包括解码并行交叉注意力模块，所述解码并行交叉注意力模块以所述参考图像编 码器、移动图像编码器不同尺度的编码获得的输出矢量序列作为输入，并输出不同模态图像 配准过程中与原始的参考图像尺寸相同的形变场信息。
[0006]通过采用上述技术方案，参考图像编码器、移动图像编码器网络和解码器网络充分 考虑了图像尺寸与分辨率的差异，基于并行交叉注意力模块进行网络设计，并融合不同尺度 级别的并行交叉注意力模块获取的特征信息，使得不同尺寸、不同分辨率的多模态图像可直 接进行配准，最终完成形变场估计。
[0007]第二方面，本申请提供一种图像配准网络模型建立方法，采用如下的技术方案：一种图像配准网络模型建立方法，包括：对不同模态图像的原始图像进行重采样，得到所述原始图像对应的各向同性3D图像，所述 原始图像包括参考图像和移动图像；分别对所述原始图像以及所述各向同性3D图像进行子块划分，并对划分后得到的子块进行 位置编码；基于所述位置编码计算所述原始图像对应的原始矢量序列以及所述各向同性3D图像对应的 各向同性矢量序列；将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块，得到所 述编码器输出的输出矢量序列，所述输出矢量序列包括所述参考编码输出矢量序列和移动编 码输出矢量序列，其中，所述原始矢量序列作为所述编码并行交叉注意力模块中查询向量输 入，所述各向同性矢量序列作为所述编码并行交叉注意力模块中键向量和值向量的输入；将所述输出矢量序列输入解码器的解码并行交叉注意力模块进行解码，获取所述解码器的输 出的不同模态图像配准的形变场。
[0008]通过采用上述技术方案，参考图像编码器、移动图像编码器网络和解码器网络充分 考虑了图像尺寸与分辨率的差异，基于并行交叉注意力模块进行网络设计，并融合不同尺度 级别的并行交叉注意力模块获取的特征信息，使得不同尺寸、不同分辨率的多模态图像可直 接进行配准，最终完成形变场估计。
[0009]可选的，所述原始矢量序列均包括一级原始矢量序列，所述各向同性矢量序列均包 括一级各向同性矢量序列；所述将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块，得 到所述编码器输出的输出矢量序列包括：将所述一级原始矢量序列作为一级级别的当前编码并行交叉注意力模块中查询向量输入，将 所述一级各向同性矢量序列作为所述当前编码并行交叉注意力模块中键向量和值向量的输入， 得到所述当前编码并行交叉注意力模块输出的当前编码矢量序列；判断所述当前编码并行交叉注意力模块是否为一级级别中的最后编码并行交叉注意力模块； 若所述当前编码并行交叉注意力模块为最后编码并行交叉注意力模块，则所述当前编码矢量 序列即为一级编码输出矢量序列，并获取所述编码器编码阶段的尺度级别总数，判断所述一 级级别是否为所述尺度级别总数中的最大级别；若所述一级级别为所述尺度级别总数中的最大级别，则所述一级编码输出矢量序列即为输出 矢量序列；若所述当前编码并行交叉注意力模块非最后注意力模块，则将所述当前编码矢量序列作为所 述一级级别中下一编码并行交叉注意力模块的键向量和值向量的输入，所述下一编码并行交 叉注意力模块的查询向量来源与所述当前编码并行交叉注意力模块的查询向量来源一致，且 同一级别中编码并行交叉注意力模块的查询向量来源均一致；得到所述下一编码并行交叉注意力模块输出的一级编码矢量序列，将所述一级编码矢量序列 作为当前编码矢量序列，将所述下一编码并行交叉注意力模块作为当前编码并行交叉注意力 模块，并重复判断所述当前编码并行交叉注意力模块是否为一级级别中
的最后编码并行交叉 注意力模块的步骤。
[0010]通过采用上述技术方案，利用原始矢量序列计算查询向量，利用各向同性矢量序列 计算键向量和值向量，编码并行交叉注意力模块对不同尺寸、不同分辨率的原始图像输入的 矢量序列进行计算，完成编码过程中的交叉注意力计算。
[0011]可选的，若所述一级级别非所述尺度级别总数中的最大级别，则所述原始矢量序列还 均包括其他级原始矢量序列，所述各向同性矢量序列还均包括其他级各向同性矢量序列，所 述输出矢量序列还包括其他级编码输出矢量；所述将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块，得 到所述编码器输出的输出矢量序列还包括：分别计算其他级别对应的其他级别输出矢量序列，每个所述其他级别均对应有一个其他级别 输出矢量序列，所述输出矢量序列包括一级输出矢量序列和至少一个所述其他级别输出矢量 序列；所述分别计算其他级别对应的其他级别输出矢量序列包括：将上一级别中首个编码并行交叉注意力模块首次输入的一组矢量序列分别复原为当前级编码 特征图；将所述当前级编码特征图进行stride＝2的3D卷积操作，得到当前级降采样编码特征图，将 所述当前级降采样编码特征图各个位置的特征矢量化，得到当前级别对应的当前级原始矢量 序列和当前级各向同性矢量序列；将所述当前级原始矢量序列作为所述当前级别的当前编码并行交叉注意力模块中查询向量输 入，将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准网络模型，其特征在于，包括编码器和解码器，所述编码器包括用于对参考图像进行处理的参考图像编码器和用于对移动图像进行处理的移动图像编码器，所述参考图像编码器和所述移动图像编码器相互独立；所述参考图像编码器和移动图像编码器均包括编码并行交叉注意力模块，所述编码并行交叉注意力模块用于对不同尺寸、不同分辨率的原始图像输入的矢量序列进行计算，得到所述编码器的输出矢量序列；所述解码器包括解码并行交叉注意力模块，所述解码并行交叉注意力模块以所述参考图像编码器、移动图像编码器不同尺度的编码获得的输出矢量序列作为输入，并输出不同模态图像配准过程中与原始的参考图像尺寸相同的形变场信息。2.一种图像配准网络模型建立方法，其特征在于，包括：对不同模态图像的原始图像进行重采样，得到所述原始图像对应的各向同性3D图像，所述原始图像包括参考图像和移动图像；分别对所述原始图像以及所述各向同性3D图像进行子块划分，并对划分后得到的子块进行位置编码；基于所述位置编码计算所述原始图像对应的原始矢量序列以及所述各向同性3D图像对应的各向同性矢量序列；将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块，得到所述编码器输出的输出矢量序列，所述输出矢量序列包括所述参考编码输出矢量序列和移动编码输出矢量序列，其中，所述原始矢量序列作为所述编码并行交叉注意力模块中查询向量输入，所述各向同性矢量序列作为所述编码并行交叉注意力模块中键向量和值向量的输入；将所述输出矢量序列输入解码器的解码并行交叉注意力模块进行解码，获取所述解码器的输出的不同模态图像配准的形变场。3.根据权利要求2所述的图像配准网络模型建立方法，其特征在于，所述原始矢量序列均包括一级原始矢量序列，所述各向同性矢量序列均包括一级各向同性矢量序列；所述将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块，得到所述编码器输出的输出矢量序列包括：将所述一级原始矢量序列作为一级级别的当前编码并行交叉注意力模块中查询向量输入，将所述一级各向同性矢量序列作为所述当前编码并行交叉注意力模块中键向量和值向量的输入，得到所述当前编码并行交叉注意力模块输出的当前编码矢量序列；判断所述当前编码并行交叉注意力模块是否为一级级别中的最后编码并行交叉注意力模块；若所述当前编码并行交叉注意力模块为最后编码并行交叉注意力模块，则所述当前编码矢量序列即为一级编码输出矢量序列，并获取所述编码器编码阶段的尺度级别总数，判断所述一级级别是否为所述尺度级别总数中的最大级别；若所述一级级别为所述尺度级别总数中的最大级别，则所述一级编码输出矢量序列即为输出矢量序列；若所述当前编码并行交叉注意力模块非最后注意力模块，则将所述当前编码矢量序列作为所述一级级别中下一编码并行交叉注意力模块的键向量和值向量的输入，所述下一编
码并行交叉注意力模块的查询向量来源与所述当前编码并行交叉注意力模块的查询向量来源一致，且同一级别中编码并行交叉注意力模块的查询向量来源均一致；得到所述下一编码并行交叉注意力模块输出的一级编码矢量序列，将所述一级编码矢量序列作为当前编码矢量序列，将所述下一编码并行交叉注意力模块作为当前编码并行交叉注意力模块，并重复判断所述当前编码并行交叉注意力模块是否为一级级别中的最后编码并行交叉注意力模块的步骤。4.根据权利要求3所述的图像配准网络模型建立方法，其特征在于，若所述一级级别非所述尺度级别总数中的最大级别，则所述原始矢量序列还均包括其他级原始矢量序列，所述各向同性矢量序列还均包括其他级各向同性矢量序列，所述输出矢量序列还包括其他级编码输出矢量；所述将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块，得到所述编码器输出的输出矢量序列还包括：分别计算其他级别对应的其他级别输出矢量序列，每个所述其他级别均对应有一个其他级别输出矢量序列，所述输出矢量序列包括一级输出矢量序列和至少一个所述其他级别输出矢量序列；所述分别计算其他级别对应的其他级别输出矢量序列包括：将上一级别中首个编码并行交叉注意力模块首次输入的一组矢量序列分别复原为当前级编码特征图；将所述当前级编码特征图进行stride＝2的3D卷积操作，得到当前级降采样编码特征图，将所述当前级降采样编码特征图各个位置的特征矢量化，得到当前级别对应的当前级原始矢量序列和当前级各向同性矢量序列；将所述当前级原始矢量序列作为所述当前级别的当前编码并行交叉注意力模块中查询向量输入，将所述当前级各向同性矢量序列作为所述当前级别的当前编码并行交叉注意力模块中键向量和值向量的输入，得到所述当前级别的当前编码并行交叉注意力模块输出的其他级别当前矢量序列；判断所述当前级别的当前编码并行交叉注意力模块是否为当前级别最后编码并行交叉注意力模块；若所述当前编码并行交叉注意力模块为最后编码并行交叉注意力模块，则所述其他级别当前矢量序列即为其他级别输出矢量序列；若所述当前编码并行交叉注意力模块非最后编码并行交叉注意力模块，则将所述其他级别当前矢量序列作为所述当前级别中下一编码并行交叉注意力模块的键向量和值向量的输入，所述当前级别的下一编码并行交叉注意力模块的查询向量来源与所述当前级别的当前编码并行交叉注意力模块的查询向量来源一致；得到所述当前级别的下一编码并行交叉注意力模块输出的当前级矢量序列，将所述当前级矢量序列作为其他级别当前矢量序列，将所述下一编码并行交叉注意力模块作为当前编码并行交叉注意力模块，并重复判断所述当前级别的当前编码并行交叉注意力模块是否为当前级别最后编码并行交叉注意力模块的步骤。5.根据权利要求3所述的图像配准网络模型建立方法，其特征在于，所述参考编码输出矢量序列包括一级参考编码输出矢量序列，所述移动编码输出矢量
序列包括一级移动编码输出矢量序列，且所述参考编码输出矢量序列的级别总数与所述移动编码输出矢量序列的级别总数一致；若一级级别为所述尺度级别总数中的最大级别，则所述将所述输出矢量序列输入解码器的解码并行交叉注意力模块进行解码包括：将所述一级参考编码输出矢量序列作为所述解码器一级级别的当前解码并行交叉注意力模块中查询向量的输入，将所述一级移动编码输出矢量序列作为所述当前解码并行交叉注意力模块中键向量和值向量的输入，得到所述一级级别的当前解码并行交叉注意力模块输出的当前解码矢量序列；判断所述一级级别的当前解码并行交叉注意力模块是否为一级级别中的最后解码并行交叉注意力模块；若所述当前解码并行交叉注意力模块为最后解码并行交叉注意力模块，则将所述当前解码矢量序列复原为一级解码特征图，对所述...

【专利技术属性】
技术研发人员：王少彬，蔡传书，郭飞宝，何清，柳炫宇，白璐，陈颀，陈宇，
申请(专利权)人：北京医智影科技有限公司，
类型：发明
国别省市：