一种基于自监督学习的高精度CT金属伪影校正方法技术

本发明专利技术公开了一种基于自监督学习的高精度CT金属伪影校正方法，属于计算机医学成像技术领域，具体为：创建用于训练网络的数据集，并将数据集分为训练集和测试集；构建基于紧标架的模型驱动的图像域子网络、基于Transformer的数据驱动正弦域子网络以及一个新颖的耦合机制用以连接两个子网络；为优化耦合模型

【技术实现步骤摘要】
一种基于自监督学习的高精度CT金属伪影校正方法


[0001]本专利技术属于计算机医学成像
，特别涉及一种基于自监督学习的CT金属伪影校正方法，可用于临床高精度CT金属伪影校正。

技术介绍

[0002]计算机断层成像(computed tomography,CT)是一种无损检测技术，在医学、工业等众多领域得到了广泛应用。在医学上，该技术利用X射线对人体的特定部位进行扫描，根据不同的人体组织对X射线的吸收能力不同，对扫描数据重建出断层面图像。当人体内存在金属或其他高密度物质时，导致对应的投影数据污染，重建后的图像就会出现金属伪影。金属伪影的存在会严重降低图像的质量，从而影响医生的诊断。因此，研究CT金属伪影校正的技术，提升重建图像质量，在放射诊断学科中有着重要的意义。
[0003]现有的CT金属伪影校正技术主要分为传统金属伪影校正方法和基于深度学习的金属伪影校正方法。传统金属伪影校正方法主要分为三类：物理效应校正、正弦域(X射线投影域)插值和迭代重建。物理效应校正通过建模潜在的光束硬化物理效应，然后在正弦域直接校正受金属影响的区域。当金属植入物是高原子数金属时，校正将产生不令人满意的结果。正弦域插值利用各种插值技术替换原始投影数据中被金属污染的部分。但是这种方法很容易引入二次伪影，造成重建图像中金属伪影严重的部位结构严重变形。迭代重建技术是从观测的正弦图中去重建干净的CT图像，该方法通常是非常耗时的并且参数调整非常繁琐。根据利用域知识的不同，基于深度学习的方法主要分为三类：图像域方法、正弦域方法和双域方法。图像域网络把金属伪影校正看作是图像恢复问题，直接校正金属伪影，无需使用正弦域数据。在图像域网络中，一致性约束经常被忽略。正弦域方法通过将深度卷积神经网络用于生成金属迹区域的数据来替换损坏的数据，该方法通常引入严重的二次伪影。为了解决上述单域方法存在的问题，双域方法应运而生，并且成为了当下的主流。但是目前的双域方法一般缺乏模型可解释性、网络参数量巨大和需要配对CT图像等问题。
[0004]综上所述，虽然已有的CT金属伪影校正方法繁多，但均有各自的局限性。因此，在现有的金属伪影校正方法基础上，提出了一种新的CT金属伪影校正方法来进一步提高重建图像质量。

技术实现思路

[0005]本专利技术的目的在于针对上述已有方法的不足，提出一种基于自监督学习的高精度CT金属伪影校正方法，主要解决以往算法中可解释性不足、训练网络所需GPU空间大、网络参数量大、需要配对CT图像以及金属伪影校正精度低等问题，以降低网络参数、提升框架可解释性、缓解对配对CT图像的需要和提升金属伪影校正的精度。
[0006]本专利技术的一种基于自监督学习的高精度CT金属伪影校正方法，包括以下步骤：
[0007](1)构建自监督CT金属伪影校正网络模型，即耦合模型
‑
数据双驱动网络模型，该网络模型包括基于Transformer的数据驱动正弦域子网络(SS
‑
Net)和基于紧标架的模型驱
动图像域子网络(IM
‑
Net)，IM
‑
Net中包含一个用于耦合两个网络的先验伪影注意力阈值生成模块(PATG)；
[0008](2)训练网络：
[0009](2.1)准备数据集，用收集的无伪影正弦图s合成金属污染的正弦图s
ma
，对它们做滤波反投影操作得到无伪影CT图像x和金属污染CT图像x
ma
。将CT图像和正弦图裁剪为设定的尺寸，并将它们分为训练集和测试集，设定最大训练次数，并初始化训练参数；
[0010](2.2)将金属伪影的正弦图s
ma
和金属迹tr
m
做线性插值运算得到s
LI
，然后将得到的s
LI
和金属迹tr
m
一起输入到基于Transformer的数据驱动正弦域子网络中，输出得到增强的正弦图s
out
，对s
out
做滤波反投影操作得到重建CT图像x
out
；
[0011](2.3)计算正弦域子网络损失，若未达到正弦域网络最大训练次数，则重复步骤2.2。更新网络参数，训练结束得到正弦域子网络的最优网络模型；
[0012](2.4)向训练好的正弦域网络模型中输入s
ma
和tr
m
，网络输出x
out
，并将x
out
与金属污染图像x
ma
逐元素相减得到正弦域金属伪影信息e
s
。同时利用经线性插值和光束硬化校正得到的图像，提取金属伪影e
LI
和e
BHC
。将金属伪影e
s
、e
BHC
、e
LI
、x
ma
以及非金属掩模m输入到基于紧标架的模型驱动的图像域子网络中，输出伪影减少的CT图像；
[0013](2.5)计算图像域损失，若未达到最大训练次数，则重复步骤2.4，更新网络参数；
[0014](3)向构建好的图像域最优网络模型中输入e
s
、e
BHC
、e
LI
、x
ma
和m，网络输出为金属伪影校正后CT图像。
[0015]由于采用了上述技术方案，本专利技术取得的技术效果如下：
[0016]不同于以往联合训练双域金属伪影校正网络，基于提出的耦合机制，本专利技术采取了一种分别训练的方式来训练两个子网络，从而降低训练时所需的GPU内存，即先训练数据驱动正弦域子网络，而后将其正弦域网络的最优模型通过提出的耦合模块连接到模型驱动图像域子网络，再训练图像域网络。
附图说明
[0017]图1是本专利技术的整体流程图；
[0018]图2是本专利技术的基于Transformer的数据驱动正弦域子网络的结构图；
[0019]图3是本专利技术的基于紧标架的模型驱动图像域子网络的结构图；
[0020]图4是实施例中合成数据集不同伪影校正方法后的比较结果示意图；
[0021]图5是实施例中临床数据集不同伪影校正方法后的比较结果示意图。
具体实施方式
[0022]以下将结合附图，清楚、完整地描述本专利技术基于自监督学习的高精度CT金属伪影校正算法的实现步骤，并通过实验结果说明本专利技术方法的有效性。
[0023]本专利技术提供的一种基于自监督学习的高精度CT金属伪影校正方法，其流程如图1所示，包括如下步骤：
[0024]对收集的无伪影正弦图s进行仿真得到金属污染正弦图s
ma
。然后，将无伪影正弦图和金属污染正弦图做滤波反投影(filtered back projection,FBP)操作得到对应的无伪影CT图像x和金属污染CT图像x
ma
。图像全部被调整大小为416
×
416，同时将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的高精度CT金属伪影校正方法，包括以下步骤：S1构建自监督金属伪影校正网络模型，即耦合模型
‑
数据双驱动网络模型，所述网络模型包括基于Transformer的数据驱动正弦域子网络SS
‑
Net和基于紧标架的模型驱动的图像域子网络IM
‑
Net，IM
‑
Net中包含一个用于耦合两个子网络的先验伪影注意力阈值生成模块PATG；S2训练网络：S2.1准备数据集，用收集的无伪影正弦图s合成金属污染的正弦图s
ma
，对其做滤波反投影操作得到无伪影CT图像x和金属污染CT图像x
ma
，将CT图像和正弦图裁剪为设定的尺寸，并将其分为训练集和测试集，设定最大训练次数，初始化训练参数；S2.2将金属污染的正弦图s
ma
和金属迹tr
m
做线性插值运算得到s
LI
，将s
LI
和金属迹tr
m
输入到基于Transformer的数据驱动正弦域子网络，输出得到增强的正弦图s
out
，对s
out
做滤波反投影操作得到重建CT图像x
out
；S2.3计算正弦域子网络损失，若未达到正弦域网络最大训练次数，则重复步骤S2.2，更新网络参数，训练结束得到正弦域网络的最优网络模型；S2.4向训练好的正弦域子网络模型中输入s
ma
和tr
m
，网络输出x
out
，并将x
out
与金属伪影污染CT图像x
ma
逐元素减得到正弦域金属伪影信息e
s
，同时利用线性插值和光束硬化方法得到校正后的图像，从两者的校正图像中提取金属伪影e
LI
和e
BHC
，将金属伪影e
s
、e
BHC
、e
LI
、x
ma
及非金属掩模m输入到基于紧标架的模型驱动的图像域子网络IM
‑
Net中，输出得到伪影减少的CT图像；S2.5计算图像域损失，若未达到最大训练次数，则重复步骤2.4，更新网络参数；S3向构建好的图像域最优网络模型中输入e
s
、e
BHC
、e
LI
、x
ma
和m，网络输出为金属伪影校正后CT图像。2.根据权利要求1所述的一种基于自监督学习的高精度CT金属伪影校正方法，其特征在于，所述步骤(1)构建自监督学习金属校正网络：具体包括如下过程：构建模型驱动网络、数据驱动网络和耦合机制；所述模型驱动网络即基于紧标架的模型驱动图像域子网络：建立金属伪影分解模型，基于紧标架表示模型构建紧标架学习模型，利用交替方向乘子法将该问题转化为易于求解的子问题，并采用近端梯度技术进行问题求解，然后，将迭代算法的每个运算符转换为相应的网络模块，展开成深度神经网络架构来构建模型驱动金属伪影校正网络；所述数据驱动网络即基于Transformer的数据驱动正弦域子网络：在基于Transformer的数据驱动正弦域网络中提出了一个迹感知的Transformer正弦域网络，利用非金属迹去指导Transformer中的多头自注意力机制，从而保证网络学习中不会利用正弦图中金属污染严重的区域；所述耦合机制：由一个被称为先验伪影注意力阈值生成模块PATG实现，其中的伪影注意力模块通过利用输入的金属伪影之间的相互关系，自适应的重新为每个金属伪影的权重重新赋值。3.根据权利要求2所述的一种基于自监督学习的高精度CT金属伪影校正方法，其特征在于：基于Transformer的数据驱动正弦域子网络SS
‑
Net由一个基于Transformer的迹感知的网络Tr
‑
AwareNet和两个具有相同U
‑
Net架构的正弦图细化网络SinoNet组成，两个相同的SinoNet构成一个双分支结构；正弦域子网络的输入是合成的金属污染正弦图s
ma
和金属迹tr
m
，给定金属污染正弦图s
ma
，对其进行线性插值得到s
LI
，然后输入到Tr
‑
AwareNet中，在
Tr
‑
AwareNet的输入和输出之间设置了残差连接，得到输出结果s
prior
，将s
prior
分别与两个不同的金属迹通道拼接，输入到由SinoNet构成的两个不同的分支中，分别得到两个细化的正弦图，之后分别对它们采用FBP得到重建CT图像x
rec1
和x
rec2
。4.根据权利要求3所述的一种基于自监督学习的高精度CT金属伪影校正方法，其特征在于：Tr
‑
AwareNet由三部分组成：编码器、双分支模块和解码器，输入正弦图s
LI
经过编码器后得到中间特征f
m
，f
m
被分别输入到远程分支和短程分支中得到输出f
l
和f
s
，将f
l
和f
s
进行融合得到f
fuse
，即取远程分支的金属迹部分，取短程分支的非金属迹部分，然后，将f
fuse
送入到解码器中得到最终的输出f
last
，残差连接可以表示为s
prior
＝f
last
+s
LI
，得到最终的输出结果s
prior
。5.根据权利要求4所述的一种基于自监督学习的高精度CT金属伪影校正方法，其特征在于：远程分支是Tr
‑
AwareNet的核心，主要由两个模块组成：迹感知的多头自注意力Tr
‑
Aware MSA模块和全连接的前馈网络FFN，特征向量f
m
对应的矩阵形式将F分成d个特征块这d个特征块可以覆盖整个特征图F，把这d个特征块展成一维特征F
in
＝[F1,...,F
d
]，并将其按照标准多头自注意力方法求得Q、K和V，此过程可以表示为：其中LN(
·
)代表层归一化，和代表Transformer中第h个头的投影矩阵，将Q、K和V输入到Tr<...

【专利技术属性】
技术研发人员：石保顺，张少磊，
申请(专利权)人：燕山大学，
类型：发明
国别省市：