一种基于双域傅里叶神经网络的金属伪影去除方法技术

本发明专利技术属于医学影像分析技术领域，具体为一种基于双域傅里叶神经网络的金属伪影去除方法。本发明专利技术通过快速傅里叶卷积分别在弦图域和CT图像域从局部和全局两个方面去除金属伪影。充分利用傅里叶卷积提供的全局感受野，该方法在弦图上能利用远距离信息修补被金属破坏的弦图，从而在原始数据上去除金属伪影。同时，该方法在图像域通过一个包含快速傅里叶卷积跳连接的U

【技术实现步骤摘要】
一种基于双域傅里叶神经网络的金属伪影去除方法


[0001]本专利技术属于医学影像分析
，具体涉及一种CT金属伪影去除方法。

技术介绍

[0002]计算机断层扫描(CT)是广泛用于临床诊断和筛查的主要方式之一。当存在诸如金属植入物和牙科填充物之类的高密度物体时，CT扫描的原始数据，即弦图，由于射线束硬化和散射等物理因素而被破坏。由此产生的重建图像呈现出严重的射线状伪影，极大地限制了后续诊断。如何有效减少金属伪影仍然具有挑战性。随着深度神经网络的发展，该问题也越来越被关注。
[0003]为了解决这个问题，已有相关工作分别在弦图和图像域中去除金属伪影(MAR)。然而，在单个域中方法无法有效地从损坏的数据中恢复真实的组织。这是因为，一方面，重建图像上的金属伪影是全局存在的，当金属变大时伪影很难在图像域被去除。另一方面，虽然弦图中只有部分区域被破坏，但修复后的原始数据不能保证重建后的理想图像质量，因为弦图中微小的误差个不连续都容易导致图像域的二次伪影。
[0004]目前流行的MAR方法是通过一个可反向传播的Radon层结合两个域的优点[1,2]，显着提高了MAR的性能。例如,[1]使用两个U
‑
net来增强弦图和重建图像以取得有希望的结果。然而，卷积层缺乏足够大的感受野，导致捕获的信息有限，这阻碍了网络的进一步发展。因此，目前很多工作通过认为加入利用其他信息来提升网络的性能，例如image prior[3]、adaptive scale[4]、metal mask projection[5]等等。
[0005]由于以下方面，现有的MAR方法的性能不尽如人意。首先，在弦图中，现有方法没有充分利用全局上下文进行插值，而是只能不断利用周围像素进行恢复，大大限制了弦图的恢复精度。其次，对那些被伪影严重污染的CT图而言，局部修复的深度神经网络可能会进一步引入二次伪影；虽然有些工作[4]探索了非局部方法来消除图像域中的全局伪影，但当CT图像被严重损坏时，它可能无济于事。第三，大多数MAR方法使用全窗口测量图像质量，忽略了一些临床上重要的CT窗口的对比度信息。这导致了网络出现过度平滑的情况，导致恢复后的图像难以被临床应用。
[0006]与现有方法不同的是，本专利技术将傅里叶卷积融入神经网络中。利用傅里叶卷积[6]提供的全局感受野以在弦图和图像域更好地去除伪影。更具体地说，为了准确地从弦图域中未损坏区域的信息恢复损坏的区域，本专利技术提出了一种基于快速傅里叶卷积的新型弦图恢复网络，它可以利用弦图范围的感受野进行全局插值。同时本专利技术使用一个局部网络在图像域直接进行恢复。以上方法分别在局部和全局去除金属伪影。为了进一步去除存在的二次伪影和不同方法之间的不一致，同时利用以上方法的优势，本专利技术还提出了一种基于快速傅里跳连接的U
‑
Net以进一步在局部和全局两个方面去除伪影，提升图像质量。此外，由于CT图像的数值范围大，为了进一步提高其临床价值，本专利技术引入了多窗口损失来约束各种CT窗口中的边缘、像素损失和感知损失。

技术实现思路

[0007]本专利技术的目的在于，针对金属伪影在全局和局部上的特点，提供一种基于双域傅里叶神经网络的金属伪影去除方法，可以在局部和全局分别处理金属伪影，提升图像质量。
[0008]本专利技术提供的基于双域傅里叶神经网络的金属伪影去除方法，是利用快速傅里叶卷积来探索MAR的弦图范围和图像范围的感受野；其中，在弦图域，本专利技术中提出一个弦图傅立叶修复网络，借助快速傅里叶卷积在全弦图的感受野，利用全弦图未损坏区域修复损坏区域。同时在图像域，使用一个傅里叶U
‑
Net，通过图像域的上下文信息从局部到全局恢复图像；此外，本专利技术引入多窗口损失来帮助网络在不同的动态范围内感知准确的反馈，以在临床应用中取得更好的结果。实验结果证明了所提出的方法优于最先进的金属伪影去除方法。
[0009]本专利技术提供的基于双域傅里叶神经网络的金属伪影去除方法，具体步骤如下：
[0010](1)在弦图域，利用基于快速傅里叶卷积的神经网络实现全局信息插值以修复被金属破坏的弦图。
[0011]设人体二维CT切片的衰减系数分布是：X＝μ(i,j)，其中(i,j)表示二维坐标。理想情况下的弦图S可以用通过投影求得，即类似地，通过定义反投影过程可以从弦图S重建图像X，即在此处是的逆运算。当金属植入物X
m
出现时，弦图沿金属迹线受损。假设弦图的大小为H
s
×
W
s
，其中H
s
和W
s
分别是检测器的数量和投影角。然后本专利技术使用来表示二进制金属轨迹，其中区域M＝1对应于弦图中被金属的损坏区域。因此，被金属影响的弦图S
mc
和无金属的弦图S之间的关系可以表示为：
[0012]S
mc
⊙
(1
‑
M)＝S
⊙
(1
‑
M)
ꢀꢀ
(1)
[0013]其中，符号
⊙
表示逐元素相乘。弦图域中的金属伪影去除问题是利用未被金属影响区域的信息恢复有金属轨迹标记的损坏区域。对于弦图的金属伪影问题，使用基于快速傅里叶卷积的弦图恢复网络(FS
‑
Net)，它可以在弦图上利用全局感受野来准确地恢复被金属损坏的弦图。网络首先使用两个下采样降维，之后使用六个包含快速傅里叶卷积的弦图修复模块去除金属伪影，最后通过两个上采样层以得到恢复出的弦图。在每个弦图修复模块中，输入张量首先被分成两个分支，分别称为局部分支和全局分支。对于局部分支和全局分支，首先使用三个卷积模块来捕获多尺度信息。同时，对于全局分支，使用快速傅里叶卷积块在傅里叶域中恢复弦图。FS
‑
Net的输出写成：
[0014]S
r
＝FS
‑
Net(S
mc
,M)
ꢀꢀ
(2)
[0015]其中，S
r
是修复后的弦图。最后通过一个可反向传播的Radon层重建已经修复的弦图，以从弦图角度恢复的CT图像X
s
：
[0016]X
s
＝RL(S
r
⊙
M+S
mc
⊙
(1
‑
M))
ꢀꢀ
(3)
[0017]本专利技术使用L1损失函数来衡量弦图域的差异，使用smooth
‑
L1损失函数来衡量图像域的差异，以避免过拟合和梯度爆炸。因此，优化FS
‑
Net的损失定义如下：
[0018][0019]其中，S
gt
和X
gt
分别是无金属的，真实的弦图和图像。
[0020](2)在图像域，首先使用一个局部伪影去除网络IU
‑
Net在图像域去除金属伪影。接着使用包含傅里叶跳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双域傅里叶神经网络的金属伪影去除方法，其特征在于，在弦图域，采用弦图傅立叶修复网络，借助快速傅里叶卷积在全弦图的感受野，利用全弦图未损坏区域修复损坏区域；同时在图像域，使用傅里叶U
‑
Net，通过图像域的上下文信息从局部到全局恢复图像；此外，引入多窗口损失来帮助网络在不同的动态范围内感知准确的反馈，以在临床应用中取得更好的结果；具体步骤如下：(1)在弦图域，利用基于快速傅里叶卷积的神经网络实现全局信息插值以修复被金属破坏的弦图；具体过程为：设人体二维CT切片的衰减系数分布是：X＝μ(i,j)，其中(i,j)表示二维坐标；设弦图S可以用通过投影求得，即类似地，通过定义反投影过程可以从弦图S重建图像X，即在此处是的逆运算；当金属植入物X
m
出现时，弦图沿金属迹线受损；假设弦图的大小为H
s
×
W
s
，其中H
s
和W
s
分别是检测器的数量和投影角；然后本使用来表示二进制金属轨迹，其中M＝1对应于弦图中被金属的损坏区域；于是，被金属影响的弦图S
mc
和无金属的弦图S之间的关系表示为：S
mc
⊙
(1
‑
M)＝S
⊙
(1
‑
M)
ꢀꢀ
(1)其中，符号
⊙
表示逐元素相乘；弦图域中的金属伪影去除问题是利用未被金属影响区域的信息恢复有金属轨迹标记的损坏区域；对于弦图的金属伪影问题，使用基于快速傅里叶卷积的弦图恢复网络FS
‑
Net，在弦图上利用全局感受野来准确地恢复被金属损坏的弦图；弦图恢复网络首先使用两个下采样降维，之后使用六个包含快速傅里叶卷积的弦图修复模块去除金属伪影，最后通过两个上采样层以得到恢复出的弦图；在每个弦图修复模块中，输入张量首先被分成两个分支，分别称为局部分支和全局分支；对于局部分支和全局分支，首先使用三个卷积模块来捕获多尺度信息；同时，对于全局分支，使用快速傅里叶卷积块在傅里叶域中恢复弦图；FS
‑
Net的输出写成：S
r
＝FS
‑
Net(S
mc
,M)
ꢀꢀ
(2)其中，S
r
是修复后的弦图；最后通过一个可反向传播的Radon层重建已经修复的弦图，以从弦图角度恢复的CT图像X
s
：X
s
＝RL(S
r
⊙
M+S
mc
⊙
(1
‑
M))
ꢀꢀ
(3)使用L1损失函数来衡量弦图域的差异，使用smooth
‑
L1损失函数来衡量图像域的差异，以避免过拟合和梯度爆炸；因此，优化FS
‑
Net的损失定义如下：其中，S
gt
和X
gt
分别是无金属的，真实的弦图和图像；(2)在图像域，首先使用一个局部伪影去除网络IU
‑
Net在图像域去除金属伪影；接着使用包含傅里叶跳连接的U
‑
Net:FR
‑
Net替换传统U
‑
Net，以更好去除二次伪影和全图不一致，具体过程如下：首先使用一个U
‑
Net在图像域初步去除金属伪影，该网络写为：X
u
＝LU
‑
Net(RL(S
mc
))
ꢀꢀ
(5)对于该网络，使用L1 loss作为其损失函数设已有从局部和全局两个角度的不同方法去除伪影的CT图像——X
s
和X
u
；采用一个傅
里叶恢复网络FR
‑
Net使用来自两个粗恢复的图像的信息以得到去伪影后准确的CT图像；所述的FR
‑
Net使用U
‑
Net架构，但使用局部和全局的信息进行重建，以进一步去除伪影，该网络模块关键在于...

【专利技术属性】
技术研发人员：单洪明，李子龙，张军平，
申请(专利权)人：复旦大学，
类型：发明
国别省市：