一种基于注意机制的无监督CT投影域数据恢复方法技术

本发明专利技术涉及一种基于注意机制的无监督CT投影域数据恢复方法，其主要技术特点是：准备包括受源正弦图、目标正弦图的输入数据集；构建生成器模块得到目标域正弦图；构建判别器模块进行判别处理；构建GAN网络的损失函数；使用完整的CT正弦图数据集对GAN网络进行大规模迭代训练，直至每次迭代时整个网络的损失函数变化幅度不超过预先设定的阈值；使用受金属迹线影响的CT正弦图作为测试数据集，得到无金属迹线的正弦图。本发明专利技术设计合理，通过将CT投影数据补充完备消除CT影像中存在的射束硬化伪影及金属伪影，实现了对受金属植入物影响而不完备的CT投影数据的高质量恢复，可以更好地在实际中应用，推动精准医疗的进一步发展。

A data recovery method based on attention mechanism in projection domain of unsupervised CT

【技术实现步骤摘要】
一种基于注意机制的无监督CT投影域数据恢复方法
本专利技术属于计算机断层扫描
，尤其是一种基于注意机制的无监督CT投影域数据恢复方法。
技术介绍
X射线计算机断层扫描(ComputedTomography，CT)技术已被广泛应用于工业探测与医学诊断等领域，但CT检查一直被伪影所困扰，伪影给临床检查和诊断带来了很大的困难。金属伪影是计算机断层扫描(CT)图像中常见的伪影之一，其在成像和重建过程中由金属植入物引入。金属伪影的形成涉及多种机制，例如射束硬化，散射，噪声和非线性部分体积效应。在临床检查过程中，金属植入物会大量的吸收CT扫描时入射的X射线光子，导致这些区域的投影域数据缺失(CT投影数据也称正弦图)，即投影数据不完备，金属植入物的投影数据在正弦图中的表现是明亮的金属迹线(金属迹线数目越多，宽度越宽，表明投影数据受金属植入物影响越严重，缺失越多)，重建后上述植入物体的周围会产生星芒状或放射状伪影，严重影响了图像上金属植入物周围组织结构的清晰度，给植入物本身以及周围组织结构的判断带来了很大的困难，这一难题多年以来困扰着临床检査。通过传统方法建模去除伪影非常困难。在众多的图像重建算法中，常用的重建算法是滤波反投影算法(FBP)，但是直接利用该算法得到的断层图像中呈现一定的伪影。由于CT成像为投影数据空间重建方法，投影数据的残缺会对后续的图像重建以及诊断工作造成相当大的影响，将缺失的投影数据补充完备，将会在后续的图像重建过程中可以有效消除图像中金属伪影的影响。近年来，深度学习在医学影像处理领域的应用研究越来越多，深度学习中深度卷积神经网络重要的优点是从原始数据到抽象的语义概念逐层提取信息，这使得它在提取数据的全局特征和数据恢复方面具有突出的优势。网络中使用卷积运算提取输入图像的特征矩阵，进而输入激活函数，以提高模型的非线性表达能力，学习线性到非线性的复杂映射，常用的激活函数有逻辑激活函数(sigmoid)、双曲正切函数(tanh)等，激活函数为卷积神经网络的反向传播做好了准备。当前基于深度神经网络的计算机断层扫描(CT)金属伪影减少(MAR)方法大多在CT图像域执行，且是监督方法，需要在解剖细节上完全相同的成对CT图像，一个具有金属伪影，另一个没有金属伪影，其严重依赖于仿真数据用于训练。但是，由于仿真数据可能无法完美地模拟CT成像的潜在物理机制，因此监督方法通常不能很好地推广到临床应用。在深度学习中，更具挑战性但同时也更实用的无监督方法已经得到了更多的重视和研究，无监督方法中没有完全配对的输入数据可用于训练。同时CT投影数据域的数据恢复可以被视为数据到数据转换的一种形式，由受金属植入物影响的不完备的投影数据(源正弦图)到未受金属植入物影响的完备的投影数据(目标正弦图)的转换。无监督的数据转换可以利用生成对抗网络(GAN)实现，GAN将传统深度学习的两种基本模型：生成模型与判别模型统一于同一个框架中，在GAN中，两个模型相互博弈，交替迭代训练，在这个过程中GAN框架可以很好的保留输入数据的细节并学习输入数据的复杂数据分布。良好的数据恢复模型应该：(i)将由金属植入物造成地不完备的投影数据尽可能补充完备；(ii)保持输入的CT数据的解剖学内容。基于GAN网络和无监督方法，以端到端的方式实现CT正弦图转换，这其中结合注意力机制和自适应层实例归一化功能(AdaLIN)。注意力机制引导数据转换模型关注源正弦图和目标正弦图的重要区域，借助辅助分类器(CAM)区分来自源正弦图的特征矩阵和来自目标正弦图的特征矩阵(该辅助分类器实际上是一个0-1二分类器)，在这个过程中学习特征矩阵的重要性权重，帮助模型知道在何处进行密集的转换。而自适应层实例归一化功能包括两个部分：实例归一化(IN)和层归一化(LN),实例归一化在图像像素上做归一化，基于上述说明，计算特征矩阵的均值μI和方差σI，层归一化在通道方向上做归一化，基于此计算特征矩阵的均值μL和方差σL，这两者的组合通过学习参数而灵活地控制正弦图中的形状和纹理的变化量，从而增强恢复模型的鲁棒性，使得恢复模型的数据恢复能力不因为输入正弦图中金属迹线的严重程度而受到影响。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种基于注意机制的无监督CT投影域数据恢复方法，其通过将CT投影数据补充完备减少CT影像中金属伪影，基于GAN网络并在输入的正弦图并不匹配的情况下，实现受金属植入物影响的正弦图到不受金属植入物影响的正弦图的转换，校正了金属迹线，将CT投影数据补充完备，最终消除CT重建图像中存在的严重金属伪影，得到高质量CT图像。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于注意机制的无监督CT投影域数据恢复方法，包括以下步骤：步骤1、准备包括受金属植入物影响的源正弦图、不受金属植入物影响的目标正弦图的输入数据集；步骤2、构建生成器模块，并经编码器A、辅助分类器B、注意特征矩阵计算、归一化处理及上采样得到目标域正弦图；步骤3、构建判别器模块，并经编码器C、辅助分类器D、全局分类器FT进行判别处理；步骤4、构建GAN网络的损失函数；步骤5、使用完整的CT正弦图数据集对GAN网络进行大规模迭代训练，训练过程中不断调整步骤4中的超参数数值以及学习率大小、网络迭代次数，直至每次迭代时整个网络的损失函数变化幅度不超过预先设定的阈值；步骤6、使用受金属迹线影响的CT正弦图作为测试数据集，得到无金属迹线的正弦图进一步，所述步骤1中的源正弦图、目标正弦图不完全配对。进一步，所述步骤2的具体实现方法包括以下步骤：⑴构建由两个卷积层组成的编码器A，输入x经编码器A下采样的卷积运算提取特征后的输出特征矩阵；⑵将特征矩阵输入辅助分类器B进行源正弦图和目标正弦图特征矩阵的分类判断，找出每个特征矩阵中对于判断一个特征矩阵是来自于源正弦图还是目标正弦图的最重要的区域；⑶利用重要性权重计算注意特征矩阵；⑷将注意特征矩阵经过向量化，输入多层感知器MLP函数，由网络通过梯度更新和反向传播迭代计算每个注意特征矩阵的权重因子γ和偏置β，对注意特征矩阵进行归一化计算，然后加权求和计算归一化特征矩阵；⑸步骤⑷中的归一化特征矩阵经由激活函数后生成目标域正弦图。进一步，所述步骤⑶注意特征矩阵aS(x)的方法为：其中，为卷积运算后的第k个特征矩阵，是辅助分类器学习到的第k个特征矩阵的重要性权重；n是编码器输出的特征矩阵的数量；所述⑷加权求和计算归一化特征矩阵α的计算方法为：其中，其中，ρ为反向传播更新，μI是实例归一化的均值，μL是层归一化的均值，σI和σL是标准差，ε为偏差系数。进一步，所述步骤3的具体实现方法为：设T,GS→T(xS)为来自目标正弦图和转换后的源正弦图的样本，二者形成集合y作为判别器模块的输入；判别器模块包括依次连接的编码器C、辅助分类器D、全局分类器FT；编码器C本文档来自技高网...

【技术保护点】
1.一种基于注意机制的无监督CT投影域数据恢复方法，其特征在于包括以下步骤：/n步骤1、准备包括受金属植入物影响的源正弦图、不受金属植入物影响的目标正弦图的输入数据集；/n步骤2、构建生成器模块，并经编码器A、辅助分类器B、注意特征矩阵计算、归一化处理及上采样得到目标域正弦图；/n步骤3、构建判别器模块，并经编码器C、辅助分类器D、全局分类器F

【技术特征摘要】
1.一种基于注意机制的无监督CT投影域数据恢复方法，其特征在于包括以下步骤：
步骤1、准备包括受金属植入物影响的源正弦图、不受金属植入物影响的目标正弦图的输入数据集；
步骤2、构建生成器模块，并经编码器A、辅助分类器B、注意特征矩阵计算、归一化处理及上采样得到目标域正弦图；
步骤3、构建判别器模块，并经编码器C、辅助分类器D、全局分类器FT进行判别处理；
步骤4、构建GAN网络的损失函数；
步骤5、使用完整的CT正弦图数据集对GAN网络进行大规模迭代训练，训练过程中不断调整步骤4中的超参数数值以及学习率大小、网络迭代次数，直至每次迭代时整个网络的损失函数变化幅度不超过预先设定的阈值；
步骤6、使用受金属迹线影响的CT正弦图作为测试数据集，得到无金属迹线的正弦图


2.根据权利要求1所述的一种基于注意机制的无监督CT投影域数据恢复方法，其特征在于：所述步骤1中的源正弦图、目标正弦图不完全配对。


3.根据权利要求1所述的一种基于注意机制的无监督CT投影域数据恢复方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：
⑴构建由两个卷积层组成的编码器A，输入x经编码器A下采样的卷积运算提取特征后的输出特征矩阵；
⑵将特征矩阵输入辅助分类器B进行源正弦图和目标正弦图特征矩阵的分类判断，找出每个特征矩阵中对于判断一个特征矩阵是来自于源正弦图还是目标正弦图的最重要的区域；
⑶利用重要性权重计算注意特征矩阵；
⑷将注意特征矩阵经过向量化，输入多层感知器MLP函数，由网络通过梯度更新和反向传播迭代计算每个注意特征矩阵的权重因子γ和偏置β，对注意特征矩阵进行归一化计算，然后加权求和计算归一化特征矩阵；
⑸步骤⑷中的归一化特征矩阵经由激活函数后生...

【专利技术属性】
技术研发人员：史再峰，王仲琦，罗韬，曹清洁，程明，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12