三维CT层间图像插值修复与超分辨处理方法及装置制造方法及图纸

本发明专利技术提供三维CT层间图像插值修复与超分辨处理方法及装置，利用基于光流估计配准信息对CT图像进行层间插值,由于光流估计的运动场不同,原图像中多个像素可能映射到插值图像中的同一位置,从而导致在插值图像中存在没有原图像像素映射到的区域,这样会使得插值图像存在细小孔洞。所以本发明专利技术进一步对插值产生的层间切片进行修复,提高插值图像质量。基于光流估计进行层间插值的基础上,对插值产生的中间切片利用图像的非局部自相似性进行图像修复,可以增加CT切片数量,提高CT图像层间分辨率,从而提升MFSR重建CT图像的质量,帮助患者在不接受不必要的辐射剂量的情况下得到准确的诊断和治疗。

Interpolation Repair and Super Resolution Processing Method and Device for 3D CT Interlayer Image

【技术实现步骤摘要】
三维CT层间图像插值修复与超分辨处理方法及装置
本专利技术涉及CT图像处理
，尤其涉及三维CT层间图像插值修复与超分辨处理方法及装置。
技术介绍
电子计算机断层扫描(computedtomography,CT)图像是探测器与X线束、超声波等一起围绕人体的某一部位作连续的断面扫描得到的。CT作为一种常用的医学成像方法,因其能够显示人体内某一部位的细节,近年来在中枢神经系统疾病、胸部疾病等的诊断治疗中发挥着极其重要的作用,但是CT图像的分辨率与X射线剂量的多少有着紧密的联系。如果减少X射线剂量,就很有可能出现严重的伪影,病灶部位也很难在CT图像上清楚地呈现出来,降低了诊断的可靠性；如果增加X射线剂量,可能造成免疫系统的损伤,有诱发癌症的潜在风险。其中CT图像超分辨率重建方法发展迅速,近年来的方法主要分为以下两种:1)单个图像超分辨(singleimagesuperresolution,SISR)。它只参考当前低分辨率图像,而不依赖其他相关图像。例如Ledig等人使用生成对抗性网络的真实感进行单幅图像超分辨。Lim等人将增强的深度残差网络用于单幅图像超分辨。使用反卷积深度神经网络实现医学图像超分辨率重建,也是对单幅图像进行操作。2)多个图像超分辨(multi-framesuperresolution,MFSR)。就是用同一场景相邻的图像序列代替单幅图像,并参考这些图像的互补信息,将这一系列低分辨率的图像融合生成一幅高分辨的图像。一般来讲,MFSR相较于SISR具有更充分的可参考信息,能够获得更高质量的高分辨率重建图像。但是为减少X射线对病人的辐射和现有装置的限制,沿上、下方向进行密集采样往往不实际,通常只能获取有限的CT段,导致CT图像序列的层间距较大。CT图像沿上、下方向缺乏足够的结构信息可能使得相邻两层CT图像存在局部结构上的较大差异,因此在MFSR重建的过程中,这些差异可能会对重建的高分辨率图像造成干扰,导致肿瘤前期诊断不够准确,从而对患者的后续治疗造成影响。
技术实现思路
本专利技术将视频处理过程中插帧的思想应用于医学图像超分辨研究。在原有的相邻两个CT切片中插入一个新的切片,解决相邻两层CT图像在局部结构上有较大差异问题。本专利技术方法包括：步骤一，通过CLG-TV光流估计模型求解CT图像相邻切片间像素的对应关系；步骤二，通过像素间对应关系的映射函数找到目标位置，并用图像翘曲方式来插值出中间切片；步骤三，利用4D-CT图像固有的帧间非局部自相似性,对插值过程中产生的细小孔洞和模糊进行图像修复。本专利技术还提供一种实现三维CT层间图像插值修复与超分辨处理方法的装置，包括：存储器，用于存储计算机程序及三维CT层间图像插值修复与超分辨处理方法；处理器，用于执行所述计算机程序及三维CT层间图像插值修复与超分辨处理方法，以实现三维CT层间图像插值修复与超分辨处理方法的步骤。从以上技术方案可以看出，本专利技术具有以下优点：本专利技术利用基于光流估计配准信息对CT图像进行层间插值,但是在插值过程中,由于光流估计的运动场不同,原图像中多个像素可能映射到插值图像中的同一位置,从而导致在插值图像中存在没有原图像像素映射到的区域,也就是像素缺失,这样会使得插值图像存在细小孔洞。所以本专利技术进一步对插值产生的层间切片进行修复,提高插值图像质量。本专利技术在基于光流估计进行层间插值的基础上,对插值产生的中间切片利用图像的非局部自相似性进行图像修复,可以增加CT切片数量,提高CT图像层间分辨率,从而提升MFSR重建CT图像的质量,帮助患者在不接受不必要的辐射剂量的情况下得到准确的诊断和治疗。附图说明为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为矢状面层间插值示意图；图2为横断面层间插值示意图；图3为本专利技术框架流程图；图4为基于光流场的运动估计示意图图5为使用CLG-TV光流估计算法对三幅冠状面图像进行光流估计示意图；图6为在两个连续CT图像之间插值产生新的中间切片可能会产生孔洞示意图；图7为基于块的非局部自相似性示意图；图8为本专利技术图像修复效果图，(a)为修复前原图像及局部放大图,(b)为修复后原图像及局部放大图；图9为本专利技术插值结果展示，框内为插值产生的层间切片,框外为输入的连续CT切片,箭头指向连续变化明显区域；图10为各算法实现效果对比与误差图像示意图；图11为三维CT层间图像插值修复与超分辨处理方法流程图。具体实施方式本专利技术将视频处理过程中插帧的思想应用于医学图像超分辨研究。在原有的相邻两个CT切片中插入一个新的切片,解决相邻两层CT图像在局部结构上有较大差异问题。在肺部矢状面上的效果如图1所示,水平实线是实际扫描得到的原始CT切片,水平虚线是需要插值得到的中间CT切片。在横断面上的效果如图2所示,(a)表示输入的图像序列,(b)是需要插值产生的中间切片序列。本专利技术利用基于光流估计配准信息对CT图像进行层间插值,但是在插值过程中,由于光流估计的运动场不同,原图像中多个像素可能映射到插值图像中的同一位置,从而导致在插值图像中存在没有原图像像素映射到的区域,也就是像素缺失,这样会使得插值图像存在细小孔洞。所以本专利技术进一步对插值产生的层间切片进行修复,提高插值图像质量。能够在保持图像结构信息的同时进行修复,但是该方法在实际应用中难以保证找到的样本块是最优的,容易造成修复误差。使用多个样本块的加权均值来合成用于填充待修复区域的填充块。CT图像序列固有的自相似性为修复提供了一个前提条件,因此,本专利技术在基于光流估计进行层间插值的基础上,对插值产生的中间切片利用图像的非局部自相似性进行图像修复,可以增加CT切片数量,提高CT图像层间分辨率,从而提升MFSR重建CT图像的质量,帮助患者在不接受不必要的辐射剂量的情况下得到准确的诊断和治疗。本专利技术提出一种基于光流估计的三维CT层间图像插值与修复算法。包含三个步骤：如图11所示，S1，通过CLG-TV光流估计模型求解CT图像相邻切片间像素的对应关系；S2，通过像素间对应关系的映射函数找到目标位置，并用图像翘曲方式来插值出中间切片；S3，利用4D-CT图像固有的帧间非局部自相似性,对插值过程中产生的细小孔洞和模糊进行图像修复。通过以上操作可以快速得到高质量的插值CT切片,提高CT图像的层间分辨率。算法的整个框架如图3所示,I1和I2是输入的两幅连续CT图像,F是稠密光流场,f是像素间对应关系的映射函数,Iip是合成的层间图像,Is是一个原有的切片序列集合,通过非局部自相似性得到相似块矩阵来填补像素缺失产生的孔洞。在S1中，由于人体器官结构形状变化很快,如果扫描时间间隔较长,在不同的切片上可能会有比较大的不同,因此求解CT图像的大位移光流场是一个比较困难的问题。在光流计算方法中,全局(HS)算法中的数据项是对单个像素点的亮度守恒假设,其鲁棒性较差,但可以得到稠密的光流场；局部(LK)算法中的数据项是对单个像素点附近的小邻域内的像素点的亮度守恒假设,对噪声有很好的鲁棒性,但是只能获得稀疏的光流场。基于CLG算法的全变分光流场估计本文档来自技高网...

【技术保护点】
1.三维CT层间图像插值修复与超分辨处理方法，其特征在于，方法包括：步骤一，通过CLG‑TV光流估计模型求解CT图像相邻切片间像素的对应关系；步骤二，通过像素间对应关系的映射函数找到目标位置，并用图像翘曲方式来插值出中间切片；步骤三，利用4D‑CT图像固有的帧间非局部自相似性,对插值过程中产生的细小孔洞和模糊进行图像修复。

【技术特征摘要】
1.三维CT层间图像插值修复与超分辨处理方法，其特征在于，方法包括：步骤一，通过CLG-TV光流估计模型求解CT图像相邻切片间像素的对应关系；步骤二，通过像素间对应关系的映射函数找到目标位置，并用图像翘曲方式来插值出中间切片；步骤三，利用4D-CT图像固有的帧间非局部自相似性,对插值过程中产生的细小孔洞和模糊进行图像修复。2.根据权利要求1所述的三维CT层间图像插值修复与超分辨处理方法，其特征在于，步骤一还包括：通过CLG算法将全局算法中对单个像素点使用亮度守恒假设扩展到它的邻域内,平滑项不做改变,得到更加准确致密的光流场；CLG光流估计模型为：ECLG＝∫Ω(W2(x,y)·(Ixvx+Iyvy+It)2+S)dxdy.(1)其中,W(x,y)是以点(x,y)为中心的邻域Ω内每个点的权重系数,Ix、Iy、It是像素点的灰度沿x、y、t方向的偏导数为平滑项；对于CLG光流估计模型中L2范数对图像噪声敏感的问题,引入对光流的L1范数约束,使估计模型具有更加鲁棒的抗噪性能同时引入双边滤波技术和各向异性扩散的平滑策略；给数据项添加双边滤波约束和各向异性正则化增强了特定的填充过程,得到CLG-TV变分光流估计模型:上式中,为数据项,ω为数据项与平滑项之间的权重系数,bfw表示对数据项进行平滑滤波,region代表双边滤波器的作用域；平滑项Esmooth使用图像驱动的各向异性扩散因子数据项的定义如下：其中,X＝(x,y)为像素点坐标,F＝(vx,vy)为二维方向上的光流，x表示x方向和y表示y方向,F0为光流场的初始估计。3.根据权利要求2所述的三维CT层间图像插值修复与超分辨处理方法，其特征在于，步骤一还包括：在求解光流模型过程中,采用纹理结构分解方法和由粗到精的高斯金字塔算法，对图像进行结构纹理分解,将输入图像I分解为包含图像结构信息的部分Is和包含图像纹理信息的部分It,It＝I-Is,由于It基本上没有受到阴影、遮挡等的影响,将It作为新的输入图像,初始化F0；由图像大小确定金字塔层数每一层光流有是从低精度的k层传向k+1层的光流,是从k层传向k+1层的光流增量；利用交替方向乘子法(ADMM)快速迭代求解光流,直至k＝n-1。4.根据权利要求1所述的三维CT层间图像插值修复与超分辨处理方法，其特征在于，步骤二还包括：在三维CT图像层间插值过程中,将传统方法中的翘曲操作引入到算法中，取得插值结果；基于图像翘曲计算原图像中的每个像素与其运动矢量之间的映射函数,实现像素点的位移，得到目标图像；对两幅图像之间的中间层进行插值是对发生的运动进行插值,使运动物体沿运动轨迹...

【专利技术属性】
技术研发人员：刘慧，林毓秀，郭强，张彩明，
申请(专利权)人：山东财经大学，
类型：发明
国别省市：山东,37