一种基于肝脏超声造影图像的实时跟踪及定量分析方法技术

本发明专利技术属于计算机视觉、数字图像处理技术领域，具体涉及一种基于肝脏超声造影图像的实时跟踪及定量分析方法。本发明专利技术主要包括：(1)从肝脏序列图像的初始帧中选取感兴趣区域，采用光流法和粒子滤波法相结合的方法确定候选区域；(2)利用深度神经网络提取候选样本的特征，获得跟踪结果；(3)通过相似度匹配判定当前跟踪结果的准确性；(4)量化观察点区域的造影参数，排除图像中的波动式干扰，采用三次样条插值法拟合时间强度曲线，使医生的视觉和鉴别诊断更加直观。相比于现有技术，本发明专利技术利用组织形变具有周期的特性，通过全局和局部区域结合的方法，使其在跟踪效果和速度上具有显著优势。

Real time tracking and quantitative analysis method based on liver ultrasound contrast image

The invention belongs to the field of computer vision and digital image processing technology, in particular to a real-time tracking and quantitative analysis method based on liver ultrasonic contrast images. The invention mainly includes: (1) selected region of interest from the initial frame of liver image sequences, the candidate region method is used to determine the optical flow method and particle filter method; (2) feature extraction of candidate samples using the depth of the neural network, tracking results obtained; (3) to determine the current matching accuracy of tracking results through similarity; (4) the quantitative observation of contrast parameter area, eliminate the fluctuant interference in the image, the three spline interpolation fitting time intensity curve, the visual and differential diagnosis of the doctor's more intuitive. Compared with the prior art, the invention has obvious advantages in tracking effect and speed by utilizing the periodic characteristics of the tissue deformation and by combining the global and the local areas.

【技术实现步骤摘要】
一种基于肝脏超声造影图像的实时跟踪及定量分析方法
本专利技术属于计算机视觉、数字图像处理
，具体涉及一种基于肝脏超声造影图像的实时跟踪及定量分析方法。
技术介绍
目前，造影成像逐渐成为医学诊断的重要手段。而造影图像序列中感兴趣区域观察点的跟踪及量化分析，可以辅助临床医生对肝脏疾病进行科学的判断和决策，节约医生的诊断时间，减少主观判断带来的影响。随着造影成像技术和跟踪方法的发展，对感兴趣区域的客观量化分析也逐渐发展起来，现实中造影参数的定性量化是对选取的感兴趣区域观察点进行跟踪分析，其中时间强度曲线(TIC)不仅可以提供直观的视觉量化，而且通过分析计算还可以得到定量参数，如曲线下面积、峰值强度、达峰强度、增强时间、增强密度等等，进一步辅助医生更客观的进行分析。但是在超声造影诊断中，由于跟踪技术的不足和肝脏组织形变、甚至导致观察点消失的问题，给造影图像的跟踪和定量分析带来一定的难度和挑战性，其中主要存在以下两点不足：一是目标跟踪技术的不足，传统的跟踪方法对目标变形、旋转变化、遮挡等适应性强的特点得到重视和研究，但是在描述目标的特征选择上比较单一。赵悦等人利用超声图像的纹理信息训练神经网络，改进传统的运动跟踪方法，提高目标跟踪的精确度，但是复杂背景下的感兴趣区域跟踪，尤其是非刚性的运动序列图像，存在着遮挡、变形、漂移等不可控因素，导致跟踪效果不佳，甚至跟踪失败。二是外界不可控因素的限制，如探头的不断移动和人体的呼吸，以致组织运动发生形变、感兴趣区域消失，进而造成参数量化指标抖动剧烈、峰值极低，使得拟合的参数曲线视觉效果不利于医务工作者的定量分析和病情诊断。王本刚等人通过彩色编码当前感兴趣区域，获取参数分析曲线及造影速度曲线，但是并未考虑目标区域消失的现象，所以现有的定量分析技术并未充分考虑到上述情况，不利于定性计算出平滑且稳定的时间强度曲线。综合上述，由于肝脏组织的形变和造影图像的复杂性，肝脏超声造影图像的实时多目标跟踪及定量分析仍面临着挑战。
技术实现思路
鉴于现有技术的不足，本专利技术提供一个肝脏造影图像感兴趣区域跟踪及定量分析的方法，针对造影图像中关键区域跟踪过程中组织形变导致观察点漂移甚至消失的问题，采用深度学习模型和传统算法相结合的方法跟踪感兴趣区域，再使用插值法准确的定量分析时间强度曲线。本专利技术的技术方案是：一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，包括以下步骤：S1、根据获得的造影序列图像，选择目标区域进行跟踪；S2、提取选择的目标区域的特征，通过判别分类器获取跟踪结果；S3、判断当前跟踪结果的准确性，丢弃准确度低的图像，获得有效的量化参数稳定的时间强度曲线。进一步的，所述步骤S1的具体方法为：S11、根据获得的造影序列图像，输入连续的图像帧；S12、在初始帧中手动选择目标作为待跟踪区域，首先采用方向梯度直方图进行特征提取；S13、计算第K-1帧中待跟踪区域的光流分量：在第K-1帧中待跟踪区域附近随机地抽取N个粒子，计算各粒子区域的光流分量；S14、获得当前帧的光流场：根据目标运动在序列图像邻帧之间的连续性和流动性，计算光流向量场，即对第K-1帧中图像的特征点(ux，uy)，求出其在当前帧图像中的位置偏移，即图像在点u处的运动速度，也就是像素点的光流；S15、计算每个粒子的权重：利用直方图相似性度量计算粒子区域与目标区域的相似度，将归一化后的值作为粒子权重；S16、根据获得的权重对粒子区域重新分布：更新粒子，权值大的地方多放置粒子，其他区域少放置粒子；S17、根据放置的粒子，确定目标候选区域。进一步的，所述步骤S2的具体方法为：S21、获取候选样本：当新的一帧即当前帧到达时，根据步骤S17中产生的若干个候选目标的矩形区域，以这些区域作为候选样本；S22、对候选样本预处理：采取尺度归一化的方式对获取的候选样本区域进行预处理，即将图片缩放到统一的尺寸大小；S23、利用深度神经网络提取多个候选区域的特征，通过判别分类器获取跟踪结果：S231、特征预训练：选择卷积神经网络作为学习模型，使用稀疏自动编码机的方法，采集大量的图片进行无监督的特征训练，通过预训练网络过程来获得卷积神经网络使用的滤波器参数，使得后续能提取候选样本区域的边缘特征；S232、选择网络结构：选择有5个卷积层和3个全连接层的网络结构，将候选目标矩形框作为网络的输入端，进行特征提取计算，最后经过全连接层后，输出特征向量；S233、通过判别分类器获取跟踪结果：采用支持向量机SVM对候选区域进行分类，将步骤S232中提取得到的特征向量作为判别分类器的输入，得到的概率P定义为跟踪目标的置信度，选择最高的置信度Pmax作为当前帧目标跟踪的最终结果。进一步的，所述步骤S3的具体方法为：S31、通过相似度匹配判定当前跟踪结果的准确性：S311、获得第一帧图像的直方图特征和当前帧结果的直方图特征；S312、根据直方图特征，用巴氏系数算法求出这两个图像的相似度d，其计算公式如下所示：其中，F1和F2分别代表肝脏造影序列图像的第1帧和第2～n帧，I为图像像素灰度值的概率分布，d表示巴氏系数∈[0,1]，为0表示F1，F2分布完全一致，1表示完全不同；S313、定义阈值θ，将巴氏系数值d与设定的阈值θ进行比较：当d<θ时，表示当前跟踪效果较好，得到的相似度最大，直接输出目标正确的位置；反之，即d>θ时，表示当前跟踪的效果较差，丢弃该帧图像，然后循环下一帧继续跟踪；S32、采用三次样条插值法拟合时间强度曲线：S321、根据步骤S313中获得的跟踪效果好的图像，计算其造影图像的灰度值，将灰度值转换成造影强度；S322、将当前所有帧的造影强度按照每一帧的时间顺序显示出来，形成原始时间强度曲线；S323、采用三次样条插值函数平滑处理，以消除周期性波动干扰带来的参数误差，得到平滑稳定的时间强度曲线；S324、计算造影特征量化参数，包括曲线下面积Area，峰值强度PI，增强时间TE，增强密度DE。本专利技术的有益效果是：本专利技术设计了一种基于肝脏超声造影图像的实时多目标跟踪及定量分析方法，通过该方法，可以达到较好的实时跟踪效果，获得平滑且稳定的时间强度曲线，量化分析病变特征，进而给医生提供客观准确的参考价值，具有临床应用意义。附图说明图1为本专利技术方法的总体流程图；图2为粒子滤波和光流法相结合的跟踪流程图；图3为基于深度学习框架的跟踪流程图；图4为拟合及量化时间强度曲线流程图。具体实施方式下面结合附图，详细描述本专利技术的技术方案：如图1所示是本专利技术的总体方案流程图，主要包括以下三个步骤：步骤1、采用全局光流法和粒子滤波法，建立目标搜索策略，对候选区域进行跟踪计算，流程见附图2；步骤2、利用深度神经网络提取多个候选区域的特征，获取跟踪结果，确定跟踪区域，流程见附图3；步骤3、根据跟踪结果，量化观察点区域的造影参数，拟合出稳定的时间强度曲线，流程见附图4。步骤1、建立目标搜索策略采用全局光流法和粒子滤波法，建立目标搜索策略，对候选区域进行跟踪计算。首先通过粒子滤波算法实现对观察点区域的跟踪，其中采用全局微分光流法计算光流向量场，通过计算粒子区域与目标区域的相似度作为粒子权重，在靠近目标区域的地方多放置粒子，远离目标区域的地方少放置粒子，从而对本文档来自技高网...

【技术保护点】
一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，包括以下步骤：S1、根据获得的造影序列图像，选择目标区域进行跟踪；S2、提取选择的目标区域的特征，通过判别分类器获取跟踪结果；S3、判断当前跟踪结果的准确性，丢弃准确度低的图像，获得有效的量化参数稳定的时间强度曲线。

【技术特征摘要】
1.一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，包括以下步骤：S1、根据获得的造影序列图像，选择目标区域进行跟踪；S2、提取选择的目标区域的特征，通过判别分类器获取跟踪结果；S3、判断当前跟踪结果的准确性，丢弃准确度低的图像，获得有效的量化参数稳定的时间强度曲线。2.根据权利要求1所述的一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，所述步骤S1的具体方法为：S11、根据获得的造影序列图像，输入连续的图像帧；S12、在初始帧中手动选择目标区域作为待跟踪区域；S13、计算第K-1帧中待跟踪区域的光流分量：在第K-1帧中待跟踪区域附近随机地抽取N个粒子，计算各粒子区域的光流分量；S14、获得当前帧的光流场：根据目标运动在序列图像邻帧之间的连续性和流动性，计算光流向量场，即对第K-1帧中图像的特征点(ux，uy)，求出其在当前帧图像中的位置偏移，即图像在点u处的运动速度，也就是像素点的光流；S15、计算每个粒子的权重：利用直方图相似性度量计算粒子区域与目标区域的相似度，将归一化后的值作为粒子权重；S16、根据获得的权重对粒子区域重新分布：更新粒子，权值大的地方多放置粒子，其他区域少放置粒子；S17、根据放置的粒子，确定目标候选区域。3.根据权利要求2所述的一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，所述步骤S2的具体方法为：S21、获取候选样本：当新的一帧即当前帧到达时，根据步骤S17中产生的若干个候选目标的矩形区域，以这些区域作为候选样本；S22、对候选样本预处理：采取尺度归一化的方式对获取的候选样本区域进行预处理，即将图片缩放到统一的尺寸大小；S23、利用深度神经网络提取多个候选区域的特征，通过判别分类器获取跟踪结果：S231、特征预训练：选择卷积神经网络作为学习模型，使用稀疏自动编码机的方法，采集大量的图片进行无监督的特征训练，通过预训练网络过程来获得卷积神经网络使用的滤波器参数，使得后续能提...

【专利技术属性】
技术研发人员：龚勋，许新，易心一，罗俊，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川,51