一种基于灰度纹理特征的超声图像运动目标跟踪方法技术

本发明专利技术公开了一种基于灰度纹理特征的超声图像运动目标跟踪方法，其步骤如下：步骤一、对包括训练集与运动估计序列图像在内的所有图像进行预处理；步骤二、抽取训练集图片模板，划分网格并提取灰度纹理信息作为特征，建立训练数据；步骤三、建立反向传播神经网络结构，利用步骤二得到的训练集训练BP前馈神经网络，建立特征与结果的联系；步骤四、开始跟踪目标，从第一帧起，提取目标区域，对下一帧的搜索区域进行互相关匹配，得到预选坐标并提取灰度纹理特征，输入神经网络，得到目标最佳位置。本发明专利技术充分利用已有超声图像的纹理信息训练神经网络，使用已训练的神经网络在线校正模板，改进现有的运动跟踪方法，提高运动目标跟踪的精确度。

【技术实现步骤摘要】

本专利技术属于图像处理领域，涉及一种基于互相关估计与灰度纹理特征的模板匹配算法，以及在线跟踪中的匹配模板的更新方法。
技术介绍
近年来，医学影像逐渐成为医生诊断与治疗的重要辅助手段，其中超声图像由于其实时性与安全性正发挥着越来越大的作用。由于呼吸作用及其他不确定因素，在超声图像成像后对病灶或特定器官的跟踪显得很有必要，目前应用较广泛的运动估计算法有meanshift算法、最小绝对误差和(SumofAbsoluteDifferences，SAD)、互相关匹配法等等。超声动态图像的特征区域跟踪技术是图像序列运动估计的一种，运动估计是数字视频处理与计算机视觉领域中一个非常活跃的分支，在民用与军用的许多方面都有着广泛的应用。目前的运动估计算法中，有些针对刚体运动目标，有些针对非刚体运动目标，而在大多数应用中，运动目标都可能出现旋转、变形和遮挡等复杂情况，在传统算法中，这些因素都有可能导致跟踪失败。模板匹配法即首先选取好目标区域作为模板，通过某种方法预测目标在下一时刻可能出现的位置并进行匹配，匹配方式可以是互相关或者帧间模板求差值等。但这种方法常常带来误差的累积，随着时间的增长误差越来越大甚至出现跟踪失败。Meanshift算法利用目标函数的梯度信息来估计目标的位置，并具有线性收敛特点。在跟踪过程中，该方法通过计算当前窗口直方图分布，通过相似性度量来判断局部极大值，使搜索窗口沿着密度增加最快的方向移动。这种算法在某些特定图像效果很好，但速度较慢，无法满足超声图像的实时性要求。灰度共生矩阵及灰度纹理特征是研究图像纹理特征的一个有效手段，并广泛应用于生物医学、目标识别以及遥感图像等领域，它通过灰度的空间相关特性来描述纹理特征，很好的利用了图像的纹理信息。互相关估计算法速度较快，考虑到实时性，引入互相关估计进行初步估计运动状态可以加快匹配速度。呼吸作用引起的超声图像中的目标运动及形变有周期性，利用这一点可以在线更新模板以达到不断校正误差的目的。
技术实现思路
本专利技术的目的在于克服现有传统算法精度不足的缺点，提出一种基于互相关估计与灰度纹理信息相结合的图像运动估计算法，充分利用已有超声图像的纹理信息训练神经网络，使用已训练的神经网络在线校正模板，改进现有的运动跟踪方法，提高运动目标跟踪的精确度。本专利技术的目的是通过以下技术方案实现的：一种基于灰度纹理特征的超声图像运动目标跟踪方法，包括如下步骤：步骤一、对包括训练集与运动估计序列图像在内的所有图像进行预处理：超声图像具有强烈的斑点噪声，且整体灰度值较为集中，在不影响图像纹理信息的基础上，采取均值滤波器对图像进行滤波，采用直方图均衡方法均衡灰度，提高对比度。步骤二、抽取训练集图片模板，划分网格并提取灰度纹理信息作为特征，建立训练数据：(1)训练集中包括H张图片中的目标坐标，在第一幅图中人工指定模板大小，以每个训练集中的目标坐标为中心，按照模板大小在周围取出模板训练集正例；(2)在每张图片的目标坐标周围偏移3-10像素值位置处取出反例坐标，按模板大小取出反例模板训练集；(3)对每个模板均进行如下操作：划分成a×b个网格，每个小网格都提取出对比度(contrast)、能量(angularsecondmoment，ASM)、相关性(correlation)、熵(entropy)四个特征，将每个模板提取出的4×a×b个特征作为一组数据，把各个模板的数据合在一起，做归一化处理，构成训练集。步骤三、建立反向传播神经网络结构，利用步骤二得到的训练集训练BP前馈神经网络，建立特征与结果(是否是目标)的联系。本步骤中，BP前馈神经网络的输入为步骤二中所有特征，网络包含两层隐藏层，采用Sigmod型激活函数，输出为0(反例)或1(正例)，神经网络如图2所示。步骤四、开始跟踪运动估计序列图像目标，从第一帧起，提取目标区域，对下一帧的搜索区域进行互相关匹配，得到预选坐标并提取灰度纹理特征，输入步骤三训练后的BP前馈神经网络，得到目标最佳位置。本步骤中，当得到第n(n>1)帧的目标坐标后，以坐标为中心，按照选定的模板大小得到第n帧的模板wn，在第n+1帧中以此坐标为中心划出比模板边长长1.5～2倍的待匹配区域Tn+1，wn与Tn+1作归一化互相关，得到wn在Tn+1中各个位置的匹配值，匹配值从大到小前5％的位置作为预选坐标。以预选坐标为中心取出模板，按步骤二的方法划分网格、提取灰度纹理特征、进行归一化，得到特征向量。本步骤中，将特征向量输入神经网络后，第二隐藏层与输出层之间不通过激活函数，而是直接取得权重向量与第二隐藏层输出向量的乘积。所有待选位置的特征值均做此操作，乘积最大的输入即为最佳目标坐标，以后每一帧均如此。本专利技术与传统目标跟踪算法相比，具有如下优点：(1)本专利技术采用灰度纹理信息作为训练特征，利用了超声图像纹理信息丰富的特点。同时对匹配模板划分成网格而不用整体，避免了模板漂移导致的部分区域匹配度较高而部分区域较低的情况。(2)本专利技术并未完全摒弃互相关匹配，而是利用了其速度快的优点进行跟踪预估。同时取出匹配度较好的坐标进行精细处理，这样既提高了跟踪速度，保证实时性，又避免了互相关匹配中邻近坐标区分度不大的缺点。(3)本专利技术设计了一种新的模板更新流程，利用神经网络训练已有数据，在跟踪中将待选模板输入网络寻得最佳模板，在线更新并校正，避免了传统方法中目标坐标漂移的不足，大大提高了跟踪精度。(4)本专利技术充分利用超声图像纹理信息，实现在线坐标精确甄选，定位精度高，实时性好，将其应用于基于超声图像伺服控制的医疗机械臂中，具有临床应用意义。附图说明图1为本专利技术的模板匹配流程图；图2为神经网络的结构图。具体实施方式下面结合附图对本专利技术的技术方案作进一步的说明，但并不局限于此，凡是对本专利技术技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本专利技术的保护范围中。本专利技术提供了一种基于灰度纹理特征的超声图像运动目标跟踪方法，实现本方法的前提是存在医学专家标定的跟踪目标图集。首先将图像序列进行预处理，滤掉超声的斑点噪声，并尽可能减小有用信息的损失；从训练数据中取手工标定的坐标数据，划出感兴趣区域(regionofinterest，ROI)并划分网格，抽取灰度特征形成矩阵作本文档来自技高网...

【技术保护点】
一种基于灰度纹理特征的超声图像运动目标跟踪方法，其特征在于所述方法步骤如下：步骤一、对包括训练集与运动估计序列图像在内的所有图像进行预处理；步骤二、抽取训练集图片模板，划分网格并提取灰度纹理信息作为特征，建立训练数据；步骤三、建立反向传播神经网络结构，利用步骤二得到的训练集训练BP前馈神经网络，建立特征与结果的联系；步骤四、开始跟踪运动估计序列图像目标，从第一帧起，提取目标区域，对下一帧的搜索区域进行互相关匹配，得到预选坐标并提取灰度纹理特征，输入步骤三训练后的BP前馈神经网络，得到目标最佳位置。

【技术特征摘要】
1.一种基于灰度纹理特征的超声图像运动目标跟踪方法，其特
征在于所述方法步骤如下：
步骤一、对包括训练集与运动估计序列图像在内的所有图像进行
预处理；
步骤二、抽取训练集图片模板，划分网格并提取灰度纹理信息作
为特征，建立训练数据；
步骤三、建立反向传播神经网络结构，利用步骤二得到的训练集
训练BP前馈神经网络，建立特征与结果的联系；
步骤四、开始跟踪运动估计序列图像目标，从第一帧起，提取目
标区域，对下一帧的搜索区域进行互相关匹配，得到预选坐标并提取
灰度纹理特征，输入步骤三训练后的BP前馈神经网络，得到目标最
佳位置。
2.根据权利要求1所述的基于灰度纹理特征的超声图像运动目
标跟踪方法，其特征在于所述步骤一中，预处理方法为：采取均值滤
波器对图像进行滤波，采用直方图均衡方法均衡灰度。
3.根据权利要求1所述的基于灰度纹理特征的超声图像运动目
标跟踪方法，其特征在于所述步骤二的具体步骤如下：
(1)训练集中包括H张图片中的目标坐标，在第一幅图中人工
指定模板大小为M×N，其中M与N分别表示模板的宽与...

【专利技术属性】
技术研发人员：赵悦，李佳昕，沈毅，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23