基于运动预测和三维约束的序列图像分割方法技术

本发明专利技术公开了一种基于运动预测和偏三维约束并结合主动轮廓模型的图像序列分割方法，属于图像处理技术领域。以主动轮廓模型上的控制点作为预测模型形变的着手点，把物体变化的平滑性和一致性，表示为控制点位置变化的一致性，以控制点的变化趋势，预测在序列中下一帧图像中相应控制点的位置，然后以预测位置作为匹配的初始搜索位置采用ＭＰＥＧ－４所使用的是菱形搜索算法。本发明专利技术引入了偏三维约束的概念，作为主动轮廓模型的能量之一。这样又尽量避免了错误匹配造成的影响。达到了在简单、计算量小的条件下的较好的预测效果。

【技术实现步骤摘要】

本专利技术属于图像处理
，具体涉及一种基于运动预测和偏三维约束， 并结合主动轮廓模型的图像序列分割方法。
技术介绍
三维图像分割是图像处理和计算机视觉中的一个重要研究领域，广泛应用于 计算机辅助三维重建、运动物体跟踪以及医学中细胞运动和形变的分析等应用领域。三维图像或图像序列与一般图像的不同之处在于:序列图像是针对同一目标， 切片是由间隔相同的距离或时间连续采样而得到的，因此对三维图像的分割既与 一般的图像分割有相同之处,又有特殊之处。传统的主动轮廓模型都要求模型初始化在目标轮廓的附近，否则将可能收敛 到错误的结果。而在三维图像分割中对每一幅切片图进行手工初始化是一种费时 而繁琐的工作，需要找到一种自动化的三维分割方法。现有的基于主动轮廓模型的分割方法主要有1、 预测法，预测法简单易行，利用物体的轮廓一般都是平滑变化这一常识， 用前面数个轮廓的位置，对初始位置的设置进行改进，在自动分割中，如何更精 确的自动设定主动轮廓的初始位置非常重要，初始位置距离实际边缘越接近，收 敛到正确位置的可能性就越大。这种方法有一定效果，但没有利用图像本身的信 息，有进一步改进的空间。2、 光流法，光流法利用光流场的方法迭代获得图像中物体运动的趋势，这 种趋势以一个新的外力的形式影响收敛的结果，有较好的效果。但缺点是方法复 杂，运算量比较大。而且没有改善初始化位置，迭代次数也会比较多，会增加收 敛的时间。3、 三维形变模型法，常规的三维形变模型法是把物体整体建立三维轮廓模 型，虽然利用了相邻图像相关性信息但是模型复杂，计算量大，初始位置设置困 难。如果能在二维轮廓模型中引入三维约束，则可以在二维模型的优点中加入三 维模型的三维平滑的特点，更符合物体的实际特性。
技术实现思路
技术问题本专利技术基于三维图像序列的相似性，采用在视频压縮中常见的运 动估计方法，并与偏三维约束相结合，提出了一种新的适用于三维图像分割的方 法。基于三维图像具有三维平滑、连续变化等特性，本专利技术提出了一种新的图像 序列分割方法。该方法在计算过程中只需手动设置第一幅图中主动形变模型的关 键点位置。在其他图像中，首先采用预测和视频运动估计中常用的块匹配法优化，在MPEG-4和R26x中采用的都是这种块匹配法，然后采用偏三维约束和梯度矢 量流(GVF)，从初始化位置开始在图像中进一步迭代收敛得到每幅图像中的最 终轮廓位置，在一般的二维平滑基础上，达到三维平滑，三维分割的作用。本发 明方法可以显著提高分割的准确性以及速度。技术方案本专利技术公开了一种，该方法包括如下步骤I) 对数字图像初始化II) 在第一帧数字图像轮廓线转向的地方，交互式设置手动控制点，相邻的 两个手动控制点之间均等生成控制点的初始位置；12)迭代收敛，收敛到第一幅图像中物体轮廓的边沿，其过程如下121 )采取加入控制点或合并控制点的方式来调节相邻两个控制点的间距，122) 由蛇的控制点的初始位置出发，以梯度矢量流场替代原图像计算梯度 值并作为外力，123) 计算第一层内能公式为^u^(x,+u+x,一,厂2x》，、y表示第j幅图 像中的第i个控制点的位置，《,',为内部能量，124) 计算合力公式^,。fe =Ant 计算出的合力为零来作为图像收敛的条件，其中E^ke为能量函数，￡e。ra, , 为约束能量来限制控制 点的运动，Ant为内部能量，五^^为外部能量，125) 根据公式XirXij+《;^计算出来的合力移动控制点，、j表示第j幅图像中的第i个控制点的位置，五二^表示第j幅图像中的第i个控制点的位置的能 量函数，126)对图像收敛的处理过程利用公式<formula>complex formula see original document page 8</formula>来判断图像收敛条件，sum(abs(Esnake))表示 为所有控制点合力的绝对值之和，length(Esnake)为控制点的个数，avd为合力的平均值，如果合力的平均值小于0.08时再收敛15次，目的是在合力较小的情况下进 一步接近轮廓，当avd<0.08后且又迭代15次时，迭代结束，得到最终收敛结果， 否则，回到步骤121)，迭代继续进行；13) 对第一帧数字图像不进行控制点位置预测计算，以第一帧数字图像主动 轮廓模型的收敛位置作为控制点的预测位置，按合力公式<formula>complex formula see original document page 8</formula> 计算出的合力为零来作为图像收敛的条件，其中E融e为能量函数，Econstrain为约束能量来限制控制点的运动，Eint为内部能量,Einage为外部能量；14) 块匹配初始搜索点的选择，以预测的下一帧的控制点的位置作为初始 搜索点，和直接采用参考图像对应位置相比，2个图像块比较，相应的像素点两 两求差的绝对值，它们的平均值是最小绝对差匹配准则所求的值，公式中的M,N是图像块的长和宽，Z，)是指在k帧数字图像中(m,n)处像素点的像素值，<formula>complex formula see original document page 8</formula>其中(△p,△q)为位移矢量，fk为当前帧图像的灰度值,fk-1为上一帧图 像的灰度值，图像块大小为M*N为MAD(△p,△q)最小值是最优匹配点，搜索策略为菱形搜索算法，采用9个检测点的大模板和5个检测点的小模板， 对匹配得到的平均绝对差设定门限值，当最终搜索到最优匹配点小于门限值时， 把匹配到的点作为控制点的初始位置；反之，直接把预测位置作为控制点的初始 位置；2)循环21) 设置数字图像帧层数记数器，用于判断是否超过最底数字图像帧层，若 数字图像帧层数没有超过最底数字图像帧层则执行步骤22)，否则结束循环；22) 以前两层收敛的控制点的坐标预测下一层的控制点的位置预测下一帧数字图像的控制点位置，Xi,j表示第j帧数字图像中的第i个控制点的位置，控制点位置的变化用Vi,j,表示为Vi,j =Xi,j—Xi,j-1，得到预测的 j+l帧数字图像中的相应控制点的位置:<formula>complex formula see original document page 9</formula>为预测系数，当k1为0时，直接用上一帧数字图像的分割结果作为初始值；23) 以步骤22)中所预测控制点的位置为起点作为初始搜索点，和直接采 用参考图像对应位置相比，2个图像块比较，相应的像素点两两求差的绝对值， 它们的平均值是最小绝对差匹配准则所求的值，公式中的M,N是图像块的长和宽，fk(m,n)是指在k帧数字图像中(m,n)处像素点的像素值，<formula>complex formula see original document page 9</formula>其中(Δp，Δq)为位移矢量，fk为当前帧图像的灰度值，fk-1为上一帧图像的灰度值，图像块大小为N*N， M4D (Δp,Δq)为最小值是最优匹配点，搜索策略为菱形搜索算法,采用9个检测点的本文档来自技高网...

【技术保护点】
一种基于运动预测和三维约束的序列图像分割方法，其特征在于该方法包括如下步骤：１）对数字图像初始化；１１）在第一帧数字图像轮廓线转向的地方，交互式设置手动控制点，相邻的两个手动控制点之间均等生成控制点的初始位置；１２） 对第一帧数字图像进行迭代收敛，收敛到第一帧数字图像中物体轮廓的边沿；１３）对第一帧数字图像不进行控制点位置预测计算，以第一帧数字图像主动轮廓模型的收敛位置作为控制点的预测位置，按合力公式Ｅ↓［ｓｎａｋｅ］＝Ｅ↓［ｉｎｔ］＋Ｅ ↓［ｉｍａｇｅ］＋Ｅ↓［ｃｏｎｓｔｒａｉｎ］计算出的合力为零来作为图像收敛的条件，其中Ｅ↓［ｓｎａｋｅ］为能量函数，Ｅ↓［ｃｏｎｓｔｒａｉｎ］为约束能量来限制控制点的运动，Ｅ↓［ｉｎｔ］为内部能量，Ｅ↓［ｉｍａｇｅ］为外部能量；１４ ）块匹配初始搜索点的选择，以预测的下一帧的控制点的位置作为初始搜索点，和直接采用参考图像对应位置相比，２个图像块比较，相应的像素点两两求差的绝对值，它们的平均值是最小绝对差匹配准则所求的值，公式中的Ｍ，Ｎ是图像块的长和宽，ｆ↓［ｋ］（ｍ，ｎ）是指在ｋ帧数字图像中（ｍ，ｎ）处像素点的像素值，ＭＡＤ↓［（△ｐ，△ｑ）］＝（１／ＭＮ）＊＊｜ｆ↓［ｋ］（ｍ，ｎ）－ｆ↓［ｋ－１］（ｍ＋△ｐ，ｎ＋△ｑ）｜其中Δｐ，Δｑ为偏移量，ｆ↓［ｋ］为当前帧图像的灰度值，ｆ↓［ｋ－１ ］为上一帧图像的灰度值，图像块大小为Ｍ和Ｎ的乘积值，ＭＡＤ↓［（Δｐ，Δｑ）］为最小值是最优匹配点，采用９个检测点的大模板和５个检测点的小模板，对匹配得到的平均绝对差设定门限值，当最终搜索到最优匹配点小于门限值时，把匹配到的点作为控 制点的初始位置；反之，直接把预测位置作为控制点的初始位置；２）循环：２１）设置数字图像帧层数记数器，用于判断是否超过最底数字图像帧层，若数字图像帧层数没有超过最底数字图像帧层则执行步骤２２），否则结束循环；２２）以前 两层收敛的控制点的坐标预测下一层的控制点的位置：预测下一帧数字图像的控制点位置，ｘ↓［ｉ，ｊ］表示第ｊ帧数字图像中的第ｉ个控制点的位置，控制点位置的变化用Ｖ↓［ｉ，ｊ］表示为：Ｖ↓［ｉ，ｊ］＝ｘ↓［ｉ，ｊ］－ｘ↓［ｉ，ｊ－１］，得到 预测的ｊ＋１帧数字图像中的相应控制点的位置：＊↓［ｉ，ｊ＋１］＝ｘ↓［ｉ，ｊ］＋ｋ↓［１］×Ｖ↓［ｉ，ｊ］，ｋ↓［１］为预测系...

【技术特征摘要】
1.一种基于运动预测和三维约束的序列图像分割方法，其特征在于该方法包括如下步骤1)对数字图像初始化；11)在第一帧数字图像轮廓线转向的地方，交互式设置手动控制点，相邻的两个手动控制点之间均等生成控制点的初始位置；12)对第一帧数字图像进行迭代收敛，收敛到第一帧数字图像中物体轮廓的边沿；13)对第一帧数字图像不进行控制点位置预测计算，以第一帧数字图像主动轮廓模型的收敛位置作为控制点的预测位置，按合力公式Esnake＝Eint+Eimage+Econstrain计算出的合力为零来作为图像收敛的条件，其中Esnake为能量函数，Econstrain为约束能量来限制控制点的运动，Eint为内部能量，Eimage为外部能量；14)块匹配初始搜索点的选择，以预测的下一帧的控制点的位置作为初始搜索点，和直接采用参考图像对应位置相比，2个图像块比较，相应的像素点两两求差的绝对值，它们的平均值是最小绝对差匹配准则所求的值，公式中的M，N是图像块的长和宽，fk(m，n)是指在k帧数字图像中(m，n)处像素点的像素值，2.如权利要求1所述的基于运动预测和三维约束的序列图像分割方法，其 特征在于该方法步骤12)包括如下步骤121) 采取加入控制点或合并控制点的方式来调节相邻两个控制点的间距，122) 由蛇的控制点的初始位置出发，以梯度矢量流场替代原图像计算梯度 值并作为外力，123) 计算第一层内能公式为<formula>see original document page 4</formula>Xi,j表示第j幅图 像中的第i个控制点的位置，Eint为内部能量，124) 计算合力公式五<formula>see original document page 4</formula>计算出的合力为零来作为图像收敛的条件，其中Esake为能量函数，Econstrain为约束能量来限制控制 点的运动，Eint为内部能量，Eimage为外部能量，125) 根据公式<formula>see original document page 4</formula>计算出来的合力移动控制点，、j表示第j幅图像中的第i个控制点的位置，五二L表示第j幅图像中的第i个控制点的位置的能量函数，126) 对图像收敛的处理过程利用公式-avd-sum(abs(Esnake))/length(E咖ke)来判断图像收敛条件，sum(abs(Esnake))表示 为所有控制点合力的绝对...

【专利技术属性】
技术研发人员：董育宁，丁智，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：84[中国|南京]