一种交互式轮廓提取方法技术

本发明专利技术公开了一种交互式轮廓提取方法，包括步骤：1)建立l‑d轴坐标系，以用户交互草图为初始化，建立以初始曲线为中心的l‑d轴坐标系；2)局部轮廓线提取，将l‑d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题，并使用动态规划求解局部最优解；3)多尺度局部轮廓线集合的生成，在初始化曲线上提取不同长度密集重叠的局部轮廓线集合；4)全局轮廓线融合，使用一种基于wPCA的方法，从冗余的局部轮廓线集合中提取出一条全局轮廓线。本发明专利技术方法能够表示任意复杂的物体轮廓，并且具有准确便捷，用户交互少，运行速度快，全局轮廓线连续和平滑的优点。

An interactive contour extraction method

The invention discloses an interactive contour extraction method, which comprises the following steps: 1) establishing the l_d axis coordinate system, initializing the user interaction sketch, establishing the l_d axis coordinate system centering on the initial curve; 2) extracting the local contour and modeling the process of searching the local contour in the l_d axis coordinate system as the maximum energy function; The problem is solved by dynamic programming; 3) generating multi-scale local contour sets, extracting densely overlapped local contour sets of different lengths on initialization curves; 4) global contour fusion, using a method based on wPCA, extracting a global contour from redundant local contour sets. Line. The method of the invention can represent arbitrarily complex object contour, and has the advantages of accurate and convenient, less user interaction, fast running speed, continuous and smooth global contour.

【技术实现步骤摘要】
一种交互式轮廓提取方法
本专利技术涉及视频处理的
，尤其是指一种交互式轮廓提取方法。
技术介绍
随着计算机视觉和图像处理的快速发展，其相关技术的应用范围越来越广泛，尤其是在无人驾驶、人脸识别、增强现实(Augmentedreality，简记为AR)、医学影像处理和工业控制等方面出现了很多新理论和新方法，并出现了很多优秀的商业化应用，使得这个领域被越来越多的人们所熟悉和关注。物体轮廓提取或检测是计算机视觉和图像处理中最重要的底层处理之一，它用于提取图像中对象的边界，提供图像中物体关键的轮廓信息。而这些信息可以用于图像分割、物体检测、遮挡和深度推理以及三维重建等很多领域，具有重要的研究意义和价值。近年来计算机技术和光学摄影水平都得到了极大的提升，但是在实际中提取出精确的物体轮廓仍然有很大的困难。首先是场景、光照以及物体轮廓的复杂程度等物理条件方面的原因，在复杂场景和光照条件以及物体轮廓凹凸不平的情况下，提取物体轮廓本身就极具挑战性。另外是受摄影设备精度和图像数据压缩存储的影响，所处理的图像存在很多噪声。虽然可以通过图像去噪方法减轻这一问题，但难免会丢失细节信息，这对于提取精确的物体轮廓造成了干扰。目前提取出精确的物体轮廓仍然是一个十分具有挑战性的问题。同时轮廓提取也是个经久不衰的研究领域，研究人员提出很多方法用于解决这个问题。早期的方法大都是一些局部分析方法，主要是使用显著的梯度信息定位图像的边缘。非常经典的局部方法有Robert，Sobel，Canny和Prewitt等。这些方法主要是用边缘检测模板来检测局部像素灰度的急剧变化。除了灰度信息，颜色和纹理信息也经常被用来帮助寻找图像边缘。局部轮廓提取方法得到的边缘信息经常是离散的，并不围成连续的闭合区域。所以全局方法则是试图将局部的边缘连接起来以获得完整的轮廓。全局方法通常使用图算法，将每个单独的边缘看作图的一个节点，然后将节点之间没有检测到的潜在边缘连接起来。全局的轮廓结构一般满足Gestalt准则，例如临近、闭合、对称等等。全局方法利用图算法，条件随机场、置信传播和特征值等方法，将上下文信息结合起来通过局部边缘推测全局结构。局部方法可以检测出边缘信息而无法提取出完整物体轮廓，全局方法的准确性和鲁棒性难以满足要求。同时轮廓提取方法和图像分割技术十分相关,但是又不完全等同。图像分割是将图像分成不同的区域，每个区域对应着某个物体或者背景，而这块区域的边界就是物体的轮廓。轮廓提取常被用于辅助图像分割，但轮廓提取本身并不保证产生闭合的轮廓线，所以并不能将图像分为若干区域。反过来，根据图像分割的结果总是可以将所得区域的边界提取出来。图像分割的方法有很多种，例如图割(graphcuts)，正则化切割(normalizedcuts)，和均值漂移聚类(mean-shiftclustering)等。但是图像分割的方法获得的轮廓质量较差，无法获得平滑精确的物体轮廓。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种交互式轮廓提取的方法，可以灵活鲁棒地提取用户需要的物体轮廓。受素描技巧启发，本专利技术先通过动态规划生成局部轮廓线，然后基于主成分分析进行全局融合得到全局轮廓线，充分利用大量重叠局部轮廓线间的交叉验证，提高轮廓提取的有效性和准确性。为实现上述目的，本专利技术所提供的技术方案为：一种交互式轮廓提取方法，包括以下步骤：1)建立l-d轴坐标系，以用户交互草图为初始化，建立以初始曲线为中心的l-d轴坐标系；2)局部轮廓线提取，将l-d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题，并使用动态规划求解局部最优解；3)多尺度局部轮廓线集合生成，在初始化曲线上提取不同长度密集重叠的局部轮廓线集合；4)全局轮廓线融合，使用一种基于wPCA的方法，从冗余的局部轮廓线集合中提取出一条全局轮廓线。在步骤1)中，所述的建立以初始曲线为中心的l-d轴坐标系，具体如下：将初始化曲线的开始位置定义为l-d轴坐标系的原点O。沿着初始化曲线的是l坐标轴，垂直于初始化曲线的是d坐标轴。初始化曲线上的一个点p(x,y)，p点沿着初始化曲线到O点的距离是l0。根据下面公式可以将l-d轴坐标系中的任意一点p'(l0,d0)转化到图像坐标系：其中(xp',yp')是点p'在图像坐标系的坐标，表示将(l0,d0)转换到图像坐标系。p点是(l0,d0)在l坐标轴上对应的位置，可以通过计算，n是初始化曲线在点p处的法向量。根据以上定义，对目标轮廓线进行采样，获取其在l-d轴坐标系中一系列的离散点。L是初始化曲线的总长度，在初始化曲线上均匀采样M个点{(li,0)|i∈{1,2,...,M}}，其中目标轮廓线通过一系列离散点来表示：其中是目标轮廓线，(li,di)是目标轮廓线上采样的点，M表示目标轮廓线点的数目。l-d轴坐标系中的局部轮廓线则可以通过其中一部分点来表示：其中是局部轮廓线，(li,di)是局部轮廓线上均匀的点，其开始的位置是s，结束的位置是t，s≥1并且t≤M。最后将di的范围限制在[-r,r]之间，这样所有的局部轮廓线都是在以初始化曲线为中心轴，宽度为2r的带状区域之内。在步骤2)中，所述的局部轮廓线的提取，具体如下：通过最大化局部轮廓线的能量函数，确定所有的d轴坐标di就可以确定这条局部轮廓线所在的位置。局部轮廓线{di|i∈{s,s+1,..,t-1,t}}的能量函数由两部分组成：E({di})＝α·Ee({di})+β·Es({di}),其中{di}是所求局部轮廓线，E({di})表示局部轮廓线的能量。Ee是梯度项，表示局部轮廓线处梯度的大小；Es是平滑项，表示局部轮廓线平滑的程度。α和β用于调节两项之间的权重。然后使用动态规划求解能量函数的近似全局最优解。在l-d轴坐标系中，将d轴以的间隔离散成为2N+1个坐标获得了一个(t-s+1)×(2N+1)个节点的网格：{(li,di,j)|i∈{s,...,t-1,t},j∈{-N,...,0,...,N}}。在这些点上可以构建出一个网格图每个点(li,di,j)对应网格图中的一个节点ni,j。相邻两个节点ni-1,j'和ni,j通过边相连，其中|j-j'|≤cmax。在离散的网格图中，连续的优化问题转化为在网格图中寻找最佳路径的问题。首先假设对于第i-1行所有节点，已经找到其从第1行到第i-1行的最佳路径。用表示以节点ni-1,j结尾的最佳路径。对于第i行任意一个节点ni,j，以其结尾的最佳路径一定来自于下面几个路径之一：符号表示将边添加到某一路径的尾部成为一个新的路径，其中δ＝{-cmax,-cmax+1,...,cmax}，cmax为范围阈值。使用和ε(e)分别表示一条路径和一条边的能量值，则在节点ni,j处选择加入当前路径的最优边为：其中δ*表示加入当前路径的最优边的索引，并且δ＝{-cmax,-cmax+1,...,cmax}。是第i-1行中节点ni-1,j结尾的最佳路径的能量值，是节点ni,j处的有方向的梯度值。边的能量值具体的含义是平滑项的能量：其中平滑项由边与之前的一条边的向量内积表示，其中是路径上的倒数第二个点的索引。表示边的单位向量，通过以下方法计算：其中表示边的单位向量，是对应节点的坐标。最后得到节点本文档来自技高网...

【技术保护点】
1.一种交互式轮廓提取方法，其特征在于，包括以下步骤：1)建立l‑d轴坐标系，以用户交互草图为初始化，建立以初始曲线为中心的l‑d轴坐标系；2)局部轮廓线提取，将l‑d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题，并使用动态规划求解局部最优解；3)多尺度局部轮廓线集合生成，在初始化曲线上提取不同长度密集重叠的局部轮廓线集合；4)全局轮廓线融合，使用一种基于wPCA的方法，从冗余的局部轮廓线集合中提取出一条全局轮廓线。

【技术特征摘要】
1.一种交互式轮廓提取方法，其特征在于，包括以下步骤：1)建立l-d轴坐标系，以用户交互草图为初始化，建立以初始曲线为中心的l-d轴坐标系；2)局部轮廓线提取，将l-d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题，并使用动态规划求解局部最优解；3)多尺度局部轮廓线集合生成，在初始化曲线上提取不同长度密集重叠的局部轮廓线集合；4)全局轮廓线融合，使用一种基于wPCA的方法，从冗余的局部轮廓线集合中提取出一条全局轮廓线。2.根据权利要求1所述的一种交互式轮廓提取方法，其特征在于，在步骤1)中，所述的建立以初始曲线为中心的l-d轴坐标系，具体如下：将初始化曲线的开始位置定义为l-d轴坐标系的原点O，沿着初始化曲线的是l坐标轴，垂直于初始化曲线的是d坐标轴，初始化曲线上的一个点p(x,y)，p点沿着初始化曲线到O点的距离是l0，根据下面公式能够将l-d轴坐标系中的任意一点p'(l0,d0)转化到图像坐标系：其中(xp',yp')是点p'在图像坐标系的坐标，表示将(l0,d0)转换到图像坐标系，p点是(l0,d0)在l坐标轴上对应的位置，能够通过计算，n是初始化曲线在点p处的法向量；根据以上定义，对目标轮廓线进行采样，获取其在l-d轴坐标系中一系列的离散点，L是初始化曲线的总长度，在初始化曲线上均匀采样M个点{(li,0)|i∈{1,2,...,M}}，其中目标轮廓线通过一系列离散点来表示：其中是目标轮廓线，(li,di)是目标轮廓线上采样的点，M表示目标轮廓线点的数目；l-d轴坐标系中的局部轮廓线则能够通过其中一部分点来表示：其中是局部轮廓线，(li,di)是局部轮廓线上均匀的点，其开始的位置是s，结束的位置是t，s≥1并且t≤M；最后将di的范围限制在[-r,r]之间，这样所有的局部轮廓线都是在以初始化曲线为中心轴，宽度为2r的带状区域之内。3.根据权利要求1所述的一种交互式轮廓提取方法，其特征在于：在步骤2)中，所述的通过动态规划提取局部轮廓线，具体如下：通过最大化局部轮廓线的能量函数，确定所有的d轴坐标di就能够确定这条局部轮廓线所在的位置，局部轮廓线{di|i∈{s,s+1,..,t-1,t}}的能量函数由两部分组成：E({di})＝α·Ee({di})+β·Es({di}),其中{di}是所求局部轮廓线，E({di})表示局部轮廓线的能量；Ee是梯度项，表示局部轮廓线处梯度的大小；Es是平滑项，表示局部轮廓线平滑的程度；α和β用于调节两项之间的权重；然后使用动态规划求解能量函数的近似全局最优解，在l-d轴坐标系中，将d轴以的间隔离散成为2N+1个坐标获得了一个(t-s+1)×(2N+1)个节点的网格：{(li,di,j)|i∈{s,...,t-1,t},j∈{-N,...,0,...,N}}，在这些点上能够构建出一个网格图每个点(li,di,j)对应网格图中的一个节点ni,j，相邻两个节点ni-1,j'和ni,j通过边相连，其中|j-j'|≤cmax，在离散的网格图中，连续的优化问题转化为在网格图中寻找最佳路径的问题；首先，假设对于第i-1行所有节点...

【专利技术属性】
技术研发人员：聂勇伟，曹旭，李桂清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44