单目图像序列的运动分割和３Ｄ表达方法技术

本发明专利技术公开了一种单目图像序列的运动分割和３Ｄ表达方法，本发明专利技术首先采集单目图像序列，利用梯度下降法估算主运动目标的运动信息和深度信息，利用水平集的方法演化分割曲线；验证估算得到的深度信息，并且修正不可靠的深度信息；利用修正后的深度信息和得到的分割曲线，再次进行能量函数的最小化，估算主运动目标的运动信息和深度信息。最后，固定分割曲线，依次对运功目标进行能量函数的最小化、深度信息可靠性的验证和修正、再次能量函数的最小化，得到每一个运动目标的深度信息和运动信息。本发明专利技术可以将运动分割和３Ｄ表达同时进行，本发明专利技术不需要提前知道图像序列中的目标数目，具有广泛的适用性。

【技术实现步骤摘要】

本专利技术涉及一种单目图像序列的运动分割、3D运动信息和深度估计方法，尤其涉 及一种采用主运动分割思想，利用区域竞争的水平集方法，基于包含有3D运动信息的时空 域模型处理的单目图像序列的运动分割、3D运功信息和深度估计的方法。
技术介绍
社会正在进入信息时代，计算机视觉愈来愈普遍地进入到各个领域之中。单目图 像序列的运动检测、运动信息和深度估计是计算机视觉的重要分支，又是近年来理论和应 用的研究热点。单目图像序列的运动检测、运动信息和深度估计的应用领域非常广泛，如机 器视觉、公共设施、医疗诊断、车站和交通场景的监控以及宾馆、楼宇、商场的监控等。单目图像序列的运动分割、运动信息和深度估计是指在一段单目图像序列上，利 用三维空间中的真实运动特性来区分和识别不同运动特性的区域或目标，并且从图像序列 中将运动目标的深度信息和运动参数恢复出来。传统的运动分割方法有减背景阈值法、差分图像阈值法、光流法和基于水平集的 方法。减背景法计算简单，但是适应性不好，容易出现分割错误。差分图像阈值法一般不能 提取所有的相关像素点，运动物体容易出现空洞。光流法运算比较复杂，不能达到实时的应 用效果。Oshei^Pkthian首先提出依赖于时间的运动曲面的水平集(Level kt)描述，这 种方法避免了对拓扑结构变化的处理、计算稳定。Caselles等人提出了基于边缘的水平集 方法，但这类方法对曲线初始位置的选择非常敏感，不容易达到好的分割效果。运动目标的3D表达是从图像序列中将运动目标的3D结构和运动参数恢复出来。 目前运动目标的3D表达可以分为稀疏的3D表达和稠密的3D表达。稀疏的3D表达是通过 图像序列中的一个稀疏点集来计算的，3D表达受限于稀疏点集的选取，不能达到稳定的效 果。稠密的3D表达是通过整个图像序列来计算的。但是，大量的基于单目图像序列的稠密 3D表达是针对摄像系统运动而环境静止的情况。2006年，Hicham第一次将运动分割和3D表达结合起来，然而Hicham的方法只能 分割固定数目的运动目标。
技术实现思路
本专利技术的目的在于解决针对现有技术的不足，提供一种单目图像序列的运动分割 和3D表达方法。本专利技术的目的是通过以下技术方案来实现的一种单目图像序列的运动分割和 3D表达方法，包括如下步骤(1)采集单目图像序列利用摄像机拍摄包含运动目标的场景的图片，摄像机可以运动 也可以不运动，运动目标的数目可以是一个也可以是多个；(2)初始化，在采集得到的图像序列中初始化一个曲面，这样每一帧都会有一条曲线，将图片分为两部分；在整个图像序列区域内将深度 二初始化为一个常数；运动速度Τ,ω也初始化为常数；(3)通过梯度下降法求运动速度；(4)通过梯度下降法求深度；(5)通过水平集的方法进行曲面演化；(6)判断收敛条件，如果不满足收敛条件，跳回第3步继续执行，如果满足收敛条件，则 验证得到的深度信息是否可靠，修正不可靠的深度信息；(7)如果收敛，判断公式(11)已经得到的深度信息是否可靠，并且修正不可靠的深度信息；(8)重新进行深度和运动信息的估算用步骤7得到的深度信息和步骤3-5收敛后的 运动信息和分割曲面执行步骤2的初始化，反复进行步骤3、4，直至收敛，得到最终的运动 信息和深度信息；(9 )依次将每一个运动的目标的分割曲线分别执行步骤(2)到(8)，得到每一个运动 目标的运动速度和深度信息。本专利技术的有益效果是1、本专利技术可以将运动分割和3D表达同时进行。2、本专利技术不需要提前知道图像序列中的目标数目，具有广泛的适用性。3、本专利技术在曲线的水平集运算中，采用了窄带方法，窄带是指距离水平集为-2，- ,-在，-1，1，^ ,月，2的点，这样可以保证运动分割的正确性，又可以极大地 减小了计算量，提高运动分割和3D表达的效率。附图说明图1为本专利技术中空间三维信息投影至二维图像平面的投影关系所依据的坐标系； 图2为本专利技术中能量函数最小的方法流程图；图3为本专利技术中验证深度信息可靠性和修正不可靠深度的方法流程图。具体实施方式为此，本专利技术采用了一种时空域的处理模型，将3D运动分割和稠密3D表达问题作 为一个整体来研究。模型采用了主运动分割的思想，利用了区域竞争的水平集的方法，通过 摄像机针孔模型将3D运动信息映射至图像的二维运动中，直接运用3D信息进行运动分割 和估计。由于采用了主运动的思想，在分割过程中，背景为主运动目标，这样一次可以分割 出背景和所有的目标，并且可以估算出背景的运动信息和深度信息，然后逐个对目标进行 运动估计和深度估计，不需要提前知道运动目标的数目。假设I是一个在时空区域"上定义的图像序列，D= Ωχ，Ω是妒的开子集，r是时间序列，分别是图像序列在横向，纵向和时间方向的灰度差分，设在图像 (X，yJ处的光流运动为(U，W，根据光流约束方程权利要求1.一种单目图像序列的运动分割和3D表达方法，其特征在于，包括如下步骤(1)采集单目图像序列利用摄像机拍摄包含运动目标的场景的图片，摄像机可以运动 也可以不运动，运动目标的数目可以是一个也可以是多个；(2)初始化，在采集得到的图像序列中初始化一个曲面，这样每一 帧都会有一条曲线，将图片分为两部分；在整个图像序列区域内将深度 二初始化为一个常数；运动速度Τ,ω Ik初始化为常数；(3)通过梯度下降法求运动速度；(4)通过梯度下降法求深度；(5)通过水平集的方法进行曲面演化；(6)判断收敛条件，如果不满足收敛条件，跳回第3步继续执行，如果满足收敛条件，则 验证得到的深度信息是否可靠，修正不可靠的深度信息；(7)如果收敛，判断公式(11)已经得到的深度信息是否可靠，并且修正不可靠的深度信息；(8)重新进行深度和运动信息的估算用步骤7得到的深度信息和步骤3-5收敛后的 运动信息和分割曲面执行步骤2的初始化，反复进行步骤3、4，直至收敛，得到最终的运动 信息和深度信息；(9 )依次将每一个运动的目标的分割曲线分别执行步骤(2)到(8)，得到每一个运动 目标的运动速度和深度信息。2.根据权利要求1所述单目图像序列的运动分割和3D表达方法，其特征在于，所述步 骤(3)具体为假设曲面和深度Γ不变，能量函数对T和ω求导，并且运用梯度下降 法，得到3.根据权利要求1所述单目图像序列的运动分割和3D表达方法，其特征在于，所述步 骤(4)具体为假设运动参数和曲面不变，能量函数对深度求导，并且利用梯度下降法4.根据权利要求1所述单目图像序列的运动分割和3D表达方法，其特征在于，所述步 骤(5)具体为假设运动参数和深度不变，能量函数对曲面求导5.根据权利要求1所述单目图像序列的运动分割和3D表达方法，其特征在于，所述步 骤(6)中如果步骤3连续三次处理得到的运动速度，差值均小于运动速度均值的10%，且步 骤4连续三次处理得到的深度，差值均小于深度均值的10%，且步骤5连续三次处理得到的 曲面，曲面位置差值均小于曲面位置均值的10%，则认为收敛条件满足，否则收敛条件不满 足。全文摘要本专利技术公开了一种单目图像序列的运动分割和3D表达方法，本专利技术首先采集单目图像序列，利用梯度下降法估算主运动目标的运动信息和深度信息，利用水平集的方法演化分割曲线；验证估算得到的深度信息，并且修正不可靠的深度信息；利用修正后的深度本文档来自技高网...

【技术保护点】
一种单目图像序列的运动分割和３Ｄ表达方法，其特征在于，包括如下步骤：（１）采集单目图像序列：利用摄像机拍摄包含运动目标的场景的图片，摄像机可以运动也可以不运动，运动目标的数目可以是一个也可以是多个；（２）初始化，在采集得到的图像序列中初始化一个曲面，这样每一帧都会有一条曲线，将图片分为两部分；在整个图像序列区域内将深度Ｚ初始化为一个常数；运动速度Ｔ，ω也初始化为常数；（３）通过梯度下降法求运动速度；（４）通过梯度下降法求深度；（５）通过水平集的方法进行曲面演化；（６）判断收敛条件，如果不满足收敛条件，跳回第３步继续执行，如果满足收敛条件，则验证得到的深度信息是否可靠，修正不可靠的深度信息；（７）如果收敛，判断公式（１１）已经得到的深度信息是否可靠，并且修正不可靠的深度信息；（８）重新进行深度和运动信息的估算：用步骤７得到的深度信息和步骤３－５收敛后的运动信息和分割曲面执行步骤２的初始化，反复进行步骤３、４，直至收敛，得到最终的运动信息和深度信息；（９）依次将每一个运动的目标的分割曲线分别执行步骤（２）到（８），得到每一个运动目标的运动速度和深度信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：于慧敏，潘丰俏，杨刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86