基于3维流场正则化的变分场景流估计方法技术

本发明专利技术公开了一种基于3维流场正则化的变分场景流估计方法。包括以下步骤：利用已经标定好的左右摄像机获取左右图像序列；将3维流场进行正则化得到场景流数据项；将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；使用变分极小化的方法，得到能量泛函对应的Euler方程的解；利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。本发明专利技术具有鲁棒性高，场景流精确的优点。

【技术实现步骤摘要】
基于3维流场正则化的变分场景流估计方法
本专利技术属于一种场景流估计方法，尤其涉及一种基于场景流驱动各向异性平滑和各向异性深度图平滑的，基于3维流场正则化的变分场景流估计方法。
技术介绍
真实世界是3维的，传统的数字视频记录的是3维动态场景在2维平面上的投影，表现为2维图像序列，丢失了深度信息，不利于科学研究应用。场景流是光流由2维平面向3维空间的扩展，可在3维空间中描述场景点的运动。光流可看作是场景流在2维图像平面上的投影，是对真实运动场的近似，相对于光流，场景流更符合3维真实运动。在基于2维光流正则化的场景流估计中，近期的方法多采用流驱动各向同性平滑假设而忽略了流场方向性信息，从而导致在运动不连续处及遮挡位置场景流估计误差大，且针对2维光流进行平滑求解场景流不符合实际运动模型。本专利技术方法直接对3维流场施加平滑假设约束，则可令运动模型更符合实际情况，提高估计精度。INRIA的Basha等人提出了使用多视及3维流场平滑假设的场景流估计方法，Quiroga等则在已知深度图的情况下利用3维流场平滑假设求解场景流。也有人提出将2维平滑约束进行3维扩展，但使用的仍是各向同性场景流驱动方法，在遮挡或运动不连续区域场景流估计误差显著增加的问题依然存在，而各向异性平滑假设对克服此类问题有着重要意义。
技术实现思路
本专利技术的目的是提供一种具有高鲁棒性的基于3维流场正则化的变分场景流估计方法。本专利技术是通过以下技术方案实现的：基于3维流场正则化的变分场景流估计方法，包括以下几个步骤：步骤一：将左右摄像机光轴平行摆放，利用标定板进行标定，获得摄像机内外参数；步骤二：利用已经标定好的左右摄像机获取左右图像序列；步骤三：利用获得的左右立体图像序列计算视差图，由视差图转换得到深度图；步骤四：将3维流场进行正则化得到场景流数据项；步骤五：将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；步骤六：根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；步骤七：将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；步骤八：使用变分极小化的方法，得到能量泛函对应的Euler方程的解；步骤九：利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。本专利技术基于3维流场正则化的变分场景流估计方法，还可以包括：1、场景流数据项为：Edata＝∫Ω(El+Er+EZ+EZ')dx其中，场景流W＝(vX,vY,vZ)T，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+vZ，El(W,Z)为左图像序列的能量函数，Er(W,Z)右图像序列的能量函数，EZ(W,Z)为t时刻深度图序列的能量函数，EZ′(W,Z)为t+1时刻深度图序列的能量函数，El(W,Z)＝ψ(Gσ*(Il(x+w,t+1)-Il(x,t))2)Er(W,Z)＝y(Gs*(Il(x+w+d',t+1)-Ir(x+d,t))2)EZ(W,Z)＝ψ(Gσ*(Ir(x+d,t)-Il(x,t))2)EZ′(W,Z)＝ψ(Gσ*(Ir(x+w+d',t+1)-Il(x+w,t+1))2)其中，t时刻距离d＝(fb/Z,0)T,t+1时刻距离d'＝(fb/(Z+vZ),0)T，f为摄像机焦距，b为基线长度，光流w为：2、场景流平滑项为：其中，为场景流结构张量，可以分解为3个正交的特征矢量v1，v2，v3，对应的特征值分别为μ1，μ2，μ3。3、深度平滑项为：其中，扩散张量J′(Sσ)＝λ1v1v1T+λ2v2v2T，λ1，λ2为两个特征值，4、能量泛函为：Esf＝Edata+αEsmooth+βEdepth，其中，α和β为系数。有益效果：本专利技术提供一种基于场景流驱动各向异性平滑和各向异性深度图平滑项的场景估计新方法，以解决现有技术中在遮挡或运动不连续区域场景流估计误差显著增加的问题，提高场景流估计的鲁棒性和精度。附图说明图1为本专利技术的设计流程图。具体实施方式下面将结合附图1对本专利技术做进一步详细说明。S1.此步骤为对双目立体系统进行标定。将两个相同的摄像机平行放置(基本平行即可)，使用棋盘标定法进行标定，使用数学方法计算得到摄像机的内外部参数，经双目校正后，左右图像是极线对齐的，左右摄像机获取的相应图像特征点在同一极线上，即对应的像素点在同一水平线上。S2.利用已经标定好的双目立体系统获取左右立体图像序列。S3.基于获取的左右图像序列计算视差图，获取空间中同一点在左右图像上的水平位置差，即视差。将空间中所有点的视差全部获取得到视差图，并由视差图转换得到深度图。此视差图也可以由任意视觉系统获取。S4.设计基于3维流场正则化的场景流数据项。对双目立体摄像机进行标定，得到摄像机的内参数。对3维流场进行平滑时，流场和对应的数据项均采用摄像机坐标系进行表示，3维数据项使用彩色恒常假设及局部邻域约束。为约束3维流场，数据项利用摄像机内参数进行透视投影变换以表示为场景流W＝(vX,vY,vZ)T与深度Z的函数，不失一般性，设立体摄像机具有单位焦距，光心位于图像原点，则场景流数据项一般形式在参考摄像机坐标系下可表示为Edata＝∫Ω(El+Er+EZ+EZ')dx(1)其中，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+vZ。上式中各分量能量函数表示为El(W,Z)＝ψ(Gσ*(Il(x+w,t+1)-Il(x,t))2)(2)Er(W,Z)＝y(Gs*(Il(x+w+d',t+1)-Ir(x+d,t))2)(3)EZ(W,Z)＝ψ(Gσ*(Ir(x+d,t)-Il(x,t))2)(4)EZ′(W,Z)＝ψ(Gσ*(Ir(x+w+d',t+1)-Il(x+w,t+1))2)(5)其中，d＝(fb/Z,0)T,d'＝(fb/(Z+vZ),0)T，f为摄像机焦距，b为基线长度。且利用透视投影关系，光流w可用场景流W及深度Z表示为利用以上关系即可将数据项表示为场景流与深度的函数，以直接对3维流场施加约束。式中Gσ代表方差为σ的高斯平滑，标量函数ψ(s2)是一个可微函数，且是凸性的，这是为了保证其收敛性。S5.设计3维流场平滑项。此部分直接对3维流场进行正则化，流场在3维空间具有光滑性，设计一种场景流驱动非线性各向异性平滑假设，从而在保证场景流光滑性的同时保持流场在3维空间中的运动不连续，形式如下。上式中为场景流结构张量，可以分解为3个正交的特征矢量v1，v2，v3，对应的特征值分别为μ1，μ2，μ3，这3个特征值反应场景流在这3个特征矢量v1，v2，v3方向上的变化，这个张量反应的是场景流的局部变化信息。使用式(7)所示的平滑项，经过最速下降法，能够得到扩散项，式(8)中的扩散矩阵，其特征值ψ'(u1)，ψ'(u2)，ψ'(u3)是不同的，从而实现场景流的各项异性扩散。S6.设计深度平滑项。此部分的深度平滑项仅包含对深度图的平滑，相应的非线性各向异性深度图扩散项为，通过设计扩散张量并进行本征分解，以得到不同方向上的扩散强度，从而进行各向异性平滑。对扩散张量J(Sσ)进行设计，首先假设v1，v2已知，分别为平行于图像梯度方向和垂直于梯度方向，根据本征分解定理，J′(Sσ)＝λ1v1v1T+λ2v2v本文档来自技高网...

【技术保护点】
基于3维流场正则化的变分场景流估计方法，其特征在于，包括以下几个步骤：步骤一：将左右摄像机光轴平行摆放，利用标定板进行标定，获得摄像机内外参数；步骤二：利用已经标定好的左右摄像机获取左右图像序列；步骤三：利用获得的左右立体图像序列计算视差图，由视差图转换得到深度图；步骤四：将3维流场进行正则化得到场景流数据项；步骤五：将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；步骤六：根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；步骤七：将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；步骤八：使用变分极小化的方法，得到能量泛函对应的Euler方程的解；步骤九：利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。

【技术特征摘要】
1.基于3维流场正则化的变分场景流估计方法，其特征在于，包括以下几个步骤：步骤一：将左右摄像机光轴平行摆放，利用标定板进行标定，获得摄像机内外参数；步骤二：利用已经标定好的左右摄像机获取左右图像序列；步骤三：利用获得的左右立体图像序列计算视差图，由视差图转换得到深度图；步骤四：将3维流场进行正则化得到场景流数据项；步骤五：将2维光流平滑项向3维空间扩展，得到场景流驱动各向异性的场景流平滑项；步骤六：根据方向信息设计扩散张量并进行本征分解，得到每个方向上的扩散强度，从而进行各向异性平滑，得到深度平滑项；步骤七：将场景流数据项、场景流平滑项和深度平滑项合并，构建能量泛函；步骤八：使用变分极小化的方法，得到能量泛函对应的Euler方程的解；步骤九：利用超松弛迭代对Euler方程进行迭代求解，得到优化后的场景流和深度信息。2.根据权利要求1所述的基于3维流场正则化的变分场景流估计方法，其特征在于：所述的场景流数据项为：Edata＝∫Ω(El+Er+EZ+EZ')dx其中，场景流W＝(vX,vY,vZ)T，Z为t时刻场景点深度，Z'为t+1时刻场景点深度，且Z＝Z+vZ，El(W,Z)为左图像序列的能量函数，Er(W,Z)右图像序列的能量函数，EZ(W,Z)为t时刻深度图序列...

【专利技术属性】
技术研发人员：项学智，白二伟，徐旺旺，包文龙，王猛，葛长赟，张磊，乔玉龙，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23