基于在线管理超分辨率块的稳定三维模型跟踪方法技术

本发明专利技术是一种基于在线管理高分辨率块的稳定3D模型跟踪器，涉及计算机视觉领域。本发明专利技术采用了在线维护和基于关键框架集的超分辨率技术。通过离散目标能量函数和图像分割技术可以有效地解决模拟关键框架的不同条件和融合每个单独关键框架的有用信息。同时，本发明专利技术也采用了多线程技术，将算法中包含的具有较高复杂度的部分作为一个辅助进程从跟踪器中分离出来，称之为更新器，这将保证跟踪器在耗时的超分辨率过程中不会被阻塞。实验结果表明我们所提出的跟踪器，无论是具有复杂的背景还是光照条件发生重大变化，都具有性能优越性。

【技术实现步骤摘要】
基于在线管理超分辨率块的稳定3D模型跟踪器
本专利技术涉及一种跟踪方法，特别是这种基于在线管理超分辨率块的稳定三维模型 跟踪方法。
技术介绍
三维目标追踪是为了确定相应的摄像机姿态中的六个自由度，对机器视觉、医学 成像、显示增强等等来说，这无疑是一个重要的问题。从根本上说，要想找到摄像机姿态中 的六个参数空间是非常困难的。然而，我们可以通过给出目标物体的CAD模型来将问题进 行简化，这也会很大程度地增加跟踪方法的稳定性和精确性。非常幸运的是，目标物体的 CAD模型是很容易就可以得到的，它也经常被一些需要进行摄像机姿态估计的应用所采用， 例如显示增强。因此，在最近几年三维追踪模型获得了极大的关注。 对于基于模型的跟踪方法，有两种信息可以采用。一种就是图像的梯度，依据目标 轮廓具有更高的梯度信息这样的的假设。然而，图像梯度是一个低质量的特征，它无法将目 标物体的任何先验信息考虑在内。因此，跟踪方法就可能面临太多边检测器或梯度检测器 所造成的未知状况。为此，采用粒子滤波法来进行多个假设的估计。然而，蒙特卡洛方法却 面临着高计算复杂度的问题，因此就需要一些硬件来解决这些问题，比如基于并行计算技 术的GPGPU就经常被用来对算法进行加速。除了边界信息，纹理也提供了高质量的特征，它 经常被用来进行特征点检测、描述和匹配基线。除此之外，也可以将梯度和纹理特征相结合 产生一种更加稳定的跟踪方法。 许多已知算法，例如差动跟踪方法，它仅仅依赖于前一个帧来计算物体的移动。它 往往会导致误差的积累，从而使它不适用于持久性的应用。当然，也存在一些其他的先进算 法，然而，这些方法都需要将跟踪方法之前的状态进行存储，随之而来的就是高空间复杂度 和时间复杂度，这也将影响跟踪方法的实时性。
技术实现思路
本专利技术集中于稳定差动跟踪方法，将三维CAD模型作为完全的信息，从而提出能 够处理这些问题的关键帧集结构，同时采用高分辨率技术来完善关键帧集，并用多线程技 术来加速算法。 当摄像机姿态和光照条件在追踪过程中发生连续变化时，目标物体在图像上的投 影将会有明显的不同，隐藏在不同图像中的有用信息也很难被利用。为了处理这些问题， 我们提出了关键帧块集的概念。 l^h-?>W 在追踪在过程中，我们可以通过以下准则来获得一个关键帧。Ceaes 在这里;^和^|分别表示当前帧数和前一时刻的帧数，|_是两个帧的最小距离；^是反 投影残差，U是可接受的最大残差；jp和^表示当前摄像机姿态和所对应的已存在关键帧 的姿态,相应的,^为两个关键帧可接受的姿态差异。 随着新的关键帧被发现，具有相同尺度的块Jri通过ZjOI= 来产生。在这里， 觸=_[//4【1;^(綱』))，，(1) = (1/1}72)?1是投影函数，^1(1』)通过深度就可以恢复出三维点。由于我们已经知道了目标物体的CAD模型，那么深度也就可以很容易获 得。 在多尺度块集中，具有虚拟姿态4和虚拟相机￡|的并且已被修正的块的尺度被 预先设定，原始图像块的尺度与已修正的并与之大小相同的块尺度相同。 在产生一个新的块之后，额外的信息就可以利用了，我们应该更新整个数据集。 这样新块的信息才可以与其它块进行融合，而通过简单的插值方法获得的多尺度块才有了 被修正的机会。对于每个目标表面，首先应该在最大的尺度上进行更新，再在与之相邻的较 小尺度上进行更新，直至全部更新完毕。 整个数据的管理和块的修正都依赖于超分辨率算法。对给定一个尺度为i的块和 另一个属于不同关键帧且尺度为i->0)的块，我们可以通过模拟它们之间光照条件 的变化来增强尺度为i的块。具体就是通过最小化 = (#)+￡(#) 其中，_是两个块之间光照的改变,忍是目标能量，表示两个块的一致性强度，^限 制了光照变化的平滑性。为了计算，低尺度块首先投影到高尺度图像平面中，然后我们 就可以直接测量在不同光照条件下两个块的差异。对于高尺度的每个像素?，能量一致性 可以表示为本文档来自技高网...

【技术保护点】
一种基于在线管理超分辨率块集的稳定三维模型跟踪方法，其特征是：采用在线维护方法和基于关键框架集的超分辨率技术，通过将目标能量函数离散化和图像分割技术，有效地解决了模拟关键框架的不同条件和融合每个单独关键框架的有用信息等问题，同时，我们也采用了多线程技术，将算法中包含的具有较高复杂度的部分采用一个辅助进程进行单独处理，称之为更新器   具体步骤为：   （1）在追踪在过程中，我们可以通过以下准则来获得一个关键框架 （2）产生新的块，具体我们可以通过来产生相同尺度的块，，是投影函数（3）通过目标物体的CAD模型，很容易获得深度，再通过就可以恢复出3D点，其中是深度信息   （4）更新整个数据集，将新块的信息融入到旧的数据中，这样那些通过简单的插值方法获得的多尺度块才有了被修正的机会，而对于每个目标，首先应该在最大的尺度上进行更新，再在与之相邻的较小尺度上进行更新，直至全部更新完毕，此过程可以采用超分辨率技术   （5）结合（1）、（2）、（3）、（4）进行姿态估计。

【技术特征摘要】
1. 一种基于在线管理超分辨率块集的稳定三维模型跟踪方法，其特征是：采用在线维 护方法和基于关键框架集的超分辨率技术，通过将目标能量函数离散化和图像分割技术， 有效地解决了模拟关键框架的不同条件和融合每个单独关键框架的有用信息等问题，同 时，我们也采用了多线程技术，将算法中包含的具有较高复杂度的部分采用一个辅助进程 进行单独处理，称之为更新器 具体步骤为： (1) 在追踪在过程中，我们可以通过以下准则来获得一个关键框架(2) 产生新的块，具体我们可以通过/<用)=广(;!来产生相同尺度的...

【专利技术属性】
技术研发人员：刘怡光，吴鹏飞，刘冰冰，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51