摄像机姿态估计方法和摄像机姿态估计装置制造方法及图纸

公开了一种摄像机姿态估计方法和摄像机姿态估计装置，摄像机姿态估计方法包括：获得彩色图像和深度图像；获取当前帧彩色图像的特征点和相邻帧彩色图像的相应匹配特征点；获取与当前帧彩色图像中的特征点的位置分别对应的当前帧深度图像中的特征点，获取与当前帧深度图像的特征点分别匹配的相邻帧深度图像中的相应匹配特征点；基于当前摄像机姿态和用于校正图像中的特征点的非刚性畸变的参数表示当前帧深度图像中的特征点的世界坐标；在世界坐标系下计算当前帧深度图像和相邻帧深度图像的每对匹配特征点之间的距离，以针对每对匹配的特征点所计算出的距离之和最小为目标，估计当前摄像机姿态和所述参数。可以消除摄像机参数估计中的非刚性畸变。

【技术实现步骤摘要】
摄像机姿态估计方法和摄像机姿态估计装置
本公开涉及摄像机的跟踪和定位领域，具体涉及一种消除摄像机参数估计中的非刚性畸变的摄像机姿态估计方法和摄像机姿态估计装置。
技术介绍
摄像机的跟踪及定位有着非常重要的应用，比如增强现实、三维建模以及机器人导航。例如，对于机器人来说，它需要知道自己在真实世界中的实时位置才能实现导航。尽管这个问题已经被研究了很多年，但是如何提高摄像机姿态估计的准确性和鲁棒性，仍然是一个非常有挑战的问题。传统的实现摄像机姿态估计的方法可以分为两大类：基于视觉的方法和基于深度的方法。在基于视觉的方法中，主要通过建立稀疏匹配点之间的几何关系来求解摄像机参数。这种方法的缺点在于，参数估计对于彩色图像的质量非常敏感。当没有足够丰富的匹配点时，结果会变得很差。基于深度的方法只利用稠密的深度信息来估计摄像机的姿态，常用的算法为迭代的最近点算法。但是这种方法对参数初始值的精度要求较高，估计较大角度姿态的能力不足。更为重要地是，由于摄像机姿态估计模型中可能存在多种畸变，这会导致姿态估计的错误。因此，如何校正这些畸变也是一个非常关键的问题。
技术实现思路
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。鉴于以上问题，本公开的目的是提供一种消除摄像机参数估计中的非刚性畸变的摄像机姿态估计方法和摄像机姿态估计装置。根据本公开的一方面，提供了一种摄像机姿态估计方法，包括：通过摄像机获得彩色图像和与彩色图像对应的深度图像；获取当前帧彩色图像中的至少一个特征点和与所述至少一个特征点中的每个分别匹配的相邻帧彩色图像中的至少一个相应匹配特征点；获取与当前帧彩色图像中的所述至少一个特征点中的每个的位置分别对应的当前帧深度图像中的至少一个特征点，并且基于相邻帧彩色图像中的所述至少一个相应匹配特征点，获取与当前帧深度图像中的所述至少一个特征点中的每个分别匹配的相邻帧深度图像中的至少一个相应匹配特征点；基于当前摄像机姿态以及用于校正图像中的特征点的非刚性畸变的参数来表示当前帧深度图像中的每个特征点的世界坐标；以及基于当前帧深度图像中的每个特征点的世界坐标和相邻帧深度图像中的相应匹配特征点的世界坐标来计算该对匹配的特征点之间的距离，以及以针对每对匹配的特征点所计算出的距离之和最小为目标，估计当前摄像机姿态和所述参数。根据本公开的另一方面，提供了一种摄像机姿态估计装置，包括：彩色图像和深度图像获取单元，被配置成通过摄像机获得彩色图像和与彩色图像对应的深度图像；彩色图像特征点获取单元，被配置成获取当前帧彩色图像中的至少一个特征点和与所述至少一个特征点中的每个分别匹配的相邻帧彩色图像中的至少一个相应匹配特征点；深度图像特征点获取单元，被配置成获取与当前帧彩色图像中的所述至少一个特征点中的每个的位置分别对应的当前帧深度图像中的至少一个特征点，并且基于相邻帧彩色图像中的所述至少一个相应匹配特征点，获取与当前帧深度图像中的所述至少一个特征点中的每个分别匹配的相邻帧深度图像中的至少一个相应匹配特征点；世界坐标表示单元，被配置成基于当前摄像机姿态以及用于校正图像中的特征点的非刚性畸变的参数来表示当前帧深度图像中的每个特征点的世界坐标；以及摄像机姿态和参数估计单元，被配置成基于当前帧深度图像中的每个特征点的世界坐标和相邻帧深度图像中的相应匹配特征点的世界坐标来计算该对匹配的特征点之间的距离，以及以针对每对匹配的特征点所计算出的距离之和最小为目标，估计当前摄像机姿态和所述参数。根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。附图说明本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：图1示出示出根据本公开的实施例的摄像机姿态估计方法的流程示例的流程图；图2是示出根据本公开实施例的非刚性畸变的示例的图；图3是示出根据本公开实施例的偏移向量的示例的图；图4是示出根据本公开实施例的深度图像中的特征点的三维空间投影的示意图；图5是示出根据本公开实施例的组中的深度图像中的特征点的三维空间投影的示意图；图6是示出根据本公开的实施例的摄像机姿态估计装置的功能配置示例的框图；以及图7是示出作为本公开的实施例中可采用的信息处理装置的个人计算机的示例结构的框图。具体实施方式在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。根据本公开的一方面，提出了一种摄像机姿态估计方法，该摄像机姿态估计方法从彩色图像中得到稀疏的对应关系，然后利用非刚性校正方法消除可能存在的畸变，最后通过利用稀疏对应的几何约束以及非刚性校正实现摄像机姿态的估计。下面结合附图详细说明根据本公开的实施例。首先，将参照图1描述根据本公开实施例的摄像机姿态估计方法100的流程示例。图1是示出根据本公开的实施例的摄像机姿态估计方法100的流程示例的流程图。如图1所示，根据本公开的实施例的摄像机姿态估计方法100包括彩色图像和深度图像获取步骤S102、彩色图像特征点获取步骤S104、深度图像特征点获取步骤S106、世界坐标表示步骤S108以及摄像机姿态和参数估计步骤S110。在彩色图像和深度图像获取步骤S102中，可以通过摄像机获得彩色图像和与彩色图像对应的深度图像。这样，可以分别获得彩色图像序列以及包括与彩色图像序列中的每个彩色图像分别对应的深度图像的深度图像序列。在彩色图像特征点获取步骤S104中，可以获取当前帧彩色图像中的至少一个特征点和与所述至少一个特征点中的每个分别匹配的相邻帧彩色图像中的至少一个相应匹配特征点。优选地，当前帧彩色图像的所述至少一个特征点和相邻帧彩色图像的所述至少一个相应匹配特征点是通过如下方式获取的：在当前帧彩色图像中检测所述至少一个特征点，并且针对所检测到的所述至少一个特征点中的每个特征点，在相邻帧彩色图像中查找其相应匹本文档来自技高网...

【技术保护点】
1.一种摄像机姿态估计方法，包括：通过摄像机获得彩色图像和与所述彩色图像对应的深度图像；获取当前帧彩色图像中的至少一个特征点和与所述至少一个特征点中的每个分别匹配的相邻帧彩色图像中的至少一个相应匹配特征点；获取与所述当前帧彩色图像中的所述至少一个特征点中的每个的位置分别对应的当前帧深度图像中的至少一个特征点，并且基于所述相邻帧彩色图像中的所述至少一个相应匹配特征点，获取与所述当前帧深度图像中的所述至少一个特征点中的每个分别匹配的相邻帧深度图像中的至少一个相应匹配特征点；基于当前摄像机姿态以及用于校正图像中的特征点的非刚性畸变的参数来表示所述当前帧深度图像中的每个特征点的世界坐标；以及基于所述当前帧深度图像中的每个特征点的世界坐标和所述相邻帧深度图像中的相应匹配特征点的世界坐标来计算该对匹配的特征点之间的距离，以及以针对每对匹配的特征点所计算出的距离之和最小为目标，估计所述当前摄像机姿态和所述参数。

【技术特征摘要】
1.一种摄像机姿态估计方法，包括：通过摄像机获得彩色图像和与所述彩色图像对应的深度图像；获取当前帧彩色图像中的至少一个特征点和与所述至少一个特征点中的每个分别匹配的相邻帧彩色图像中的至少一个相应匹配特征点；获取与所述当前帧彩色图像中的所述至少一个特征点中的每个的位置分别对应的当前帧深度图像中的至少一个特征点，并且基于所述相邻帧彩色图像中的所述至少一个相应匹配特征点，获取与所述当前帧深度图像中的所述至少一个特征点中的每个分别匹配的相邻帧深度图像中的至少一个相应匹配特征点；基于当前摄像机姿态以及用于校正图像中的特征点的非刚性畸变的参数来表示所述当前帧深度图像中的每个特征点的世界坐标；以及基于所述当前帧深度图像中的每个特征点的世界坐标和所述相邻帧深度图像中的相应匹配特征点的世界坐标来计算该对匹配的特征点之间的距离，以及以针对每对匹配的特征点所计算出的距离之和最小为目标，估计所述当前摄像机姿态和所述参数。2.根据权利要求1所述的摄像机姿态估计方法，其中，所述参数包括用于校正在所述当前帧彩色图像中获取匹配的特征点时产生的匹配畸变的参数、用于校正所述当前帧彩色图像和所述当前帧深度图像不对齐所产生的不对齐畸变的参数以及用于校正在将所述当前帧深度图像中的特征点在摄像机坐标中投影时产生的投影畸变的参数中的至少一个。3.根据权利要求2所述的摄像机姿态估计方法，其中，所述用于校正匹配畸变的参数是所述当前帧彩色图像中的多个预定位置处的点的偏移向量，其中，通过对表示所述当前帧彩色图像中的每个特征点的位置的向量叠加所述偏移向量的线性组合，对该特征点的位置进行校正。4.根据权利要求2所述的摄像机姿态估计方法，其中，所述用于校正不对齐畸变的参数是所述当前帧深度图像中的多个预定位置处的点的偏移向量，其中，通过对表示所述当前帧深度图像中的每个特征点的位置的向量叠加所述偏移向量的线性组合，对该特征点的位置进行校正。5.根据权利要求2所述的摄像机姿态估计方法，其中，所述用于校正投影畸变的参数是所述当前帧深度图像中的多个预定位置处的点的摄像机坐标的偏移向量，其中，通过对表示所述当前帧深度图像中的每个特征点的摄像机坐标的向量叠加所述偏移向量的线性组合，对该特征点的摄像机坐标进行校正。6.根据...

【专利技术属性】
技术研发人员：田虎，李斐，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP