用于估计图像采集设备的位姿的方法和装置制造方法及图纸

一种用于估计图像采集设备的位姿的方法，包括：从至少一个位姿获取多个地标的一系列图像(301)；对于最近获取的N幅图像，通过将所述N幅图像中的每幅图像与绘制图像集进行匹配来确定N幅匹配图像，其中N为大于2的整数(303)；以及通过将所述最近获取的N幅图像与所述N幅匹配图像的已知位姿信息对齐来输出所述图像采集设备的位姿(305)。采集设备的位姿(305)。采集设备的位姿(305)。

【技术实现步骤摘要】
【国外来华专利技术】用于估计图像采集设备的位姿的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求2020年2月14日提交的美国临时专利申请US62/976,537的优先权，该申请的全部内容通过援引并入本文。


[0003]本公开在其一些实施例中涉及计算机视觉，更具体地，但不限于，涉及用于估计图像采集设备的位姿的方法和装置。

技术介绍

[0004]在实现虚拟现实(virtual reality，VR)和增强现实(augmented reality，AR)时，最关键的一点是实时确定移动系统的空间定位，例如，估计移动系统提供的图像采集设备(例如相机)的位姿，其中，位姿可以包括其位置和旋转。这种定位可以称为同步定位与地图构建(simultaneous localization and mapping，SLAM)。
[0005]在基于相机和惯性测量单元(IMU)的定位过程中，随着时间的流逝，累积误差可能会增加。为了抑制累积误差，当相机重新访问同一区域时，应根据地标(landmark，也称为特征点)重新校正当前图像位姿。

技术实现思路

[0006]本公开提供了一种用于估计图像采集设备的位姿的方法和装置。
[0007]第一方面，提供了一种用于估计图像采集设备的位姿的方法，包括：从至少一个位姿获取多个地标的一系列图像；对于最近获取的N幅图像，通过将所述N幅图像中的每幅图像与绘制图像集进行匹配来确定N幅匹配图像，其中N为大于2的整数；以及通过将所述最近获取的N幅图像与所述N幅匹配图像的已知位姿信息对齐来输出所述图像采集设备的位姿。
[0008]第二方面，提供了一种用于估计图像采集设备的位姿的装置，包括：获取模块，被配置为从至少一个位姿获取多个地标的一系列图像；确定模块，被配置为对于最近获取的N幅图像，通过将所述N幅图像中的每幅图像与绘制图像集进行匹配来确定N幅匹配图像，其中N为大于2的整数；以及输出模块，被配置为通过将所述最近获取的N幅图像与所述N幅匹配图像的已知位姿信息对齐来输出所述图像采集设备的位姿。
[0009]第三方面，提供了一种图像采集装置，包括：处理器和存储器。所述存储器被配置为存储计算机程序，所述处理器被配置为调用并运行所述存储器中存储的所述计算机程序，从而实现根据前述第一方面或其任一实施例的方法。
[0010]第四方面，提供了一种芯片，被配置为实现上述第一方面或其任一实施例所述的方法。
[0011]具体地，所述芯片包括处理器，被配置为调用并运行来自存储器的计算机程序，从而使设置有所述芯片的装置实现上述第一方面或其任一实施例所述的方法。
[0012]第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程
序使计算机实现上述第一方面或其任一实施例所述的方法。
[0013]第六方面，提供了一种计算机程序产品，包括使计算机实现根据上述第一方面或其任一实施例所述的方法的计算机程序指令。
[0014]第七方面，提供了一种计算机程序，当在计算机上运行时，使计算机实现根据上述第一方面或其任一实施例所述的方法。
[0015]基于本公开实施例提供的方法，假设最近获取的N幅图像是由安装在紧致的刚性体系统上的N个相机获取的，从中估计出6DoF和比例。因此，即使位姿误差累积得很大，但相对于整个累积位姿而言，紧耦合的N幅图像的累积误差很小。
附图说明
[0016]图1和图2示例性地说明了当前3D点和地标之间的传统对齐方式。
[0017]图3示出了根据本公开的一些实施例的用于估计图像采集设备的位姿的可选的操作流程的顺序图。
[0018]图4示出了根据本公开的一些实施例的用于构建绘制图像集的可选的操作流程400的顺序图。
[0019]图5示出了根据本公开的一些实施例的用于将每个图像与绘制图像集进行匹配的可选的操作流程500的顺序图。
[0020]图6示出了根据本公开的一些实施例的用于重新定位图像采集设备的位姿的可选的操作流程600的顺序图。
[0021]图7示出了根据本公开的一些实施例实现操作300的示例性应用场景。
[0022]图8是根据本申请的一些实施例的用于估计图像采集设备的位姿的装置的框图。
[0023]图9是根据本申请的一些实施例的图像采集设备的框图。
[0024]图10是根据本申请的一些实施例的芯片的框图。
具体实施方式
[0025]现在将参照附图更充分地描述本公开的示例性实施例，附图中示出了示例性实施例。然而，本公开的示例性实施例可以以许多不同的形式体现并且不应被解释为限于本文所阐述的实施例；相反，提供这些实施例是为了使本公开彻底和完整，并将示例性实施例的概念充分传达给本领域技术人员。在附图中，为了清晰起见，单独的层和区域被夸大了。附图中相同的附图标记表示相同的元件，因此它们的描述将被省略。
[0026]本公开的所描述的特征、结构或/和特性可以以任何合适的方式组合在一个或多个实施例中。在以下说明中，公开了许多具体细节以提供对本公开实施例的透彻理解。然而，相关领域的技术人员会认识到，可以在没有一个或多个具体细节的情况下实施本公开或者使用其他方法、组件等来实施本公开。在其他情况下，众所周知的结构、材料或操作没有被详细显示或描述，从而避免掩盖本公开的各个方面。
[0027]在本公开中，“连接”等术语应广义理解，除非另有说明，可以理解为直接连接，也可以理解为通过中间介质间接连接。本公开中上述术语的具体含义，可以由本领域技术人员根据具体情况进行理解。
[0028]进一步地，在本公开的说明书中，除非另有明确说明，“多”、“多个”或“若干”的含
义是至少两个，例如两个、三个等。描述关联对象的关联关系的“和/或”，表示可能存在三种关系，例如A和/或B，表示可能存在单独的A、单独的B以及A和B同时存在的三种情况。符号“/”一般表示上下文对象是“或”的关系。
[0029]为简洁起见，本文使用术语“相机”来指代图像采集设备，例如一个或多个图像传感器、独立相机、集成相机和/或任何适于以视觉方式记录对象的传感器。
[0030]存在包括图像采集设备(例如相机)的图像采集系统，其中需要估计相机在坐标系中的位姿。坐标系的示例包括世界坐标系和用相机在采集图像时的相机位姿校准的坐标系。相机位姿是相机相对于坐标系的位置和方向的组合。例如，相机位姿x可以表示为一对值(R，t)，其中R是表示相对于坐标系的方向的旋转矩阵，而t是表示相机位置相对于坐标系的平移矢量。其他可能的方向表示是双角表示和张量。这种图像采集系统的示例是包括插入患者身体中(例如通过吞下相机)的相机的医疗系统，还例如车辆和机器人、导航应用和增强现实系统。当相机在未知环境中运行时，如果没有进一步的信息或传感器，相机位姿的估计可能涉及场景的三维(3D)重建。这个问题在计算机视觉和机器人学界被称为“同步定位与地图构建”(SLAM)。
[0031]场景具有图像特征，也称为本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于估计图像采集设备的位姿的方法，包括：从至少一个位姿获取多个地标的一系列图像；对于最近获取的N幅图像，通过将所述N幅图像中的每幅图像与绘制图像集进行匹配来确定N幅匹配图像，其中N为大于2的整数；以及通过将所述最近获取的N幅图像与所述N幅匹配图像的已知位姿信息对齐来输出所述图像采集设备的位姿。2.根据权利要求1所述的方法，还包括通过以下方式获取所述绘制图像集：以所述图像采集设备的不同位姿采集多个地标的多幅图像；以及为所述多幅图像中的每幅图像提取特征信息。3.根据权利要求2所述的方法，其中，所述为所述多幅图像中的每幅图像提取特征信息包括：为所述每幅图像计算6自由度DoF信息和所述每幅图像中所述多个地标的深度信息。4.根据权利要求3所述的方法，其中，所述计算步骤包括：基于视觉惯性里程计VIO算法，利用惯性测量单元IMU以及相机图像角点特征匹配和跟踪，计算出所述6DoF信息和所述深度信息。5.根据权利要求1
‑
4任一项所述的方法，其中，所述将所述N幅图像中的每幅图像与所述绘制图像集进行匹配包括：在所述N幅图像中的每一幅和所述N幅匹配图像中每个对应的图像之间执行角点特征的匹配。6.根据权利要求1
‑
4任一项所述的方法，其中，将所述最近获取的N幅图像与所述N幅匹配图像的已知位姿信息对齐来输出所述图像采集设备的位姿包括：根据以下等式计算位姿(R，T)：Pi＝R(p
i
‑
p
ref
)+T；(P
i
‑
L
i
)(dot)(P
j
‑
L
j
)
‑
|P
i
‑
L
i
||P
j
‑
L
j
|ray
i
(dot)ray
j
＝0；R*ray
i
(dot)(P
i
‑
L
i
)
‑
|P
i
‑
L
i
|＝0，其中R是表示所述图像采集设备相对于世界坐标系的方向的旋转矩阵；T是表示所述图像采集设备相对于世界坐标系的位置的平移矢量；p
ref
是将所述最近获取的N幅图像作为一个整体时体系统中的参考位置；p
i
是为所述N幅匹配图像中的第i幅图像确定的位姿平移；Pi是所述最近获取的N幅图像中的第i幅图像的位置；L
i
是所述多个地标中第i个地标的位置；dot表示内积运算；ray
i
表示从相机焦点到与第i个图像上的特征点对应的图像像素的射线；以及为最近获取的图像输出位姿(r
ref
，p
ref
)为：r
ref
＝R*R
ref
；和p
ref
＝T，其中R
ref
是为所述最近获取的图像确定的旋转矩阵。7.一种用于估计图像采集设备的位姿的装置，包括：获取模块，被配置为从至少一个位姿获取多个地标的一系列图像；确定模块，被配置为对于最近获取的N幅图像，通过将所述N幅图像中的每幅图像与绘制图像集进行匹配来确定N幅匹配图像，其中N为大于2的整数；以及
输出模块，被配置为通过将所述最近获取的N幅图像与...

【专利技术属性】
技术研发人员：全在春，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：