相机姿态确定和跟踪制造技术

一种用于确定和跟踪相机姿态的系统，包括：动态视觉传感器(DVS)，被配置为生成当前DVS图像的、惯性测量单元(IMU)，被配置为生成惯性数据和存储器。存储器被配置为存储已知3维(3D)环境的3D地图。该系统还可以包括耦接到存储器的处理器。处理器被配置为发起操作，所述操作包括基于当前DVS图像、惯性数据、3D地图和先前的相机姿态来确定DVS的当前相机姿态。

Camera attitude determination and tracking

【技术实现步骤摘要】
【国外来华专利技术】相机姿态确定和跟踪
本公开涉及在已知的3维(3D)环境中确定和跟踪相机姿态。
技术介绍
多种不同的技术依赖于对相机的位置和取向的准确确定，被称为相机的“姿态”或“相机姿态”。机器人和计算机视觉系统例如增强现实和/或虚拟现实系统广泛地依赖于相机姿态。准确确定和跟踪相机姿态的能力允许系统确定3维(3D)虚拟对象相对于相机的位置和取向。用于确定和跟踪相机姿态的常规系统通常依赖于摄影相机和深度传感器。摄影相机也称为“RGB”(红、绿、蓝)相机。
技术实现思路
【技术问题】许多低功率设备(例如移动电话、无人机)和某些可穿戴设备(例如智能眼镜)主要依靠电池功率操作，从而使功耗成为重要考虑因素。摄影相机和深度传感器消耗大量功率，这使得这些传感器的组合不适用于低功率设备。性能是另一个考虑因素。为了使系统具有响应性和对用户友好，该系统必须能够准确确定并跟踪相机姿态，并以相对较低的延迟进行。全球定位系统(GPS)接收器等技术无法提供足够的准确度来确定相机的姿态。例如，常规的低成本GPS接收器通常仅在几米内才是准确的，这使本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n使用动态视觉传感器DVS来生成当前DVS图像；/n使用惯性测量单元IMU来生成惯性数据；/n使用处理器来从存储器中检索已知三维3D环境的3D地图的至少一部分；以及/n使用所述处理器基于所述当前DVS图像、所述惯性数据、所述3D地图和先前相机姿态来确定所述DVS的当前相机姿态。/n

【技术特征摘要】
【国外来华专利技术】20170928 US 62/564,957;20180425 US 15/962,7571.一种方法，包括：
使用动态视觉传感器DVS来生成当前DVS图像；
使用惯性测量单元IMU来生成惯性数据；
使用处理器来从存储器中检索已知三维3D环境的3D地图的至少一部分；以及
使用所述处理器基于所述当前DVS图像、所述惯性数据、所述3D地图和先前相机姿态来确定所述DVS的当前相机姿态。


2.根据权利要求1所述的方法，还包括：
基于所述惯性数据来调整与所述DVS相对应的DVS帧速率。


3.根据权利要求1所述的方法，其中，所述3D地图包括3D点云和具有对应相机姿态的关键帧，其中所述关键帧是具有重叠视场的红、绿和蓝RGB关键帧。


4.根据权利要求3所述的方法，其中，确定所述当前相机姿态包括：
通过执行包括所述当前DVS图像的多个连续DVS图像中的稀疏特征点的光流来确定运动；
跟踪所述多个连续DVS图像内的特征；以及
将所述当前DVS图像与基于所述3D地图生成的合成DVS图像进行比较；
其中，基于所述运动、所跟踪的特征以及将所述当前DVS图像与所述合成DVS图像进行比较来确定所述当前相机姿态。


5.根据权利要求4所述的方法，其中，将所述当前DVS图像与所述合成DVS图像进行比较包括：
基于所述先前相机姿态来从所述3D地图中选择关键帧；以及
基于所选择的关键帧和所述惯性数据来生成所述合成DVS图像。


6.根据权利要求5所述的方法，其中，确定当前相机姿态包括：执行优化以使所述合成DVS图像与所述当前DVS图像之间的像素强度误差最小化。


7.根据权利要求3所述的方法，还包括：
使用RGB传感器来生成当前RGB图像；以及
使用所学习的重新定位模型来确定所述先前相机姿态，其中，所学习的重新定位模型将所述当前RGB图像中的点映...

【专利技术属性】
技术研发人员：安柯·古普塔，迈克尔·萨皮恩扎，范妮·丰塔内尔，阿比吉特·Z·本戴尔，普拉纳夫·米斯特里，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR