【技术实现步骤摘要】
【国外来华专利技术】用于低功率移动平台的CMOS辅助内向外动态视觉传感器跟踪
本公开总体上涉及计算机视觉和用于增强现实(AR)的平台。更具体地，本公开涉及用于低功率移动平台的互补金属氧化物半导体(CMOS)辅助动态视觉传感器(DVS)跟踪。
技术介绍
增强现实(AR)体验，其将数字控制的AR内容并入到由AR平台提供的操作环境(例如，现实世界环境)的用户视图中，使得当用户在操作环境内移动时，AR内容的位置行为看起来模仿物理对象(例如，看起来“粘”在环境的墙壁上而没有抖动或看起来“陷入”到墙壁中的AR对象)的位置行为，可能要求AR平台基于提供给AR平台(诸如设备相机)的图像传感器数据来生成和连续地更新对其世界的数字理解。在许多情况下，与维护AR平台的世界理解相关联的处理负载和功耗可能降低AR体验的质量—例如，通过要求将AR装置“束缚(tethered)”(例如，有线的)到更大功率的处理平台、或者AR应用迅速消耗无束缚的(untethered)(例如，无线的)AR平台的可用电池资源。因此，减少与生成以期望的AR体验为基础的准确和稳定的...
【技术保护点】
1.一种装置，包括：/n动态视觉传感器(DVS)，被配置为输出传感器事件数据的异步流；/n互补金属氧化物半导体(CMOS)图像传感器，被配置为输出图像数据的帧；/n混合特征处理机，被配置为接收DVS输出或CMOS图像传感器输出中的一个或多个作为输入，并将跟踪的特征提供给执行内向外设备跟踪的视觉惯性同时定位和绘图(SLAM)管线；/n传感器调度器，被配置为基于一个或多个CMOS控制因子的当前值来关闭所述CMOS图像传感器。/n
【技术特征摘要】
【国外来华专利技术】20180518 US 62/673,402;20180518 US 62/673,771;20181.一种装置，包括：
动态视觉传感器(DVS)，被配置为输出传感器事件数据的异步流；
互补金属氧化物半导体(CMOS)图像传感器，被配置为输出图像数据的帧；
混合特征处理机，被配置为接收DVS输出或CMOS图像传感器输出中的一个或多个作为输入，并将跟踪的特征提供给执行内向外设备跟踪的视觉惯性同时定位和绘图(SLAM)管线；
传感器调度器，被配置为基于一个或多个CMOS控制因子的当前值来关闭所述CMOS图像传感器。
2.根据权利要求1所述的装置，其中，所述混合特征处理机被配置为将DVS输出和CMOS图像传感器输出对准以及转换为公共表示。
3.根据权利要求1所述的装置，其中，所述一个或多个CMOS控制因子包括以下中的一个或多个：剩余电池电量的当前值、所述装置的功率预算、特征跟踪的稳健性的表示的当前值、跟踪精度置信度值的当前值、初始化状态或操作模式。
4.根据权利要求1所述的装置，其中，所述CMOS控制因子是跟踪精度置信度值的当前值，所述跟踪精度置信度值的当前值基于将所述一个或多个CMOS控制因子的向量表示应用于预测模型来确定。
5.根据权利要求4所述的装置，其中，所述预测模型基于来自所述视觉惯性SLAM管线的内向外跟踪输出与基于外向内跟踪测量的地面真值的比较进行训练，并且所述预测模型预测来自所述视觉惯性SLAM管线的内向外跟踪输出之间相对于所述地面真值的相对误差。
6.根据权利要求4所述的装置，其中，所述CMOS图像传感器响应于所述跟踪精度置信度值的当前值下降到阈值以下而关闭。
7.根据权利要求6所述的装置，其中，所述阈值基于所述装置的功耗历史或功率预算中的一个或多个进行调整。
8.一种方法，包括：
在装置的混合特征处理机处接收被配置为输出传感器事件数据的异步流的动态视觉传感器(DVS)的输出；
在所述混合特征处理机处接收互补金属氧化物半导体(CMOS)图像传感器的输出，所述CMOS图像传感器被配置为输出图像数据的帧；
由所述混合特征处理机基于所述DVS传感器的输出或所述CMOS图像传感器的输出中的一个或多个来确定跟踪的特征；
将所述跟踪的特征提供给执行内向外设备跟踪的视觉惯性同时定位和绘图(SLAM)管线；以及
由传感器调度器基于一个或...
【专利技术属性】
技术研发人员：A古普塔，M萨皮恩扎，F方塔内尔，A本戴尔，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。