用于基于来自单目相机的数据进行定位的深度传感器激活制造技术

公开了一种设备，其被配置用于使用能够与该设备一起运输的单目相机(200)和深度传感器(202)中的一者或两者来执行定位。该设备包括至少一个处理器，其在操作上被连接到单目相机和深度传感器。该设备还包括至少一个存储器，其存储程序代码，该程序代码由至少一个处理器执行以执行操作，该操作用于：从单目相机接收图像数据。该操作基于图像数据，确定激活深度传感器以用于定位的益处级别；以及基于确定激活深度传感器的益处级别满足激活规则，激活深度传感器以用于定位。还公开了相关的方法和计算机程序产品。算机程序产品。算机程序产品。

【技术实现步骤摘要】
【国外来华专利技术】用于基于来自单目相机的数据进行定位的深度传感器激活


[0001]本公开涉及一种用于使用能够与设备一起运输的单目相机和深度传感器中的一者或两者来执行定位的设备、一种由设备使用能够与设备一起运输的单目相机和深度传感器中的一者或两者来执行定位的方法、以及对应的计算机程序产品。

技术介绍

[0002]同时定位与地图构建(SLAM)是一种允许设备在依赖于机载传感器(例如相机、距离传感器和惯性传感器等)时在环境中定位自身的基本技术。这对于机器人(例如无人机和自主车辆)导航并理解环境或执行任务以及能够在混合现实(MR)设备中显示真实和持久的内容至关重要。
[0003]例如，当前的MR头戴式设备和最先进的智能电话包含RGB相机、深度/3D相机(例如被动或主动立体、LIDAR等)和惯性传感器(作为惯性测量单元IMU的一部分)，并且对于室内和室外机器人(例如无人机和自主车辆)也是如此。已提出了几种SLAM算法，它们依赖于RGB和IMU传感器、深度传感器或所有这些传感器的组合。执行传感器的组合的原因是既要利用它们的优势，也要改进它们的局限性。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备(500)，被配置用于使用能够与所述设备一起运输的单目相机(200)和深度传感器(202)中的一者或两者来执行定位，所述设备(500)包括：至少一个处理器(510)，其在操作上被连接到所述单目相机(200)和所述深度传感器(202)；至少一个存储器(520)，其存储程序代码，所述程序代码由所述至少一个处理器(510)执行以执行操作，所述操作用于：从所述单目相机接收(600)图像数据；基于所述图像数据，确定(602)激活所述深度传感器以用于定位的益处级别；以及基于确定激活所述深度传感器的所述益处级别满足激活规则，激活(604)所述深度传感器以用于定位。2.根据权利要求1所述的设备(500)，其中，所述操作还将所述至少一个处理器配置为：在激活(604)所述深度传感器已经被执行之后，基于来自所述单目相机的所述图像数据并且基于来自所述深度传感器的深度数据，确定(700)使用所述单目相机以用于定位的益处级别。3.根据权利要求2所述的设备(500)，其中，所述操作还将所述至少一个处理器配置为：基于确定使用所述单目相机以用于定位的所述益处级别满足去激活规则，去激活(800)所述单目相机。4.根据权利要求3所述的设备(500)，其中，确定(700)使用所述单目相机以用于定位的所述益处级别满足所述去激活规则包括：确定在来自所述单目相机的所述图像数据中的特征描述符的数量，以及确定在所述深度传感器和所述单目相机两者的公共视场内的所述图像数据中的特征描述符的数量满足执行定位所需的特征描述符的阈值数量。5.根据权利要求4所述的设备(500)，其中，在来自所述单目相机的所述图像数据中的特征描述符的数量被限于仅包括满足特征质量阈值的特征描述符。6.根据权利要求3至5中任一项所述的设备(500)，其中，确定(700)使用所述单目相机以用于定位的所述益处级别满足所述去激活规则包括：确定使用所述深度传感器和所述单目相机两者以用于定位所消耗的能量处于比所述设备的能量预算大的水平。7.根据权利要求2至6中任一项所述的设备(500)，其中，基于针对使用所述单目相机执行定位的所述设备而获得的硬件资源利用率，执行确定(700)使用所述单目相机以用于定位的所述益处级别满足所述去激活规则，其中，所述硬件资源利用率包括处理器利用率、存储器利用率、以及网络利用率中的至少一个。8.根据权利要求1至7中任一项所述的设备(500)，其中，激活(604)所述深度传感器包括触发以下中的至少一项：将所述深度传感器转变为高功率状态，将所述深度传感器通电，将所述深度传感器的数据采样率增大到用于定位的级别，将所述深度传感器的分辨率增大到用于定位的级别，以及适配定位算法以使用所述深度传感器的深度感测参数。9.根据权利要求1至8中任一项所述的设备(500)，其中，确定(602)激活所述深度传感器(202)以用于定位的所述益处级别包括：通过定位算法来处理(900)来自所述单目相机的所述图像数据以获得在由所述单目相机感测的环境内的深度点；以及
估计(902)在所述深度传感器的范围内的所述深度点的密度，其中，基于所述深度点的所述密度的估计，确定(602)所述益处级别。10.根据权利要求9所述的设备(500)，其中，估计在所述深度传感器的所述范围内的所述深度点的密度包括：在来自所述单目相机的所述图像数据内识别在所述环境内的具有确定的物理大小的对象；以及基于在所述图像数据内的所述对象的大小与所述对象的所述物理大小的比较，确定所述深度点的范围。11.根据权利要求9至10中任一项所述的设备(500)，其中，基于在...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：