3D检测和跟踪管线推荐的方法和计算机可读介质技术

3D检测和跟踪管线推荐的方法和计算机可读介质。提供了预测用于对象检测、姿态估计和对象跟踪的管线的性能的系统和方法。在一个实施方式中，存储多个回归元，其中各个回归元可被训练用于特定对象检测OD、姿态估计PE和/或跟踪管线，以使得各个回归元响应于作为输入的第一特征向量而输出等于或大于另一回归元的得分，第一特征向量对应于相比其它管线更适合于特定管线的第一对象。第二特征向量与第二对象对应地存储。回归元以第二特征向量作为输入来运行以推导相应得分，并且相对于第二对象基于所推导的得分来指示至少一个管线的推荐。然后，可使用所指示的至少一个管线来执行OD/PE/跟踪。

Recommended methods and computer-readable media for 3D detection and tracking of pipelines

【技术实现步骤摘要】
3D检测和跟踪管线推荐的方法和计算机可读介质
本公开总体上涉及图像数据流中的对象检测和姿态估计的领域，更具体地，涉及包括图像数据流中的低特征对象检测和姿态估计的增强现实系统。
技术介绍
随着计算机技术的进步，增强现实(AR)已变得越来越常见。AR的一般定义是捕获真实世界场景并使用软件添加人工(虚拟)元素。这可增强用户对真实世界的感知或向用户提供娱乐。在许多AR实现中对象跟踪是重要的。这意味着真实世界对象“跟随”有诸如计算机图形增强或信息泡泡(由用户感知)的人工对象。换言之，如果真实世界对象移动或者用户的视角相对于真实世界对象移动，则人工对象将相对于真实世界对象保持在相同的位置和/或将基于真实世界对象的移动和/或新位置来确定人工对象的内容。在许多AR实现中位置跟踪也是重要的。这意味着虚拟对象将停留在场景中的一个位置，而不管用户的移动。用于实现AR的一个平台是智能电话。相机、显示装置和处理器存在于相同的装置上允许软件容易地向相机所捕获的实时场景添加人工元素。此外，软件利用这些装置上的运动传感器和定位器(例如，加速度计和GPS)的存在来更好地实现AR。为了改进AR体验，透明头戴式显示器(HMD)可实现AR。这些系统通常是在眼睛前方放置具有棱镜的眼镜。用户直接通过眼镜来观看场景。棱镜允许人工图像叠加在用户所感知的场景上。此外，HMD使用相机从场景收集数据。为了创建AR环境，AR软件开发者可使用各种对象的样本图像数据来训练处理器。给定适当工具来创建AR环境，AR软件开发者可开发可利用真实世界场景增强的图形。为了开发图形，软件开发者可在执行姿态估计的同时收集训练数据。另外，软件开发者可能需要选择规定如何在训练计算机的处理管线(pipeline)内处理样本图像数据的算法或配置。然而，众多算法可能可用，并且AR软件开发者通常不知道对于特定软件应用，何种算法将是最佳的。增强现实软件开发包(ARSDK)可包括用于3D对象检测和跟踪(OD/PE/跟踪)的系统以由AR软件开发者用于AR应用软件。
技术实现思路
系统可按照不止一种方式来配置，并且更适当的配置取决于应用域的物理方面，例如要跟踪何种类型的对象。希望使用SDK来开发AR应用软件的开发者必须选择适合于应用域的系统算法或配置。问题在于，无法预期开发者具有3D对象检测和跟踪(OD/PE/跟踪)领域的专业知识以便能够理解如何选择最适合于其应用域的配置。可能优选的是向软件开发者提供推荐系统，其能够基于他们关于其应用域提供的数据来自动地为他们推荐或选择配置。本公开的一些方面的优点在于解决上述至少一部分问题，本公开的各方面可被实现为以下方面。本公开的目的之一在于向AR软件开发者提供推荐系统，其可在提供OD/PE/跟踪算法训练数据时给予他们关于哪一管线用于其应用的推荐。推荐系统可使用关于在实验室设置下获得的性能的先前经验来构造(当AR软件开发者在使用之前开发训练工具时)。本公开的一方面是一种存储指令的非暂时性计算机可读介质，所述指令使得一个或更多个处理器能够基于(i)测试对象的训练输入数据集和(ii)第一性能数据集来训练第一回归元(regressor)，以使得当训练输入数据集输入时第一回归元输出近似于第一性能数据集的数据。第一性能数据集可基于各个测试对象的第一姿态和基准姿态。各个测试对象的第一姿态可从姿态推导装置获得，该姿态推导装置运行第一管线以基于对应训练输入数据集以及由相机捕获的各个测试对象的图像来推导第一姿态。所述一个或更多个处理器还可基于(iii)测试对象的训练输入数据集和(iv)第二性能数据集来训练第二回归元，以使得当训练输入数据集输入时第二回归元输出近似于第二性能数据集的数据。第二性能数据集可基于各个测试对象的第二姿态和基准姿态。各个测试对象的第二姿态可从姿态推导装置获得，该姿态推导装置运行第二管线以基于对应训练输入数据集以及由相机捕获的各个测试对象的图像来推导第二姿态。本公开还包括一种方法的实施方式，该方法包括在第一存储器区域中存储至少两个回归元。各个回归元被训练用于对应特定对象检测(OD)、姿态估计(PE)和/或跟踪管线，以使得各个回归元响应于作为输入的第一特征向量而输出等于或大于其它回归元的得分。第一特征向量对应于相比其它管线更适合于对应管线的第一对象。该方法还包括在第二存储器中存储与第二对象对应的第二特征向量，并且以第二特征向量作为输入来运行回归元以推导相应得分。另外，该方法包括相对于第二对象基于所推导的得分在显示器上指示至少一个管线的推荐。该方法还包括使用所指示的至少一个管线来执行OD/PE/跟踪。根据另一实施方式，提供一种存储指令的非暂时性计算机可读介质，所述指令在由一个或更多个处理器执行时执行方法，该方法包括在第一存储器区域中存储与对象对应的训练数据，其中，该训练数据包括标志数据。该方法还包括接收包括真实场景中的所述对象的图像帧，并且基于标志数据从存储在第二存储器区域中的多个对象检测(OD)、姿态估计(PE)和/或跟踪算法当中选择一个OD/PE/跟踪算法。另外，该方法包括使用图像帧之一和所选择的OD/PE/跟踪算法来推导对象相对于捕获图像帧的相机的姿态。根据本公开的一些方面，一种头戴式显示装置包括相机、一个或更多个存储器、显示装置和处理器，该处理器由存储在一个或更多个存储器中的指令配置以执行方法。该方法可包括上述方法中的一个或更多个。附图说明将参照附图描述本公开，其中，相似的标号表示相似的元件。图1是示出示例HMD的示意性配置的图。图2是示出图1所示的HMD的功能配置的框图。图3是示出图1和图2所示的HMD在三维(3D)真实世界场景中的使用的图。图4是示出立方体的渲染和补丁(patch)的示例的图。图5是示出用于创建和使用训练工具的实验室/开发/用户设置中的系统的实施方式的图。图6是示出图5所示的训练工具的推荐系统所采用的方法的实施方式的流程图。图7是示出用于实现本申请的细节的方法的实施方式的流程图。图8是示出用于创建回归元的数据流的图。具体实施方式图1示出HMD100的示意性配置。HMD100是头戴式显示装置(头戴式显示器)。HMD100是光学透射型。即，HMD100可使得用户感测虚拟图像，同时使得用户直接视觉上识别外部场景。HMD100包括可穿戴在用户的头部上的穿戴带90、显示图像的显示部20以及控制显示部20的控制部10。在显示部20被穿戴在用户的头部上的状态下，显示部20使得用户感测虚拟图像。使得用户感测虚拟图像的显示部20也被称为“显示AR”。由用户感测的虚拟图像也被称为AR图像。穿戴带90包括由树脂制成的穿戴基部91、联接到穿戴基部91的由布料制成的带92、相机60和IMU(惯性测量单元)71。穿戴基部91具有沿着人的前额区域的样子弯曲的形状。带92围绕用户的头部穿戴。相机60用作成像器。相机60能够对外部场景进行成像并被设置在穿戴基部91的中本文档来自技高网...

【技术保护点】
1.一种存储用于3D检测和跟踪管线推荐的指令的非暂时性计算机可读介质，所述指令使得一个或更多个处理器能够：/n基于(i)测试对象的训练输入数据集和(ii)第一性能数据集来训练第一回归元，以使得当所述训练输入数据集输入时所述第一回归元输出近似于所述第一性能数据集的数据，/n其中，所述第一性能数据集基于各个测试对象的第一姿态和基准姿态，各个测试对象的所述第一姿态从姿态推导装置获得，该姿态推导装置运行第一管线以基于对应训练输入数据集以及由相机捕获的各个测试对象的图像来推导所述第一姿态，并且/n基于(iii)所述测试对象的所述训练输入数据集和(iv)第二性能数据集来训练第二回归元，以使得当所述训练输入数据集输入时所述第二回归元输出近似于所述第二性能数据集的数据，/n其中，所述第二性能数据集基于各个测试对象的第二姿态和所述基准姿态，各个测试对象的所述第二姿态从所述姿态推导装置获得，所述姿态推导装置运行第二管线以基于对应训练输入数据集以及由所述相机捕获的各个测试对象的图像来推导所述第二姿态。/n

【技术特征摘要】
20181001 US 16/148,6151.一种存储用于3D检测和跟踪管线推荐的指令的非暂时性计算机可读介质，所述指令使得一个或更多个处理器能够：
基于(i)测试对象的训练输入数据集和(ii)第一性能数据集来训练第一回归元，以使得当所述训练输入数据集输入时所述第一回归元输出近似于所述第一性能数据集的数据，
其中，所述第一性能数据集基于各个测试对象的第一姿态和基准姿态，各个测试对象的所述第一姿态从姿态推导装置获得，该姿态推导装置运行第一管线以基于对应训练输入数据集以及由相机捕获的各个测试对象的图像来推导所述第一姿态，并且
基于(iii)所述测试对象的所述训练输入数据集和(iv)第二性能数据集来训练第二回归元，以使得当所述训练输入数据集输入时所述第二回归元输出近似于所述第二性能数据集的数据，
其中，所述第二性能数据集基于各个测试对象的第二姿态和所述基准姿态，各个测试对象的所述第二姿态从所述姿态推导装置获得，所述姿态推导装置运行第二管线以基于对应训练输入数据集以及由所述相机捕获的各个测试对象的图像来推导所述第二姿态。


2.根据权利要求1所述的非暂时性计算机可读介质，该非暂时性计算机可读介质还被配置用于存储指令，所述指令使得所述一个或更多个处理器能够：
将所述第一回归元和所述第二回归元存储在软件开发包SDK的训练工具中以用于帮助应用开发者开发增强现实应用。


3.根据权利要求1所述的非暂时性计算机可读介质，该非暂时性计算机可读介质还被配置用于存储指令，所述指令使得所述一个或更多个处理器能够：
基于(v)所述测试对象的所述训练输入数据集和(vi)第三性能数据集来训练不同于所述第一回归元和所述第二回归元的至少一个附加回归元，以使得当所述训练输入数据集输入时所述附加回归元输出近似于所述第三性能数据集的数据，
其中，所述第三性能数据集基于各个测试对象的第三姿态和所述基准姿态，各个测试对象的所述第三姿态从所述姿态推导装置获得，所述姿态推导装置运行第三管线以基于对应训练输入数据集以及由所述相机捕获的各个测试对象的图像来推导所述第三姿态。


4.根据权利要求1所述的非暂时性计算机可读介质，其中，当目标对象的训练数据被输入到所述第一回归元和所述第二回归元时，所述第一回归元和所述第二回归元输出表示所述第一管线和所述第二管线之一的推荐的数据以用于检测所述目标对象、估计所述目标对象的姿态和/或跟踪所述目标对象的姿态。


5.根据权利要求1所述的非暂时性计...

【专利技术属性】
技术研发人员：A·M·罗滕施泰因，A·K·贝科，C·M·苏坦托，孙佳宁，A·S·克尔曼，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：日本;JP