对象检测和跟踪方法、头戴式显示装置和存储介质制造方法及图纸

对象检测和跟踪方法、头戴式显示装置和存储介质。一种方法可以包括以下步骤：从摄像头获取图像帧；从惯性传感器获取传感器数据序列；至少基于该图像帧跟踪真实场景中的对象的第一姿态；基于该传感器数据序列得到惯性传感器的传感器姿态；确定是否丢失了第一姿态；从一个或更多个存储器取得或根据在一个或更多个存储器中存储的3D模型生成与基于在丢失第一姿态时或之后获得的传感器姿态的视图对应的训练模板；以及使用该训练模板得到对象的第二姿态。

Object Detection and Tracking Method, Head-mounted Display Device and Storage Media

【技术实现步骤摘要】
对象检测和跟踪方法、头戴式显示装置和存储介质
本专利技术的实施方式涉及信息处理装置的技术，该信息处理装置使用摄像头和运动传感器(例如，惯性传感器)处理与目标对象的三维模型有关的信息。
技术介绍
JP-A-2013-50947中公开了一种估计由摄像头成像的对象的姿态的方法，它公开了一种技术，在该技术中，创建包括对象的图像的输入图像的二元掩模，从二元掩模提取作为对象的内轮廓和外轮廓中的点的单体，并且将单体的集合连接到彼此，以形成被表示为双矩阵的网格，使得估计对象的姿态。然而，诸如JP-A-2013-50947的现有技术仅使用摄像头来估计姿态。然而，摄像头具有时延，该时延随着用户头部的运动或速度增大而增大。而且，准确且快速的对象检测在诸如计算机视觉、人工智能以及生物统计学的各种工程与科学学科中是有用的。例如，今天在许多工业场所，使用了机器人来进行零件组装和制造。这些机器人装配有赋予它们视觉的一个或更多个摄像头，例如，CCD或CMOS。通常，对象(即，零件)被包含在箱子中。机器人必须识别箱子中的对象/零件，从而可以拾取对象/零件来组装产品。
技术实现思路
一旦检测到对象，则可以跟踪它，并且对象可以处于任意数量的姿态(位置、方位、旋转)。有时，在跟踪不同姿态和视图的对象时，对象对摄像头来说可能变得丢失，由此，系统然后将需要重新初始化对象检测，使得对象的跟踪可以继续。然而，当前系统初始化/重新初始化对象检测可能花费相当多的处理时间，特别是当在其他视图中跟踪变得丢失的时候，因为系统需要从训练数据的所有视图中搜索最近的有限视图。这对用户来说不方便，并且它劣化了用户体验。本申请的实施方式公开了具有摄像头的系统。为了改善用户体验，本公开的实施方式致力于由惯性传感器(IMU)以及对象检测和姿态估计(ODPE)视觉模块的组合在跟踪失败时在任意视图中重新初始化对象。本专利技术的一些方面的优点是解决上述问题的至少一部分，并且本专利技术的方面可以实施为以下方面。(1)根据本专利技术的方面，提供了一种非暂时计算机可读介质，该非暂时计算机可读介质包含使得一个或更多个处理器执行方法的指令。该方法可以包括以下步骤：从摄像头获取图像帧；从惯性传感器获取传感器数据序列；至少基于图像帧跟踪真实场景中的对象的第一姿态；基于传感器数据序列得到惯性传感器的传感器姿态；确定是否丢失第一姿态；从一个或更多个存储器取得或根据在一个或更多个存储器中存储的3D模型生成与基于在丢失第一姿态时或之后获得的传感器姿态的视图对应的训练模板；以及使用训练模板得到对象的第二姿态。(2)根据本专利技术的另一个方面，方法可以包括以下步骤：从摄像头获取图像帧；从惯性传感器获取传感器数据序列；至少基于图像帧跟踪真实场景中的对象的第一姿态；基于传感器数据序列得到惯性传感器的传感器姿态；确定是否丢失第一姿态；从一个或更多个存储器取得或根据在一个或更多个存储器中存储的3D模型生成与基于在丢失第一姿态时或之后获得的传感器姿态的视图对应的训练模板；以及使用训练模板得到对象的第二姿态。(3)根据本专利技术的另一个方面，一种头戴式显示装置可以包括：摄像头(该摄像头可以包括深度传感器)；惯性传感器，该惯性传感器以空间关系相对于摄像头固定或可调节地固定；以及处理器。处理器可以被配置为：从摄像头获取图像帧；从惯性传感器获取传感器数据序列；至少基于图像帧跟踪真实场景中的对象的第一姿态；基于传感器数据序列得到惯性传感器的传感器姿态；确定是否丢失第一姿态；从一个或更多个存储器取得或根据在一个或更多个存储器中存储的3D模型生成与基于在丢失第一姿态时或之后获得的传感器姿态的视图对应的训练模板；以及使用训练模板得到对象的第二姿态。本专利技术可以以除了方法、头戴式显示器以及非暂时计算机可读介质之外的方式/系统来实施。例如，本专利技术可以以诸如信息处理装置、显示装置、信息处理系统、用于实现头戴式显示器的功能的计算机程序、以及包括计算机程序并且在载波中具体实施的数据信号的形式来实施。附图说明将参照附图描述本专利技术的方面，附图中，同样的附图标记引用同样的元件。图1是例示了在本实施方式中作为信息处理装置的个人计算机的功能配置的框图。图2是例示了根据实施方式的由模板创建器执行的模板创建处理的流程图。图3是用于说明根据实施方式的通过使用等式(1)计算的、表示用于三维模型的目标对象的二维的N个点的集合的图。图4A至图4C是例示了根据实施方式的3DCAD、2D模型、基于2D模型创建的3D模型之间的关系的示意图。图5是例示了根据实施方式的通过使用模板优化被成像目标对象的姿态的头戴式显示器(HMD)的外部配置的图。图6是功能地例示了根据实施方式的本实施方式中的HMD的配置的框图。图7是例示了根据实施方式的估计目标对象的姿态的处理的流程图。图8是例示了根据实施方式的单个模型点可以与多个图像点组合的图。图9是例示了根据实施方式的模型点与错误图像点组合的示例的图。图10是例示了根据实施方式的CF相似性的计算的示例的图。图11是例示了根据实施方式的CF相似性的计算的示例的图。图12是例示了根据实施方式的CF相似性的计算的示例的图。图13是例示了第二实施方式中的CF相似性的计算的示例的图。图14是例示了第二实施方式中的CF相似性的计算的示例的图。图15是例示了第二实施方式中的CF相似性的计算的示例的图。图16A是例示了根据实施方式的AR应用中的姿态与对象之间的高时延的图。图16B是例示了根据实施方式的AR应用中的姿态与对象之间的低时延或无时延的图。图17是例示了根据实施方式的具有惯性传感器和摄像头传感器的HMD的示意配置的图。图18是例示了根据实施方式的图17的HMD的功能配置的框图。图19是例示了根据实施方式的将传感器数据与图像数据的融合的流程图。图20是示出了根据实施方式的将融合传感器数据与图像数据融合的流程图。图21是示出了根据实施方式的对象姿态预测的流程图。图22是示出了根据实施方式的初始化传感器融合的流程图。图23是示出了根据实施方式的惯性传感器对象跟踪器的流程图。图24是示出了根据实施方式的重新初始化IMU融合的流程图。图25是例示了根据实施方式的处理视觉丢失的流程图。图26是例示了根据实施方式的所生成姿态的抖动减轻的流程图。图27是例示了根据实施方式的特征匹配的图。图28A是例示了根据实施方式的用户以360度观看对象的图。图28B是例示了根据实施方式的用户在用户丢失姿态的视图时在特定视图处观看对象的图(相对于用户开始观看对象的地点)。图29是例示了根据实施方式的在丢失视图之后估计目标对象的姿态的处理的流程图。图30是例示了根据实施方式的为了在丢失视图时允许继续观看对象而示出对象的不同视图位置的系统的示意配置的图。图31A至图31D是例示了根据实施方式的检测来自模拟训练图像的关键点(或边缘模板)的序列的图。图32和图33示出了例示了根据实施方式的基于特征的离线训练数据生成的处理的流程图。图34是例示了根据实施方式的基于特征的在线对象检测和姿态估计的处理的流程图。具体实施方式在本说明书中，将根据以下标题按顺序进行描述。A.第一实施方式A-1.信息处理装置的配置A-2.模板的创建(训练)A-2-1.2D模型点的选择A-2-2.3D模型点的确定和模板的创建A-本文档来自技高网...

【技术保护点】
1.一种非暂时计算机可读介质，该非暂时计算机可读介质包含使得一个或更多个处理器执行方法的指令，该方法包括以下步骤：(A)从摄像头获取图像帧；(B)从惯性传感器获取传感器数据序列；(C)至少基于所述图像帧跟踪真实场景中的对象的第一姿态；(D)基于所述传感器数据序列得到惯性传感器的传感器姿态；(E)确定是否丢失所述第一姿态；(F)从一个或更多个存储器取得或根据在一个或更多个存储器中存储的3D模型生成与基于在丢失所述第一姿态时或之后获得的所述传感器姿态的视图对应的训练模板；以及(G)使用该训练模板得到所述对象的第二姿态。

【技术特征摘要】
2017.12.26 US 15/854,2771.一种非暂时计算机可读介质，该非暂时计算机可读介质包含使得一个或更多个处理器执行方法的指令，该方法包括以下步骤：(A)从摄像头获取图像帧；(B)从惯性传感器获取传感器数据序列；(C)至少基于所述图像帧跟踪真实场景中的对象的第一姿态；(D)基于所述传感器数据序列得到惯性传感器的传感器姿态；(E)确定是否丢失所述第一姿态；(F)从一个或更多个存储器取得或根据在一个或更多个存储器中存储的3D模型生成与基于在丢失所述第一姿态时或之后获得的所述传感器姿态的视图对应的训练模板；以及(G)使用该训练模板得到所述对象的第二姿态。2.根据权利要求1所述的非暂时计算机可读介质，其中，(D)步骤包括：使用非线性滤波算法基于所述传感器数据序列来预测惯性传感器的传感器姿态。3.根据权利要求2所述的非暂时计算机可读介质，其中，所述方法还包括以下步骤：获得所述图像帧的所述对象的特征位置，其中，(F)步骤包括：从一个或更多个存储器取得模板，该模板包含以下各项的信息：(i)视图；(ii)模板特征，该模板特征从根据该视图来渲染3D模型得到的图像和/或根据该视图拍摄到的基准对象的图像获得；以及(iii)与所述模板特征对应的3D点，其中，所述3D模型和所述基准对象与所述对象对应，并且所述视图基于在丢失所述第一姿态时或之后获得的所述传感器姿态，并且其中，(G)步骤包括：使用所述特征位置和所述训练模板得到所述对象的第二姿态。4.根据权利要求3所述的非暂时计算机可读介质，其中，获得所述图像帧中的所述特征点的步骤包括基于所述传感器姿态获得所述对象的所述特征位置。5.根据权利要求3所述的非暂时计算机可读介质，其中，所述方法还包括以下步骤：从一个或更多个存储器取得所述摄像头与所述惯性传感器之间的空间关系；并且其中，所述视图基于(i)在丢失所述第一姿态时或之后获得的所述传感器姿态和(ii)所述空间关系。6.根据权利要求1所述的非暂时计算机可读介质，其中，在所述一个或更多个存储器中存储有一个或更多个训练模板；并且所述一个或更多个训练模板分别包括在用户丢失所述第一姿态之前训练的特征关键点。7.根据权利要求1所述的非暂时计算机可读介质，其中，在所述用户丢失所述第一姿态之后用特征关键点实时训练由所述3D模型生成的模板。8.根据权利要求1所述的非暂时计算机可读介质，所述方法还包括以下步骤：在丢失所述第一姿态之后至少基于所述第二姿态来跟踪所述对象。9.根据权利要求1所述的非暂时计算机可读介质，其中，基于误差函数f大于第一预定阈值T(f>T(或f<T))来确定跟踪丢失。10.根据权利要求1所述的非暂时计算机可读介质，其中，基于在丢失所述第一姿态时或之后获得的所述传感器姿态的所述视图是第一视图；第二视图是位于与所述第一视图不同的位置处的、开始所述对象的跟踪处的视图；并且所述对象的所述第二姿态处于所述第二视图处。11.一种对象检测和跟踪方法，该方法包括以下步骤：(A)从摄像头获取图像帧；(B)从惯性传感器获取传感器数据序列；(C)至少基于所述图像帧跟踪真实场景中的对象的第一姿态；(D)基于所述传感器数据序列得到惯性传感器的传感器姿态；(E)确定是否丢失所述第一姿态；(F)从一个或更多个存储器取得或根...

【专利技术属性】
技术研发人员：杨杨，I·莫拉维奇，
申请(专利权)人：精工爱普生株式会社，
类型：发明
国别省市：日本,JP