信息处理装置、位置和/或姿态的估计方法及计算机程序制造方法及图纸

本发明专利技术提供一种信息处理装置，其具备：第一估计单元(44)，其基于从拍摄装置取得的规定的对象的周围的图像，估计上述对象的位置和姿态的至少一方，且生成不含蓄积误差的估计结果；第二估计单元(46)，其基于上述图像，估计上述对象的位置和姿态的至少一方，且生成包含蓄积误差的估计结果；修正单元(50)，其比较第一估计单元(44)的估计结果和第二估计单元(46)的估计结果，基于比较结果，修正比用于比较的第二估计单元(46)的估计结果靠后的第二估计单元(46)的估计结果；以及App执行单元(38)，其基于通过修正单元(50)修正的第二估计单元(46)的估计结果，执行规定的数据处理。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、位置和/或姿态的估计方法及计算机程序
本专利技术涉及一种数据处理技术，特别是涉及一种信息处理装置、位置和/或姿态的估计方法及计算机程序。
技术介绍
将与游戏机连接的头戴显示装置(下面，称为“HMD”。)佩戴于头部的用户一边观看显示于HMD的画面，一边操作控制器等进行游戏。在通常的固定式显示器中，因为用户的视野范围也扩大到显示器的画面的外侧，所以有时不能集中于显示器的画面上，另外，有时缺乏向游戏的沉浸感。在这一点上，如果佩戴HMD，则因为用户不看显示于头戴显示装置的视频以外的视频，所以向视频世界的沉浸感增强，具有进一步提高游戏的娱乐性的效果。另外，如果使HMD具有头部跟随功能，与用户的头部的动作连动地更新显示于画面的虚拟空间等的图像，则向视频的沉浸感进一步提高，游戏等的应用的操作性也提高。现有技术文献专利文献专利文献1：日本特开2015－95045号公报
技术实现思路
专利技术要解决的课题作为用于估计空间内的规定的对象(例如HMD)的位置或姿态的技术，已知有SLAM(SimultaneousLocalizationAndMapping，同时定位和映射)。SLAM包括针对从摄像机的拍摄图像检测到的包含特征点的局部斑块(localpatch)的每一个，追踪特征点的运动，并基于此通过各时间步骤更新规定的状态变量的方法。通过将状态变量设为摄像机的位置或姿态、移动速度、角速度、存在于被摄空间的物体的至少一个的特征点的位置等，能够针对每一拍摄图像取得被摄空间和摄像机的传感器表面的位置关系(例如距离及角度)。SLAM中提出多个方法，在每一方法中自身位置估计所需的时间或正确性等的特性不同。然而，在此前所提出的SLAM中，难以兼顾自身位置估计的迅速性和正确性。本专利技术是鉴于这样的课题而完成的，其目的在于，提供一种对于估计规定的对象的位置和姿态的至少一方的信息处理，辅助其兼顾迅速性和正确性的技术。用于解决课题的技术方案为了解决上述课题，本专利技术的一个方式提供了一种信息处理装置，其具备：第一估计单元，其基于从拍摄装置取得的规定的对象的周围的图像，估计对象的位置和姿态的至少一方，且生成不含蓄积误差的估计结果；第二估计单元，其基于图像，估计对象的位置和姿态的至少一方，且生成包含蓄积误差的估计结果；修正单元，其比较第一估计单元的估计结果和第二估计单元的估计结果，基于比较结果，修正比用于比较的第二估计单元的估计结果靠后的第二估计单元的估计结果；以及数据处理单元，其基于通过修正单元修正的第二估计单元的估计结果，执行规定的数据处理。本专利技术的另一方式提供了一种位置和/或姿态的估计方法。该方法中，计算机执行如下步骤：执行第一估计处理的步骤，所述第一估计处理基于从拍摄装置取得的规定对象的周围的图像，估计对象的位置和姿态的至少一方，生成不含蓄积误差的估计结果；执行第二估计处理的步骤，所述第二估计处理基于图像，估计对象的位置和姿态的至少一方，生成包含蓄积误差的估计结果；比较第一估计处理的估计结果和第二估计处理的估计结果，基于比较结果，修正比用于比较的第二估计处理的估计结果靠后的第二估计处理的估计结果的步骤。此外，将如上构成要素的任意组合、本专利技术的表现在存储了系统、计算机程序、计算机程序的记录介质等之间进行转换作为本专利技术的方式也是有效的。专利技术效果根据本专利技术，对于估计规定的对象的位置和姿态的至少一方的信息处理，能够辅助其兼顾迅速性和正确性。附图说明图1是表示实施方式的信息处理系统的结构的图。图2是表示HMD的外观的图。图3是表示HMD的功能结构的框图。图4是表示游戏机的功能结构的框图。图5是表示HMD的动作的流程图。图6是表示游戏机的动作的流程图。图7是详细表示图6的S30的状态辨识处理的流程图。图8是详细表示图6的S32的App处理的流程图。图9是以时间序列表示VR图像生成为止的处理的图。图10是示意性表示第三变形例的系统的图。图11是示意性表示第四变形例的系统的图。图12是示意性表示第五变形例的系统的图。图13是示意性表示第六变形例的系统的图。图14是示意性表示第七变形例的系统的图。图15是示意性表示第八变形例的系统的图。图16是以时间序列表示VR图像生成为止的处理的图。具体实施方式首先，说明概要。在HMD中，为了提高用户对VR(VirtualReality，虚拟现实)或AR(AugmentedReality，增强现实)的沉浸感，最好提示沿着用户的头的运动的图像。因此，需要实时取得HMD的位置及姿态(也可以说是方向)、或佩戴HMD的用户的位置及姿态的信息。作为追踪HMD的位置及姿态的一个方法，有一种通过固定于HMD外部的规定位置的摄像机拍摄HMD，追踪搭载于HMD的LED组的外观的方法。然而，在该方式中，具有不能与偏离固定的摄像机的视角的HMD的运动对应的限制。在实施方式的系统中，其目的在于消除HMD的移动限制，通过SLAM解析搭载于HMD的摄像机的视频，从而追踪HMD的位置或姿态。具体而言，以摄像机拍摄的HMD周围的真实空间的图像为主要输入，以加速度传感器、角速度传感器、地磁传感器等的输出信息为辅助输入，逐渐构建周围环境信息而执行自身位置估计处理。此外，可以将实施方式的自身位置估计处理设为估计规定的对象(具体而言为HMD)的位置和姿态双方，但也可以将其设为估计任一方的结构。然而，SLAM中提出了多个方法，根据方法，SLAM的特性不同。例如，在某一公知的方法的SLAM(下面，称为“第一SLAM”。)中，各次的自身位置估计处理相互独立，估计世界坐标系中的自身(在实施方式中为HMD)的绝对位置。第一SLAM具有从摄像机图像的输入到输出自身位置估计的结果为止所需时间较长(例如45毫秒以上)，但无误差的蓄积的特性。换言之，具有生成不含蓄积误差(累计误差)的估计结果的特性。因为无误差的蓄积，所以估计结果和真值的背离幅度与时间的经过无关，长时间内的自身位置估计的准确度相对较高。长时间是指例如5秒以上，又例如100次自身位置估计处理的执行所需的时间以上。在其它的公知的方法的SLAM(下面，称为“第二SLAM”。)中，基于各次的自身位置估计结果的差分，估计世界坐标系中的自身的相对位置。第二SLAM具有从摄像机图像的输入到输出自身位置估计的结果为止所需时间较短(例如15毫秒以内)，但蓄积误差的特性。换言之，具有生成包含蓄积误差的估计结果的特性。因为逐渐蓄积的误差反映到估计结果，所以估计结果和真值的背离幅度容易随着时间的经过而变大，长时间内的自身位置估计的准确度相对较低。例如，在反复进行自身位置估计处理而多次输出估计结果的情况下，越靠后的时刻的估计结果，与实际的位置及姿态的背离容易越大。这样，当前并不存在兼顾自身位置估计的迅速性和正确性的SLAM的方法。因此，在实施方式的系统中，利用无蓄积误差的第一SLAM的估计结果，修正包含蓄积误差的第二SLAM的估计结果。这样，通过并用特性不同的第一SLAM和第二SLAM，同时执行补足双方的弱点的信息处理，从而实现自身位置估计的迅速性和正确性的兼顾。在实施方式中，将自身位置估计的对象作为用户佩戴的HMD进行说明，但实施方式的自身位置估计的技术可以应用于各种对象。通过后段的变形例对其一部分进行说明。图1表示实施方式的信本文档来自技高网...

【技术保护点】
一种信息处理装置，其特征在于，具备：第一估计单元，其基于从拍摄装置取得的规定对象周围的图像，估计所述对象的位置和姿态的至少一方，且生成不含蓄积误差的估计结果；第二估计单元，其基于所述图像，估计所述对象的位置和姿态的至少一方，且生成包含蓄积误差的估计结果；修正单元，其比较所述第一估计单元的估计结果和所述第二估计单元的估计结果，基于比较结果，修正比用于比较的所述第二估计单元的估计结果靠后的所述第二估计单元的估计结果；以及数据处理单元，其基于通过所述修正单元修正的所述第二估计单元的估计结果，执行规定的数据处理。

【技术特征摘要】
【国外来华专利技术】2015.10.09 JP 2015-2014261.一种信息处理装置，其特征在于，具备：第一估计单元，其基于从拍摄装置取得的规定对象周围的图像，估计所述对象的位置和姿态的至少一方，且生成不含蓄积误差的估计结果；第二估计单元，其基于所述图像，估计所述对象的位置和姿态的至少一方，且生成包含蓄积误差的估计结果；修正单元，其比较所述第一估计单元的估计结果和所述第二估计单元的估计结果，基于比较结果，修正比用于比较的所述第二估计单元的估计结果靠后的所述第二估计单元的估计结果；以及数据处理单元，其基于通过所述修正单元修正的所述第二估计单元的估计结果，执行规定的数据处理。2.如权利要求1所述的信息处理装置，其特征在于，所述第二估计单元比所述第一估计单元更高速地估计所述对象的位置和姿态的至少一方。3.如权利要求1或2所述的信息处理装置，其特征在于，短时间内的所述第二估计单元的估计结果的准确度比短时间内的所述第一估计单元的估计结果的准确度高。4.如权利要求1～3中任一项所述的信息处理装置，其特征在于，所述修正单元为了消除所述第一估计单元的估计结果和所述第二估计单元的估计结果的差，修正比求出所述差的所述第二估计单元的估计结果靠后的所述第二估计单元的估计结果。5.如权利要求4所述的信息处理装置，其特征在于，所述第二估计单元在所述第一估计单元的一次估计处理的期间，执行基于由所述拍摄装置拍摄的多个图像的多次估计处理，所述修正单元为了在从求出所述第一估计单元的估计结果和所述第二估计单元的估计结果的差开始到得到所述第一估计单元的下一个估计结果为止的期间，逐渐消除所述差，分别修正比求出所述差的所述第二估计单元的估计结果靠后的所述第二估计单元的多次估计结果。6.如权利要求1～5中任一项所述的信息处理装置，其特征在于，所述第一估计单元及所述第二估计单元基于由同一拍摄装置拍摄的图像，估计所述对象的位置和姿态的至少一方。7.如权利要求1～5中任一项所述的信息处理装置，其特征在于，所述第一估计单元基于相对高画质的图像，估计所述对象的位置和姿态的至少一方，所述第二估计单元基于相对低画质的图像，估计所述对象的位置和姿态的至少一方，所述高画质的图像和所述低画质的图像为由相同或不同的拍摄装置拍摄的图像。8.如权利要求1～5中任一项所述的信息处理装置，其特征在于，还具备图像取得单...

【专利技术属性】
技术研发人员：加藤宙，稻田彻悟，柏谷辰起，加藤嵩明，
申请(专利权)人：索尼株式会社，索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本,JP