信息处理装置、信息处理方法和程序制造方法及图纸

[问题]为了提供用于防止虚拟对象的AR显示中的延迟的技术。[解决方案]根据本技术的信息处理装置配备有控制单元。控制单元执行预先识别处理，该预先识别处理基于来自能够对终端的显示单元的AR显示视角外部的区域进行成像的终端的第一成像单元的第一图像信息预先识别增强现实(AR)显示视角外部的对象相对于终端的位置和姿势。当对象进入AR显示视角内部时，控制单元基于预先识别的对象的位置和姿势使虚拟对象相对于对象以AR显示。使虚拟对象相对于对象以AR显示。使虚拟对象相对于对象以AR显示。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法和程序


[0001]本技术涉及用于增强现实(AR)显示虚拟对象的技术。

技术介绍

[0002]近年来，众所周知存在这样的AR技术，其中在存在于真实世界中的目标对象上叠加并显示虚拟对象，使得用户能够感知虚拟对象，仿佛虚拟对象是存在于真实世界中的对象一样(例如，参照下面的专利文献1)。
[0003]例如，AR技术安装在诸如头戴式显示器(HMD)和智能电话的各种终端中。
[0004]为了相对于目标对象AR显示虚拟对象，需要识别目标对象相对于终端的位置和姿势。到目前为止已经研究和开发了该识别技术，并且主要方法之一可以是根据来自设置在终端中的成像单元的图像信息识别目标对象的位置和姿势的方法。
[0005]引文列表
[0006]专利文献
[0007]专利文献1：日本专利申请特许公开第2017
‑
120550号

技术实现思路

[0008]技术问题
[0009]当终端的姿势改变时，例如，当佩戴HMD的用户转动头部时，目标对象可以进入AR显示视角内部。在这样的情况下，直至识别出目标对象的位置和姿势才AR显示虚拟对象，并且AR显示被延迟。
[0010]鉴于以上提及的情况，本技术的目的是提供防止虚拟对象的AR显示的延迟的技术。
[0011]问题的解决方案
[0012]根据本技术的信息处理装置包括控制单元。
[0013]控制单元执行预先识别处理，该预先识别处理基于来自能够对终端的显示单元的AR显示视角外部的区域进行成像的终端的第一成像单元的第一图像信息来预先识别AR显示视角外部的目标对象相对于终端的位置和姿势；并且当目标对象进入AR显示视角内部时，基于预先识别的目标对象的位置和姿势，相对于目标对象AR显示虚拟对象。
[0014]因此，可以防止虚拟对象的AR显示的延迟。
[0015]根据本技术的信息处理方法包括：
[0016]执行预先识别处理，该预先识别处理基于来自能够对终端的显示单元的AR显示视角外部的区域进行成像的终端的第一成像单元的第一图像信息来预先识别AR显示视角外部的目标对象相对于终端的位置和姿势；以及
[0017]当目标对象进入AR显示视角内部时，基于预先识别的目标对象的位置和姿势，相对于目标对象AR显示虚拟对象。
[0018]根据本技术的程序使计算机执行包括以下的处理：
[0019]执行预先识别处理，该预先识别处理基于来自能够对终端的显示单元的AR显示视角外部的区域进行成像的终端的第一成像单元的第一图像信息来预先识别AR显示视角外部的目标对象相对于终端的位置和姿势；以及
[0020]当目标对象进入AR显示视角内部时，基于预先识别的目标对象的位置和姿势，相对于目标对象AR显示虚拟对象。
附图说明
[0021][图1]示出根据本技术的第一实施方式的HMD的示例的图。
[0022][图2]示出根据本实施方式的HMD的内部配置的框图。
[0023][图3]示出当在目标对象上叠加并AR显示虚拟对象时的状态的图。
[0024][图4]示出控制单元的定位处理的流程图。
[0025][图5]示出正面图像中的目标对象的检测处理的流程图。
[0026][图6]示出正面图像中的目标对象的跟踪处理的流程图。
[0027][图7]示出侧面图像中的目标对象的检测处理的流程图。
[0028][图8]示出侧面图像中的目标对象的跟踪处理的流程图。
[0029][图9]示出虚拟对象的AR显示处理的流程图。
[0030][图10]根据本实施方式的HMD中的处理流程与根据比较例的HMD中的处理流程进行比较的图。
[0031][图11]示出当用户转动头部时在根据比较例的HMD中AR显示虚拟对象的定时的图。
[0032][图12]示出当用户转动头部时在根据本实施方式的HMD中AR显示虚拟对象的定时的图。
[0033][图13]示出在使用多个正面相机6的情况下的状态的图。
具体实施方式
[0034]在下文中，将参照附图描述根据本技术的实施方式。
[0035]<<第一实施方式>>
[0036]<整体配置和各个单元的配置>
[0037]图1是示出根据本技术的第一实施方式的HMD 10的图。图2是示出根据本实施方式的HMD 10的内部配置的框图。
[0038]如图1和图2所示，HMD 10(终端的示例)包括HMD本体11、控制单元1、存储单元2、显示单元3、惯性传感器4、成像单元5和通信单元8。
[0039]HMD本体11安装在用户的头部上以供使用。HMD本体11包括前部12、设置在前部12的右侧的右镜腿部13、设置在前部12的左侧的左镜腿部14、以及附接在前部12的下侧的玻璃部15。
[0040]在控制单元1的控制下，显示单元3能够在正面的AR显示视角中对虚拟对象9进行AR显示。AR显示意指执行显示以使得用户能够感到仿佛虚拟对象9是存在于真实空间中的真实对象一样。
[0041]图3是示出当在目标对象上叠加并AR显示虚拟对象9时的状态的图。在图3的左侧，
示出了当在作为目标对象的摇摇木马的马鞍上的位置处AR显示作为角色的虚拟对象9时的状态。在图3的右侧，示出了当在作为目标对象的人(孩子)的面部上的位置处AR显示作为角色的虚拟对象9时的状态。
[0042]显示单元3的至少一部分被设置在玻璃部15中。显示单元3是透光显示器(光学透视显示器)，并且例如包括有机发光二极管(OLED)和导光板作为光源。显示单元3可以采用诸如使用半反射镜的配置和视网膜成像显示器的各种形式。显示单元3的光源可以被设置在前部12、右镜腿部13、左镜腿部14等中。
[0043]应当注意，显示单元3可以是视频透视显示器。在这种情况下，在显示单元3上显示其中虚拟对象9被叠加在由设置在正面的正面相机6捕获的图像上的图像。
[0044]成像单元5包括正面相机6(第二成像单元)和侧面相机7(第一成像单元)。正面相机6和侧面相机7各自包括诸如电荷耦合器件(CCD)传感器和互补金属氧化物半导体(CMOS)传感器的成像元件以及诸如成像透镜的光学系统。
[0045]在图1中示出的示例中，正面相机6(第二成像单元)朝外设置在前部12的外表面中。正面相机6获取HMD 10正面的正面图像(第二图像信息)，并且将正面图像(第二图像信息)输出至控制单元1。
[0046]正面相机6是第二成像单元的示例。第二成像单元被配置成能够对与显示单元3的AR显示视角对应的区域进行成像。第二成像单元对与AR显示视角对应的区域中存在的对象进行成像，并且将捕获的图像信息(第二图像信息)输出至控制单元1。
[0047]在图1中示出的示例中，侧面相机7朝外设置在右镜腿部13的外表面中。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：控制单元，所述控制单元执行预先识别处理，所述预先识别处理基于来自能够对终端的显示单元的AR显示视角外部的区域进行成像的所述终端的第一成像单元的第一图像信息来预先识别所述AR显示视角外部的目标对象相对于所述终端的位置和姿势；并且当所述目标对象进入所述AR显示视角内部时，基于预先识别的所述目标对象的位置和姿势，相对于所述目标对象AR显示虚拟对象。2.根据权利要求1所述的信息处理装置，其中，所述控制单元基于预先识别的所述目标对象的位置和姿势以及估计的所述终端的自身位置和姿势来预测所述目标对象的位置和姿势，并且当所述目标对象进入所述AR显示视角内部时，基于所述预测的结果，相对于所述目标对象AR显示虚拟对象。3.根据权利要求2所述的信息处理装置，其中，所述控制单元基于来自能够对与所述AR显示视角对应的区域进行成像的所述终端的第二成像单元的第二图像信息，执行识别所述AR显示视角内部的目标对象的位置和姿势的识别处理，并且基于所识别的所述目标对象的位置和姿势，相对于所述目标对象AR显示虚拟对象。4.根据权利要求3所述的信息处理装置，其中，所述控制单元在从所述目标对象进入所述AR显示视角内部的时间到所述识别处理中的所述目标对象的识别完成的时间的时段中，基于所述预测的结果来AR显示虚拟对象。5.根据权利要求3所述的信息处理装置，其中，所述控制单元在从所述终端的姿势改变的速度变得大于等于预定阈值的时间到所述识别处理中的所述目标对象的识别完成的时间的时段中，执行所述预测。6.根据权利要求3所述的信息处理装置，其中，所述控制单元在所述预先识别处理中，以第一频率重复地执行基于所述第一图像信息检测所述目标对象的第一检测处理。7.根据权利要求6所述的信息处理装置，其中，所述控制单元在所述识别处理中，以不同于所述第一频率的第二频率重复地执行基于所述第二图像信息检测所述目标对象的第二检测处理。8.根据权利要求7所述的信息处理装置，其中，所述第一频率低于所述第二频率。9.根据权利要求3所述的信息处理装置，其中，所述控制单元在所述预先识别处理中，以第三频率重复地执行基于所述第一图像信息跟踪所述目标对象的运动的第一跟踪处理。10.根据权利要求9所述的信息处理装置，其中，所述控制单元在所述识别处理中，以不同于所述第三频率的第四频率重复地执行基于所述第二图像信息跟踪所述目标对象的运动的第二跟踪处理。11.根据权利要求10所述的信息处理装置，其中，所述第三频率低于所述第四频率。12.根据权利要求3所述的信息处理装置，其中，...

【专利技术属性】
技术研发人员：浜崎巧，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：