图像显示控制装置及图像显示控制用程序制造方法及图纸

本发明专利技术提供图像显示控制装置和图像显示控制用程序，该图像显示控制装置具备：对象物检测部(13)，其从显示虚拟空间图像的HMD(200)上搭载的照相机(202)拍摄到的现实世界的动态图像，检测位于距HMD(200)规定距离以内的位置处的对象物；和图像重叠部(15)，其将包含该对象物的规定范围的图像重叠显示于虚拟空间图像上；当用户在搭载于HMD(200)上的照相机(202)所拍摄的范围的身边进行所需的操作时，通过使包含该手的规定范围的拍摄图像重叠显示于虚拟空间图像上，从而用户在佩戴HMD(200)的状态下，也能够一边观察重叠显示于虚拟空间图像上的拍摄图像一边适当地进行所需的操作。

【技术实现步骤摘要】
【国外来华专利技术】图像显示控制装置及图像显示控制用程序
本专利技术涉及图像显示控制装置及图像显示控制用程序，尤其适用于控制针对头戴式显示器描绘的虚拟空间中的图像的显示的装置中。
技术介绍
近年来，让人宛如现实般地体验计算机中创造的虚拟世界的虚拟现实(VR：VirtualReality)技术得到广泛应用。VR的应用例多种多样，但一般是用户佩戴护目镜式的HMD(头戴式显示器)，并在通过计算机在HMD上描绘的三维虚拟空间中，用户能够虚拟地进行各种体验。VR也能够向用户呈现超越时间、空间这一现实制约的世界。使用护目镜式HMD的VR所具备的魅力之一在于，HMD之外的现实世界被完全屏蔽，因而用户能够沉浸于虚拟现实的世界中。然而，完全屏蔽现实世界在成为VR的魅力的同时，反过来也存在着不利之处。例如，由于佩戴HMD时完全无法看到外界，因此，如果在HMD中呈现的虚拟空间中行走而使用户实际行走的话，则有可能碰到周围的障碍物。目前，已提出了旨在解决上述问题的技术(例如参照专利文献1、2)。在专利文献1所述的系统中，根据搭载于HMD上的照相机拍摄到的外界的图像检测对于佩戴HMD的用户而言的障碍物，并计算检测到的障碍物与用户之间的距离。然后，将由检测到的障碍物替换而成的虚拟对象在显示于HMD的虚拟空间内合成至与到障碍物的距离相对应的位置处。专利文献2中也公开了如下技术，即：在显示于HMD上的图像中，为了告知用户其身边存在桌子等障碍物，而使与桌子对应的虚拟对象重叠显示于虚拟空间的图像上。专利文献1：日本专利特开2013-257716号公报专利文献2：日本专利特开2017-102298号公报
技术实现思路
根据上述专利文献1、2所述的技术，由于用户能够通过重叠显示于虚拟空间图像上的障碍物的虚拟对象而掌握显示于HMD上的虚拟空间图像的外界所存在的障碍物的存在位置，因此，用户能够在佩戴HMD的状态下避开障碍物行动。由此，能够避免因为现实世界被完全屏蔽所带来的VR的不利之一。然而，即使使用上述专利文献1、2中所述的技术，也存在用户在佩戴HMD的状态下无法进行现实世界中的操作这一问题。例如，无法在观看HMD上显示的虚拟空间图像的同时，在手里做笔记以将感兴趣的事物写入备忘录、或者操作智能手机。因此，目前必须进行如下繁杂的操作，即：暂时停止再生虚拟空间图像并取下HMD，在进行了所需操作之后，再次佩戴HMD并重新开始再生虚拟空间图像。本专利技术是为了解决上述问题而完成的，其目的在于，使用户能够在佩戴HMD的状态下容易地进行现实世界中的操作。为了解决上述问题，在本专利技术中，在从显示虚拟空间图像的头戴式显示器上搭载的照相机拍摄到的现实世界的动态图像检测到位于距头戴式显示器规定距离以内的位置处的对象物时，在规定距离以内的位置处检测到对象物的期间，将包含该对象物的规定范围的拍摄图像重叠显示于虚拟空间图像上。(专利技术效果)根据上述那样构成的本专利技术，当用户在搭载于头戴式显示器上的照相机所拍摄的范围的身边进行所需的操作时，由于包含该手的规定范围的拍摄图像重叠显示于虚拟空间图像上，因此，用户在佩戴头戴式显示器的状态下，也能够一边观察重叠显示于虚拟空间图像上的拍摄图像一边适当地进行所需的操作。这样，根据本专利技术，用户在佩戴头戴式显示器的状态下，也能够容易地进行现实世界中的操作。附图说明图1是表示第一实施方式涉及的图像显示控制装置的功能构成例的框图。图2是用于说明本实施方式涉及的对象物检测部的处理内容的图。图3是用于说明第一实施方式涉及的图像重叠部的处理内容的图。图4是表示第一实施方式涉及的图像显示控制装置的动作例的流程图。图5是表示第二实施方式涉及的图像显示控制装置的功能构成例的框图。图6是用于说明第二实施方式涉及的图像重叠部的处理内容的图。图7是表示第二实施方式涉及的图像显示控制装置的动作例的流程图。图8是用于说明在第二实施方式中可变地设定重叠区域的变形例的图。(符号说明)11：图像再生部12：拍摄图像获取部13：对象物检测部14：位置检测部15、17：图像重叠部16：对象物判断部100、100’：图像显示控制装置200：HMD201：姿势检测传感器202：照相机具体实施方式(第一实施方式)以下，根据附图对本专利技术的第一实施方式进行说明。图1是表示第一实施方式涉及的图像显示控制装置100的功能构成例的框图。第一实施方式涉及的图像显示控制装置100用于再生存储于VR图像存储部300中的虚拟空间图像，并使其显示于HMD200上。HMD200中搭载有姿势检测传感器201和照相机202。第一实施方式涉及的图像显示控制装置100根据该姿势检测传感器201和照相机202的输出控制显示于HMD200上的图像。如图1所示，第一实施方式的图像显示控制装置100的功能构成包括图像再生部11、拍摄图像获取部12、对象物检测部13、位置检测部14以及图像重叠部15。该等各功能块11～15可以由硬件、DSP(DigitalSignalProcessor：数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块11～15实际上具备计算机的CPU、RAM、ROM等而构成，并通过运行RAM或ROM、硬盘或者半导体存储器等的记录介质中存储的图像显示控制用程序而实现。图像再生部11再生存储于VR图像存储部300中的虚拟空间图像并使其显示于HMD200上。在显示该虚拟空间图像的HMD200中，搭载有由陀螺仪传感器或加速度传感器构成的姿势检测传感器201，能够检测佩戴HMD200的用户的头部的运动。图像再生部11控制虚拟空间图像的显示，以使通过HMD200的显示实现的虚拟空间图像的视野根据姿势检测传感器201检测到的用户头部的运动而动态地改变。拍摄图像获取部12获取通过HMD200上搭载的照相机202拍摄的现实世界的图像。照相机202搭载于HMD200的前面或上面，并以一定的周期始终拍摄HMD200的前方。拍摄图像获取部12以动态图像(按时间序列连续的多张帧图像的集合)的形式获取照相机202所拍摄的现实世界的图像。对象物检测部13从拍摄图像获取部12所获得的动态图像中检测位于距HMD200规定距离以内的位置处的对象物。例如，对象物检测部13使用公知的图像识别技术，在拍摄图像获取部12所获得的动态图像的每个帧图像中检测帧图像内所包含的物体。然后，使用公知的测距技术测量检测到的物体与HMD200之间的距离，并且仅将位于规定距离以内的物体检测为上述对象物。其中，对象物检测部13可以将帧图像内包含的所有物体作为检测的对象，但也可以仅检测满足一定条件的物体。例如，既可以仅检测拍摄为规定大小以上的物体，也可以仅检测被拍摄至帧图像的周缘部的规定范围以外的中央区域中的物体。此外，与检测到的物体之间的距离的测量，可以通过使用立体相机或单眼相本文档来自技高网...

【技术保护点】
1.一种图像显示控制装置，其特征在于，具备：/n图像再生部，其再生虚拟空间图像并显示于头戴式显示器中；/n对象物检测部，其从所述头戴式显示器上搭载的照相机所拍摄的现实世界的动态图像，检测位于距所述头戴式显示器规定距离以内的位置处的对象物；以及/n图像重叠部，其在所述对象物检测部在所述规定距离以内的位置上检测到所述对象物的期间，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像上。/n

【技术特征摘要】
【国外来华专利技术】20180912 JP 2018-1702901.一种图像显示控制装置，其特征在于，具备：
图像再生部，其再生虚拟空间图像并显示于头戴式显示器中；
对象物检测部，其从所述头戴式显示器上搭载的照相机所拍摄的现实世界的动态图像，检测位于距所述头戴式显示器规定距离以内的位置处的对象物；以及
图像重叠部，其在所述对象物检测部在所述规定距离以内的位置上检测到所述对象物的期间，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像上。


2.如权利要求1所述的图像显示控制装置，其特征在于，
所述对象物检测部检测在所述规定距离以内的位置处持续存在规定时间以上的对象物；
当所述对象物检测部检测到在所述规定距离以内的位置处持续存在所述规定时间以上的对象物时，所述图像重叠部在之后在所述规定距离以内的位置处检测到所述对象物的期间，将包含所述对象物的规定范围的图像重叠显示于所述虚拟空间图像上。


3.如权利要求1或2所述的图像显示控制装置，其特征在于，还具备：
对象物判断部，其判断所述对象物检测部检测到的所述对象物中是否包含人手；
所述图像重叠部在所述对象物判断部判断为所述对象物中不包含人手时，不将图像重叠于所述虚拟空间图像上，在所述对象物判断部判断为所述对象物中包含人手时，将包含所述人手的规定范围的图像重叠显示于所述虚拟空间图像上。


4.如权利要求3所述的图像显示控制装置，其特征在于，
所述对象物判断部判断所述对象物检测部检测到的所述对象物中是否包含人手以及该手把持的把持物；
所述图像重叠部在所述对象物判断部判断为所述对象物中包含人手及把持物时，将包含所述人手及把持物的规定范围的图像重叠显示于所述虚拟空间图像上。


5.如权利要求4所述的图像显示控制装置，其特征在于，
所述图像重叠部在所述对象物判断部判断为所述对象物中包含人手及把持物时，将包含所述人手及把持物的规定范围的图像，而且是不包含所述人手及把持物以外的物体的图像重叠显示于所述虚拟空间图像上。

【专利技术属性】
技术研发人员：水野拓宏，
申请(专利权)人：株式会社阿尔法代码，
类型：发明
国别省市：日本;JP