图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序制造方法及图纸

本发明专利技术公开了一种能够提高用户的便捷性的图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。第一检测部(80)检测使用户(14)的手(37)向3D图像(40)的深度方向移动的第一手势，并且将表示手(37)的手背(90)的深度方向的位置的手背位置信息输出到判定部(83)。判定部(83)基于手背位置信息，将3D图像(40)的多个层中深度方向的位置与手背(90)一致的层判定为选择层。第二检测部(81)检测用来变更选择层的透射率的使用手指(38)的第二手势。接收部(84)接收变更选择层的透射率的指示信息，并将该指示信息输出到显示控制部(74)。显示控制部(74)根据指示信息变更由判定部(83)判定为选择层的层的透射率。

Image Display System, Control Device of Head-mounted Display and Its Working Method and Procedure

The invention discloses an image display system capable of improving user's convenience, a control device of a head-mounted display and its working method and working procedure. The first detection unit (80) detects the first gesture that moves the hand (37) of the user (14) towards the depth direction of the 3D image (40), and outputs the position information of the hand back indicating the position of the depth direction of the back (90) of the hand (37) to the decision unit (83). Based on the position information of the back of the hand, the decision unit (83) determines the position of the depth direction in multiple layers of the 3D image (40) as the selection layer, which is consistent with the position of the back of the hand (90). The second detection unit (81) detects the second gesture of the finger (38) used to change the transmittance of the selection layer. The receiving unit (84) receives the indication information of changing the transmittance of the selection layer and outputs the indication information to the display control unit (74). The display control unit (74) determines the transmittance of the selection layer by the decision unit (83) according to the change of the instruction information.

【技术实现步骤摘要】
【国外来华专利技术】图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
本专利技术涉及一种图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。
技术介绍
已知有一种在使用计算机创建的虚拟空间中，使用户进行与现实相近的代替体验的技术。例如，专利文献1中记载有关于如下虚拟外科手术的技术，即，对用户显示表示头部等人体的一部分的外观图像，通过与用户所操作的输入设备联动的虚拟手术刀来切开患部的虚拟外科手术。在专利文献1中，外观图像例如是三维立体渲染图像，并且作为输入设备举出手套型设备和带反作用力的输入设备等手持式输入设备。在专利文献1中，检测经由输入设备虚拟地施加到外观图像的力的大小、朝向、以及被施加了力的外观图像上的位置，并求出手术刀虚拟地切开的深度。并且，判定与所求出的深度对应的层(头皮、头盖骨、脑组织、血管、神经系统等)。以往技术文献专利文献专利文献1：日本特开2003-099808号公报
技术实现思路
专利技术要解决的技术课题然而，在虚拟空间中使用户进行代替体验的技术有如下技术，即，通过佩戴在用户的头部的头戴式显示器(以下，称为HMD(HeadMountedDisplay))来使用户识别将现实空间和虚拟空间融合的增强现实空间的技术。该使用HMD的技术有如下技术，即，为了能够进行更直观的操作而通过使用用户的手和手指等的手势代替输入设备来进行操作的技术。可以考虑如下状况，即，在HMD上显示如专利文献1所记载的人体的三维立体渲染图像的多个层在深度方向上重叠的三维虚拟对象物，用户使用手势选择多个层中的所希望的层，接着，对所选择的层(以下，称为选择层)进行某些指示。例如，假设通过使用户的指尖向深度方向移动的手势来进行选择层的选择的情况。在此情况下，将深度方向的位置与用户的指尖一致的层作为选择层，另外，将对选择层的指示作为转动或轻击手指的手势。由此，能够通过只使用手指即可完成选择层的选择和对选择层的指示。但是，因为由于转动或轻击手指的手势而导致指尖的深度方向的位置变化，所以有可能将对选择层的指示误识别为选择层的选择。因此，通过该方法，无法顺利且无误识别地完成选择层的选择和对选择层的指示，不能提高用户的便捷性。专利文献1因为求出手术刀虚拟地切开的深度，并判定了与所求出的深度对应的层，所以可以说进行了选择层的选择，但未记载有对选择层的指示。另外，说起来，专利文献1不但不是使用了HMD的技术，而且不是通过手势进行操作的技术。本专利技术的目的在于提供一种能够提高用户的便捷性的图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。用于解决技术课题的手段为了解决上述问题，本专利技术的图像显示系统具备佩戴在用户的头部的头戴式显示器、以及头戴式显示器的控制装置，并且通过头戴式显示器使用户识别将现实空间和虚拟空间融合的增强现实空间，该图像显示系统包括：显示控制部，其使头戴式显示器显示多个层在深度方向上重叠而成的三维虚拟对象物；第一检测部，其检测使用户的手向深度方向移动的第一手势；第二检测部，其检测使用手指的第二手势；判定部，其基于第一手势从多个层中判定用户所选择的选择层，并以手背的位置为基准进行判定；以及接收部，其接收根据第二手势的对选择层的指示。优选判定部将深度方向的位置与手背一致的层判定为选择层。或者，优选判定部将深度方向的位置与根据手背推测的手指的指尖一致的层判定为选择层。优选显示控制部根据是选择层的情况和不是选择层的情况而使层的显示方式不同。另外，显示控制部优选显示表示选择层的名称的注释。并且，显示控制部优选根据层和手的关于深度方向的距离而改变层的颜色。优选第二手势是转动手指或轻击手指的手势。优选接收部作为指示接收变更选择层的透射率的指示。优选虚拟对象物在现实空间中显示位置被固定。另外，优选虚拟对象物是人体的三维立体渲染图像。在本专利技术的头戴式显示器的控制装置中，该头戴式显示器佩戴在用户的头部，并使用户识别将现实空间和虚拟空间融合的增强现实空间，该控制装置包括：显示控制部，其使头戴式显示器显示多个层在深度方向上重叠而成的三维虚拟对象物；第一检测部，其检测使用户的手向深度方向移动的第一手势；第二检测部，其检测使用手指的第二手势；判定部，其基于第一手势从多个层中判定用户所选择的选择层，并以手背的位置为基准进行判定；以及接收部，其接收根据第二手势的对选择层的指示。在本专利技术的头戴式显示器的控制装置的工作方法中，该头戴式显示器佩戴在用户的头部，并使用户识别将现实空间和虚拟空间融合的增强现实空间，该工作方法包括以下步骤：显示控制步骤，使头戴式显示器显示多个层在深度方向上重叠而成的三维虚拟对象物；第一检测步骤，检测使用户的手向深度方向移动的第一手势；第二检测步骤，检测使用手指的第二手势；判定步骤，基于第一手势从多个层中判定用户所选择的选择层，并以手背的位置为基准进行判定；以及接收步骤，接收根据第二手势的对选择层的指示。在本专利技术的头戴式显示器的控制装置的工作程序中，该头戴式显示器佩戴在用户的头部，并使用户识别将现实空间和虚拟空间融合的增强现实空间，该控制装置的工作程序使计算机执行以下功能：显示控制功能，使头戴式显示器显示多个层在深度方向上重叠而成的三维虚拟对象物；第一检测功能，检测使用户的手向深度方向移动的第一手势；第二检测功能，检测使用手指的第二手势；判定功能，基于第一手势从多个层中判定用户所选择的选择层，并以手背的位置为基准进行判定；以及接收功能，接收根据第二手势的对选择层的指示。专利技术效果根据本专利技术，基于使用户的手向深度方向移动的第一手势，以手的手背的位置为基准，从三维虚拟对象物的多个层中判定用户所选择的选择层，并接收对与使用了用户的手的手指的第二手势对应的选择层的指示，因此，能够顺利且无误识别地完成选择层的选择和对选择层的指示。因此，能够提供一种能够提高用户的便捷性的图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。附图说明图1是表示图像显示系统和图像积蓄服务器的图。图2是头戴式显示器的外观立体图。图3是表示使用图像显示系统的会诊的情形的图。图4是用来说明增强现实空间的形成的图。图5是表示构成3D图像的CT扫描图像的图。图6是构成控制装置的计算机的框图。图7是表示控制装置的CPU的各功能部的框图。图8是表示检测部和处理部的详细内容的框图。图9是表示检测第一手势并输出手背位置信息的第一检测部的功能的图。图10是表示以手背的位置为基准判定选择层的判定部的功能的图。图11是表示将皮肤判定为选择层的情况下的手背和皮肤的深度方向的位置关系的图。图12是表示第二对应信息和第二手势的图。图13是表示将手指的转动方向和转动量转换为指示信息的第二检测部的功能的图。图14是表示变更选择层的透射率的显示控制部的功能的图。图15是表示根据是选择层的情况和非选择层的情况而使层的显示方式不同的显示控制部的功能的图。图16是表示显示表示选择层的名称的注释的显示控制部的功能的图。图17是表示使用图像显示系统进行的会诊的整体的处理过程的流程图。图18是表示变更选择层的透射率的模式的处理过程的流程图。图19是表示将深度方向的位置与根据手背推测的手指的指尖一致的层判定为选择层的第二实施方式的图。图20是表示将皮肤判定为选择层的情况下的手指的指尖和皮肤的本文档来自技高网...

【技术保护点】
1.一种图像显示系统，其具备佩戴在用户的头部的头戴式显示器、以及所述头戴式显示器的控制装置，通过所述头戴式显示器使所述用户识别将现实空间和虚拟空间融合的增强现实空间，所述图像显示系统包括：显示控制部，其使所述头戴式显示器显示多个层在深度方向上重叠而成的三维虚拟对象物；第一检测部，其检测使所述用户的手向所述深度方向移动的第一手势；第二检测部，其检测使用所述手的手指的第二手势；判定部，其基于所述第一手势从多个所述层中判定所述用户所选择的选择层，并以所述手的手背的位置为基准进行所述判定；以及接收部，其接收根据所述第二手势的对所述选择层的指示。

【技术特征摘要】
【国外来华专利技术】2016.07.12 JP 2016-1378141.一种图像显示系统，其具备佩戴在用户的头部的头戴式显示器、以及所述头戴式显示器的控制装置，通过所述头戴式显示器使所述用户识别将现实空间和虚拟空间融合的增强现实空间，所述图像显示系统包括：显示控制部，其使所述头戴式显示器显示多个层在深度方向上重叠而成的三维虚拟对象物；第一检测部，其检测使所述用户的手向所述深度方向移动的第一手势；第二检测部，其检测使用所述手的手指的第二手势；判定部，其基于所述第一手势从多个所述层中判定所述用户所选择的选择层，并以所述手的手背的位置为基准进行所述判定；以及接收部，其接收根据所述第二手势的对所述选择层的指示。2.根据权利要求1所述的图像显示系统，其中，所述判定部将所述深度方向的位置与所述手的手背一致的所述层判定为所述选择层。3.根据权利要求1所述的图像显示系统，其中，所述判定部将所述深度方向的位置与根据所述手的手背推测的所述手指的指尖一致的所述层判定为所述选择层。4.根据权利要求1至3中任一项所述的图像显示系统，其中，所述显示控制部根据是所述选择层的情况和不是所述选择层的情况而使所述层的显示方式不同。5.根据权利要求1至4中任一项所述的图像显示系统，其中，所述显示控制部显示表示所述选择层的名称的注释。6.根据权利要求1至5中任一项所述的图像显示系统，其中，所述显示控制部根据所述层和所述手的关于所述深度方向的距离而改变所述层的颜色。7.根据权利要求1至6中任一项所述的图像显示系统，其中，所述第二手势是转动所述手指或轻击所述手指的手势。8.根据权利要求1至7中任一项所述的图像显示系统，其中，所述接收部接收变更所述选择层的透射率的指示作为所述指示。9.根据权利要求1至8中任一项所述的图像显示系统，其中，所述虚拟对象物在所述现实空间中的显示位置被固定。10.根据权利...

【专利技术属性】
技术研发人员：生田茧子，冈部雄生，北川祐介，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本,JP