图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序制造方法及图纸

本发明专利技术公开了一种图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序，能够迅速且正确地进行使用作为虚拟用户接口的数值设定用用户接口的数值的设定。第二检测部(71)检测第二手势，该第二手势是用来切换粗调模式和微调模式的手势，在该粗调模式中，滑动条(45)的可设定的数值的范围为第一范围且/或数值的单位变动幅度为第一变动幅度，在该微调模式中，其范围为比第一范围小的第二范围且/或单位变动幅度为比第一变动幅度小的第二变动幅度。模式切换部(74)根据第二手势而切换粗调模式和微调模式。显示控制部(69)使粗调滑动条(45A)和微调滑动条(45B)选择性地显示在HMD(11)。

Image Display System, Control Device of Head-mounted Display and Its Working Method and Procedure

【技术实现步骤摘要】
【国外来华专利技术】图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
本专利技术涉及一种图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。
技术介绍
已知有如下技术，即，使佩戴在用户的头部的头戴式显示器(以下，称为HMD(HeadMountedDisplay))显示使用计算机图形的虚拟图像，并使用户识别将现实空间和虚拟空间融合的增强现实空间的技术。例如，专利文献1记载有使用用户能够用肉眼视觉辨认现实空间的透射式HMD的技术。在专利文献1中，作为虚拟图像显示用户虚拟地操作的虚拟用户接口(以下，称为UI(UserInterface))。在虚拟UI中，示出由用户的手指虚拟地触摸操作的虚拟按钮的例子。在专利文献1中，进行使被操作的虚拟按钮发光等视觉显示。由此，用户能够视觉辨认自己操作哪个虚拟按钮。可是，相对于如专利文献1的虚拟按钮的虚拟UI，以往已知有显示在平板终端的触摸面板或个人计算机的显示器而进行触摸操作或鼠标操作的UI。以下，将这样的以往的UI称为非虚拟UI，以便区别于虚拟UI。非虚拟UI有很多种类，作为其中之一，有用于数值设定的操作的数值设定用UI。数值设定用UI由表示可设定的数值范围的范围显示部和指示当前所设定的数值的数值指示部构成。作为数值设定用UI的代表，可以举出滑动条。在滑动条的情况下，范围显示部例如是其左端配置有下限值且其右端配置有上限值的横棒状的条，并且数值指示部是在条上被滑动地操作的滑块。以往技术文献专利文献专利文献1：日本特开2015-119373号公报
技术实现思路
专利技术要解决的技术课题在数值设定用UI中，通过触摸操作和鼠标操作进行数值设定，但常有由于反复几次经过想要设定的数值而导致设定数值费时费力的情况。因此，为了迅速且正确地进行数值的设定，需要精细的操作。对非虚拟UI进行的操作如上所述是触摸操作和鼠标操作，并且这些操作伴随着接触实际存在于现实空间的物体的行为，诸如用手接触触摸面板，握持鼠标点击按钮等。因此，用户容易掌握触觉上的操作感觉。从而，比较容易进行精细的操作。与此相比，虚拟UI只是作为虚拟地存在于现实空间上的UI由用户识别的。用户对插入到视野中的虚拟UI例如通过进行伸手接触的手势来进行操作。但是，此时，用户并不实际上用手接触虚拟UI。因此，在对虚拟UI进行的操作中，用户难以掌握触觉上的操作感觉，从而比较难以进行精细的操作。于是，正在研究使用虚拟UI实现数值设定用UI。在此情况下，因为如上所述虚拟UI比较难以进行精细的操作，所以与非虚拟UI的情况相比有可能设定数值费时费力。在专利文献1中，虽然进行能够理解选择的有无的视觉上的显示，诸如使被操作的虚拟按钮发光等，但是不能解决难以掌握对于数值设定用UI的触觉上的操作感觉，从而难以进行精细的操作的问题。本专利技术的目的在于提供一种图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序，能够迅速且正确地进行使用作为虚拟用户接口的数值设定用用户接口的数值的设定。用于解决技术课题的手段为了解决上述问题，本专利技术的图像显示系统具备佩戴在用户的头部的头戴式显示器、以及头戴式显示器的控制装置，并且通过头戴式显示器使用户识别将现实空间和虚拟空间融合的增强现实空间，该图像显示系统包括：显示控制部，其使至少一个数值设定用用户接口作为虚拟用户接口显示在头戴式显示器，该数值设定用用户接口由表示可设定的数值范围的范围显示部和指示当前所设定的数值的数值指示部构成，该虚拟用户接口是在增强现实空间中用户虚拟地识别的接口；第一检测部，其检测用来设定数值的用户的第一手势；第二检测部，其检测用来切换粗调模式和微调模式的用户的第二手势，粗调模式是范围为第一范围且/或数值的单位变动幅度为第一变动幅度的模式，微调模式是范围为比第一范围小的第二范围且/或单位变动幅度为比第一变动幅度小的第二变动幅度的模式；数值变更部，其根据第一手势而变更数值；以及模式切换部，其根据第二手势而切换粗调模式和微调模式。优选在增强现实空间中，在用户的手未接触数值设定用用户接口的状态下，第一检测部及第二检测部检测第一手势及第二手势。优选显示控制部在增强现实空间中使数值设定用用户接口显示用户的手够不到的远程位置上。优选第一手势是使用户的手向第一方向及第二方向移动的第一及第二方向手势，该第二方向是与第一方向相反的方向，并且第二手势是使用户的手向第三方向及第四方向移动的第三及第四方向手势，该第三方向是与第一方向不同的方向，并且该第四方向是与第二方向不同且与第三方向相反的方向。优选第一检测部检测用户的手位于参考位置，并检测用户的手从参考位置移动的方向，并且数值变更部从检测出用户的手向第一方向或第二方向的一个方向移动到检测用户的手返回参考位置为止，自动地变更数值。优选显示控制部使粗调模式用的粗调接口和微调模式用的微调接口作为数值设定用用户接口显示。优选显示控制部使粗调接口和微调接口选择性地显示。优选显示控制部在增强现实空间中使微调接口放大显示在比粗调接口更靠跟前侧。优选显示控制部使粗调接口和微调接口双方同时显示，并且使粗调接口和微调接口中的一方处于接收数值的设定的激活状态，而使另一方处于不接收数值的设定的非激活状态。优选显示控制部根据激活状态和非激活状态而使粗调接口和微调接口的显示方式不同。优选当在微调接口中数值达到第二范围的上限值或下限值之后还检测出第一手势时，显示控制部变更范围显示部的第二范围的显示。优选第一手势是使用户的手向第一方向及第二方向移动的第一及第二方向手势，该第二方向是与第一方向相反的方向，第二手势是使用户的手的移动方向从第一方向及第二方向中的一个方向切换为另一个方向的切换手势，并且模式切换部将切换手势之后的单位变动幅度缩小为比切换手势之前的单位变动幅度小。优选显示控制部根据检测出第一手势的情况和未检测出第一手势的情况而使数值指示部的显示方式不同。优选数值设定用用户接口是由作为范围显示部的条和作为在该条上被滑动操作的数值指示部的滑块构成的滑动条。优选显示控制部除了使数值设定用用户接口显示以外，还使现实空间中的显示位置被固定的虚拟对象显示在头戴式显示器中，并且在增强现实空间中，在由数值设定用用户接口掩盖虚拟对象的部分的大小为所设定的大小以上的情况下，使数值设定用用户接口的显示位置向未掩盖虚拟对象的位置移动。优选第一检测部及第二检测部解析用户的手的摄像图像而识别用户的手，并检测所识别的用户的手的第一手势及第二手势。优选第一检测部及第二检测部基于戴在用户的手上的手套来识别用户的手。本专利技术的图像显示系统优选还包括遮蔽处理部，其对与所识别的用户的手重叠的数值设定用用户接口的部分进行遮蔽。在本专利技术的头戴式显示器的控制装置中，该头戴式显示器佩戴在用户的头部，并使用户识别将现实空间和虚拟空间融合的增强现实空间，该控制装置包括：显示控制部，其使至少一个数值设定用用户接口作为虚拟用户接口显示在头戴式显示器，该数值设定用用户接口由表示可设定的数值范围的范围显示部和指示当前所设定的数值的数值指示部构成，该虚拟用户接口是在增强现实空间中用户虚拟地识别的接口；第一检测部，其检测用来设定数值的用户的第一手势；第二检测部，其检测用来切换粗调模式和微调模式的用户的第二手势，粗调模式是范围为第一范围且/或数值的单位本文档来自技高网...

【技术保护点】
1.一种图像显示系统，其具备佩戴在用户的头部的头戴式显示器、以及所述头戴式显示器的控制装置，通过所述头戴式显示器使所述用户识别将现实空间和虚拟空间融合的增强现实空间，所述图像显示系统包括：显示控制部，其使至少一个数值设定用用户接口作为虚拟用户接口显示在所述头戴式显示器，该数值设定用用户接口由表示可设定的数值范围的范围显示部和指示当前所设定的所述数值的数值指示部构成，该虚拟用户接口是在所述增强现实空间中所述用户虚拟地识别的接口；第一检测部，其检测用来设定所述数值的所述用户的第一手势；第二检测部，其检测用来切换粗调模式和微调模式的所述用户的第二手势，所述粗调模式是所述范围为第一范围且/或所述数值的单位变动幅度为第一变动幅度的模式，所述微调模式是所述范围为比所述第一范围小的第二范围且/或所述单位变动幅度为比所述第一变动幅度小的第二变动幅度的模式；数值变更部，其根据所述第一手势而变更所述数值；以及模式切换部，其根据所述第二手势而切换所述粗调模式和所述微调模式。

【技术特征摘要】
【国外来华专利技术】2016.07.12 JP 2016-1378131.一种图像显示系统，其具备佩戴在用户的头部的头戴式显示器、以及所述头戴式显示器的控制装置，通过所述头戴式显示器使所述用户识别将现实空间和虚拟空间融合的增强现实空间，所述图像显示系统包括：显示控制部，其使至少一个数值设定用用户接口作为虚拟用户接口显示在所述头戴式显示器，该数值设定用用户接口由表示可设定的数值范围的范围显示部和指示当前所设定的所述数值的数值指示部构成，该虚拟用户接口是在所述增强现实空间中所述用户虚拟地识别的接口；第一检测部，其检测用来设定所述数值的所述用户的第一手势；第二检测部，其检测用来切换粗调模式和微调模式的所述用户的第二手势，所述粗调模式是所述范围为第一范围且/或所述数值的单位变动幅度为第一变动幅度的模式，所述微调模式是所述范围为比所述第一范围小的第二范围且/或所述单位变动幅度为比所述第一变动幅度小的第二变动幅度的模式；数值变更部，其根据所述第一手势而变更所述数值；以及模式切换部，其根据所述第二手势而切换所述粗调模式和所述微调模式。2.根据权利要求1所述的图像显示系统，其中，在所述增强现实空间中，在所述用户的手未接触所述数值设定用用户接口的状态下，所述第一检测部及所述第二检测部检测所述第一手势及所述第二手势。3.根据权利要求1或2所述的图像显示系统，其中，所述显示控制部在所述增强现实空间中使所述数值设定用用户接口显示在所述用户的手够不到的远程位置上。4.根据权利要求1至3中任一项所述的图像显示系统，其中，所述第一手势是使所述用户的手向第一方向及第二方向移动的第一方向手势及第二方向手势，该第二方向是与所述第一方向相反的方向，所述第二手势是使所述用户的手向第三方向及第四方向移动的第三方向手势及第四方向手势，该第三方向是与所述第一方向不同的方向，并且该第四方向是与所述第二方向不同且与所述第三方向相反的方向。5.根据权利要求4所述的图像显示系统，其中，所述第一检测部检测所述用户的手位于参考位置，并检测所述用户的手从所述参考位置移动的方向，所述数值变更部从检测出所述用户的手向所述第一方向或所述第二方向的一个方向移动到检测出所述用户的手返回所述参考位置为止，自动地变更所述数值。6.根据权利要求4或5所述的图像显示系统，其中，所述显示控制部使所述粗调模式用的粗调接口和所述微调模式用的微调接口作为所述数值设定用用户接口显示。7.根据权利要求6所述的图像显示系统，其中，所述显示控制部使所述粗调接口和所述微调接口选择性地显示。8.根据权利要求7所述的图像显示系统，其中，所述显示控制部在所述增强现实空间中使所述微调接口放大显示在比所述粗调接口更靠跟前侧。9.根据权利要求6所述的图像显示系统，其中，所述显示控制部使所述粗调接口和所述微调接口双方同时显示，并且使所述粗调接口和所述微调接口中的一方处于接收所述数值的设定的激活状态，而使另一方处于不接收所述数值的设定的非激活状态。10.根据权利要求9所述的图像显示系统，其中，所述显示控制部根据所述激活状态和所述非激活状态而使所述粗调接口和所述微调接口的显示方式不同。11.根据权利要求6至10中任一项所述的图像显示系统，其中，当在所述微调接口中所述数值达到所述第二范围的上限值或下限值之后还检测出所述第一手势时，所述显示控制部变更所述范围显示部的所述第二范围的显示。12.根据权利要求1至3中任一项所述的图像显示系统，其中，所述第一手势是使所述用户的手向第一方向及第二方向移动的第一方向手势及第二方向手势，该第二方向是与所述第一方向相反的方向，所述第二手势是使所述用户的手的移动方向从所述第一方向及所述第二方向中的一个方向切换为另一个方向的切换手势，所述模式切换部将所述切换手势之后的所述单位变动幅度缩小为比所述切换手势之前的所述单位变动幅度小。13.根据权利要求1至12中任一项所述的图像显示系统，其中，所述显示控制部根据检测出所述第一手势的情况和未检测出所述第一手势的情况而使所述数值指示部的显示方式不同。14.根据权利要求1至13中任一项所述的图像...

【专利技术属性】
技术研发人员：生田茧子，冈部雄生，位田宪昭，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本,JP