用户界面设备和用户界面方法技术

一种用户界面设备，具有：获取单元，其按顺序地获取指示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；检测单元，其检测用户的特定部位的预定形状的变化开始和变化结束；存储单元，其存储对应于由检测单元检测到的变化开始的时间的定点位置；计算单元，其指定对应于由检测单元检测到的变化结束的时间的定点位置，并且计算指定定点位置和存储在存储单元中的定点位置之间的差异；以及位置调节单元，其使用由计算单元计算的差异，调节由获取单元获取的定点位置。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用户界面技术。
技术介绍
作为启用关于计算机的用户输入的用户界面(人机界面)设备，已经提供了诸如鼠标、操纵杆、跟踪球、以及触控板的多种装置。近年来，还开发了通过检测身体活动(手势)响应于身体运动启用用户输入的用户界面设备，诸如数据手套、数据衣等。用户可以通过这样的用户界面设备利用直觉感觉操作计算机。例如，在以下描述的PTL 1中，提出通过用户的手势促进操作输入的技术。通过所提出的技术，基于距离传感器的分辨率、显示器的三维显示性能、以及在深度方向上诸如用户的手的手指的指示点的测量距离，调节用于确定检测深度方向上的指示点的运动的敏感度的参数。然后，通过基于调节后的参数计算深度方向上的指示点的距离，识别通过用户的手势的操作输入。[引用列表][专利文献][PTL 1]日本未审查专利申请公开No.2012-137989
技术实现思路
[技术问题]然而，上述提出的方法仅假设对应于诸如手的手指的身体的特定部分(指示点，instruction point)的运动的用户输入，并且不假设对应于在定点操作中使用的用户的特定部位的形状(状态)的变化的用户输入，诸如，用手抓住物体的运动和通过手指握持物体的运动。本专利技术考虑这些情况被做出，并且提供通过包括用户的特定部位的形状的变化的手势在直觉上和简单地操作计算机的用户界面技术。[技术方案]为了解决上述问题，本专利技术的多个方面采用以下结构。第一方面涉及用户界面设备。根据第一方面的用户界面设备包括：位置获取单元，其按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；变化检测单元，其检测用户的特定部位的预定形状的变化开始和变化结束；位置存储单元，其存储由位置获取单元顺序获取的定点位置中的对应于由变化检测单元检测到的变化开始的时间的定点位置；计算单元，其指定由位置获取单元获取的定点位置中的对应于由变化检测单元检测到的变化结束的时间的定点位置，并且计算指定定点位置和存储在位置存储单元中的定点位置之间的差异；以及位置调节单元，其使用由计算单元计算的差异，调节由位置获取单元获取的定点位置。第二方面涉及用户界面方法。在根据第二方面的用户界面方法中，至少一个计算机按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；检测用户的特定部位的预定形状的变化开始和变化结束；存储顺序获取的定点位置中的对应于所检测到的变化开始的时间的定点位置；指定顺序获取的定点位置中的对应于所检测到的变化结束的时间的定点位置；计算指定定点位置和所存储定点位置之间的差异；以及使用所计算的差异，调节顺序获取的定点位置。注意，其它方面可以是使得至少一个计算机实现以上第一方面中的各自结构的程序或者记录这样的程序的计算机可读记录介质。记录介质包括非暂时性有形介质。[有益效果]根据上述各个方面，可以提供通过包括用户的特定部位的形状的变化的手势，在直觉上并且简单地操作计算机的用户界面技术。附图说明上述目标和其它目标、特征以及优点将从以下描述的优选示例性实施例和以下附图更加明显。[图1]图1是概念性地示出定点位置的获得的视图。[图2]图2是概念性地示出定点位置的获取的问题的视图。[图3]图3是概念性地示出示例性实施例中的定点位置的调节的视图。[图4]图4是概念性地示出第一示例性实施例中的三维用户界面设备(3D-UI设备)的硬件结构实例的视图。[图5]图5是示出第一示例性实施例中的三维用户界面设备(3D-UI设备)的利用形式的实例的视图。[图6]图6是示出HMD的外部结构的实例的视图。[图7]图7是概念性地示出第一示例性实施例中的传感器侧设备的功能结构实例的视图。[图8]图8是概念性地示出第一示例性实施例中的显示器侧设备的功能结构实例的视图。[图9]图9是示出显示在HMD上的合成图像的实例的视图。[图10]图10是示出第一示例性实施例中的三维用户界面设备(3D-UI设备)的操作实例的序列图。[图11]图11是示出图10中所示的步骤(S106)的详情的流程图。[图12]图12是概念性地示出第二示例性实施例中的三维用户界面设备(3D-UI设备)的功能结构实例的视图。具体实施方式此后，将描述本专利技术的示例性实施例。注意，以下各个示例性实施例是实例，并且本专利技术不限于以下各个示例性实施例的结构。根据本示例性实施例的用户界面设备包括：位置获取单元，其按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；变化检测单元，其检测用户的特定部位的预定形状的变化开始和变化结束；位置存储单元，其存储由位置获取单元顺序获取的定点位置中的对应于由变化检测单元检测到的变化开始的时间的定点位置；计算单元，其指定由位置获取单元获取的定点位置中的对应于由变化检测单元检测到的变化结束的时间的定点位置，并且计算所指定定点位置和存储在位置存储单元中的定点位置之间的差异；以及位置调节单元，其使用由计算单元计算的差异，调节由位置获取单元获取的定点位置。根据本示例性实施例的用于至少一个计算机的用户界面方法包括：按顺序地获取表示在定点操作中使用的用户的特定部位的至少一个代表性位置的定点位置；检测用户的特定部位的预定形状的变化开始和变化结束；存储顺序获取的定点位置中的对应于所检测到的变化开始的时间的定点位置；指定顺序获取的定点位置中的对应于所检测到的变化结束的时间的定点位置；计算所指定定点位置和所存储定点位置之间的差异；以及使用所计算的差异，调节顺序获取的定点位置。此后，将使用图1至图3描述上述示例性实施例中的功能和效果。图1是概念性地示出定点位置的获取的视图。图2是概念性地示出定点位置的获取的问题的视图。图3是概念性地示出上述示例性实施例中的定点位置的调节的视图。在本示例性实施例中，按顺序地获取对应于用户的特定部位的定点位置。例如，用户的特定部位的至少一个代表性位置被指定为来自表示用户的特定部位的二维图像或三维信息(例如，二维图像和深度信息)的定点位置。更特别地，可以从通过被称为Kinect(注册商标)游戏控制器系统的骨骼跟踪获得的骨骼信息，获取定点位置。另外，识别用户的特定部位的外部形状，并且定点位置可以被设置在从被识别的外部形状获得的重心位置处。本示例性实施例本文档来自技高网...

【技术保护点】
一种用户界面设备，包括：位置获取单元，所述位置获取单元按顺序地获取定点位置，该定点位置表示在定点操作中使用的用户的特定部位的至少一个代表性位置；变化检测单元，所述变化检测单元用于检测所述用户的所述特定部位的预定形状的变化开始和变化结束；位置存储单元，所述位置存储单元用于存储在由所述位置获取单元按顺序地获取的所述定点位置中的、与由所述变化检测单元检测到的所述变化开始的时间相对应的定点位置；计算单元，在由所述位置获取单元所获取的所述定点位置中，所述计算单元指定与由所述变化检测单元检测到的所述变化结束的时间相对应的定点位置，并且计算该指定的定点位置和存储在所述位置存储单元中的所述定点位置之间的差异；以及位置调节单元，所述位置调节单元使用由所述计算单元计算出的差异，来调节由所述位置获取单元获取的定点位置。

【技术特征摘要】
【国外来华专利技术】2012.10.05 JP 2012-2228841.一种用户界面设备，包括：
位置获取单元，所述位置获取单元按顺序地获取定点位置，该定
点位置表示在定点操作中使用的用户的特定部位的至少一个代表性位
置；
变化检测单元，所述变化检测单元用于检测所述用户的所述特定
部位的预定形状的变化开始和变化结束；
位置存储单元，所述位置存储单元用于存储在由所述位置获取单
元按顺序地获取的所述定点位置中的、与由所述变化检测单元检测到
的所述变化开始的时间相对应的定点位置；
计算单元，在由所述位置获取单元所获取的所述定点位置中，所
述计算单元指定与由所述变化检测单元检测到的所述变化结束的时间
相对应的定点位置，并且计算该指定的定点位置和存储在所述位置存
储单元中的所述定点位置之间的差异；以及
位置调节单元，所述位置调节单元使用由所述计算单元计算出的
差异，来调节由所述位置获取单元获取的定点位置。
2.根据权利要求1所述的用户界面设备，其中，
所述变化检测单元检测所述用户的所述特定部位的形状从所述预
定形状到恢复方向的恢复变化，
所述位置存储单元响应于通过所述变化检测单元检测到所述恢复
变化，来释放所存储的定点位置，以及
所述位置调节单元响应于通过所述位置存储单元对所述定点位置
的释放，来停止由所述位置获取单元获取的定点位置的调节。
3.根据权利要求1或2所述的用户界面设备，其中，
所述变化检测单元测量从检测到所述变化开始时直到检测到所述
变化结束时的变化所需时间，
当所述变化所需时间大于预定阈值时，所述位置存储单元释放所

\t存储的定点位置，以及
所述位置调节单元响应于通过所述位置存储单元对所述定点位置
的释放，来停止由所述位置获取单元获取的定点位置的调节。
4.根据权利要求1至3中任一项所述的用户界面设备，其中...

【专利技术属性】
技术研发人员：永井克幸，森下幸司，野田尚志，
申请(专利权)人：日本电气方案创新株式会社，
类型：发明
国别省市：日本;JP