基于运动识别来显示虚拟输入设备的用户界面的设备和方法技术

一种显示设备包括：用户界面(UI)产生器，被配置为产生虚拟输入设备的UI；相机，被配置为拍摄用户手势；以及控制器，被配置为将所拍摄的用户手势与存储在模板中的用户手势进行比较，并控制UI产生器显示与匹配的用户手势相对应的虚拟输入设备的UI。

【技术实现步骤摘要】
【国外来华专利技术】基于运动识别来显示虚拟输入设备的用户界面的设备和方法
根据示例性实施例一致的设备和方法涉及基于运动识别来显示虚拟输入设备，更具体地，涉及识别用户手势并根据用户手势来显示和操纵特定虚拟输入设备。
技术介绍
近年来，已经开发了使用手势识别以识别用户手势并执行与识别的手势相关的预定命令的命令输入设备。通常，用户优先通过方便的输入方法输入命令。然而，现有技术的使用手势的命令输入方法需要复杂的技术解决方案，诸如语音识别技术的附加应用来应用手势识别技术，并且如果在真实输入设备(例如，遥控器)不可用的环境下不应用语音识别技术，则会导致困难的情况。
技术实现思路
技术问题一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为不但仅通过手势识别来显示各种虚拟输入设备的UI，而且通过识别手指手势所显示的虚拟输入设备的UI来输入用户命令。一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为重置用户手指相对于所显示的虚拟输入设备的位置，并且即使用户手指的位置由于用户从屏幕移开他/她的眼睛且随后把他/她的眼睛转回屏幕而改变，也连续地提供用户命令的输入。一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为支持语音引导以确保即使在视觉有缺陷的人或用户从设备移开他/她的眼睛时也方便地输入用户命令。一个或多个示例性实施例还提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法和设备，所述方法和设备被配置为当用户通过所显示的虚拟输入设备的UI给出输入时产生与从所操纵的真实输入设备产生的操纵声音相似的声音。问题的解决方案根据示例性实施例的一方面，提供了一种用于基于运动识别来显示虚拟输入设备的用户界面(UI)的设备，所述设备包括：显示器，被配置为显示图像；存储器，被配置为存储将用户手势与不同虚拟输入设备关联的模板；用户界面(UI)产生器，被配置为产生虚拟输入设备的UI；相机，被配置为拍摄用户手势；以及控制器，被配置为将所拍摄的用户手势与存储在存储器的模板中的用户手势进行比较，并控制UI产生器在显示器上显示与所匹配的用户手势相对应的虚拟输入设备的UI。所述虚拟输入设备可以包括遥控器、触摸遥控器、键盘和鼠标。所述用户手势可以包括真实输入设备的抓握手势。用于显示虚拟输入设备的用户界面(UI)的设备还可以包括：运动计算器，被配置为识别用户的手指手势以及用户的面部方向或凝视，以操作所显示的虚拟输入设备的UI。所述控制器可以基于由运动计算器计算的用户的手指手势在虚拟输入设备的UI上显示指示器。所述运动计算器可以识别用户手指的移动方向、移动量和位置，并计算在虚拟输入设备的UI上所述指示器相对于实际手指的大小。所述存储器可以存储以下项中的至少一项：根据用户的手指手势的虚拟输入设备的操纵声音、说明功能的执行的语音以及说明用户手指所位于的虚拟输入设备的功能按钮名称的语音。所述运动计算器可以通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视或非凝视。如果用户的凝视被确定为非凝视状态，则所述控制器可以重置用户之前的手指位置。如果用户的凝视被确定为非凝视状态，则所述控制器可以改变到语音引导模式。所述控制器可以根据用户命令删除、添加和修改虚拟输入设备的UI的功能按钮。根据示例性实施例的一方面，提供了一种用于基于运动识别来显示虚拟输入设备的UI的方法，所述方法包括：存储示出用户手势与不同虚拟输入设备之间的关联的模板；拍摄用户手势；将所拍摄的用户手势与存储器中的利用模板登记的用户手势进行比较；以及根据比较结果来显示与所匹配的用户手势相对应的虚拟输入设备的UI。所述识别可以包括：识别用户手指的移动方向、移动量和位置，并计算在虚拟输入设备的UI上指示器相对于实际手指的大小。识别用户的面部方向或凝视可以包括：通过将预定时间内的凝视识别数据的分散与集中与预定阈值进行比较来确定用户的凝视或非凝视。本专利技术的有益效果根据本专利技术，可以仅通过用户手势来简单地显示各种虚拟输入设备的UI。即使用户手指相对于所显示的虚拟输入设备的位置被重置，也可以正确地识别用户手势。即使用户手指的位置由于用户从屏幕移开他/她的眼睛且随后把他/她的眼睛转回屏幕而改变，也可以连续地提供用户命令的输入。可以基于运动识别来显示虚拟输入设备的UI，配置为支持语音引导以确保即使在视觉有缺陷的人或用户从设备移开他/她的眼睛时也方便地输入用户命令。可以基于运动识别来显示虚拟输入设备的UI，配置为当用户通过所显示的虚拟输入设备的UI给出输入时产生与从所操纵的真实输入设备产生的操纵声音相似的声音。附图说明通过参照附图描述特定示例性实施例，上述和/或其他方面将变得更加显然，在附图中：图1是根据示例性实施例的用于基于运动识别来显示虚拟输入设备的用户界面(UI)的设备的框图；图2示出了示出用户手势与虚拟输入设备之间关联的模板；图3示出了使用根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的设备；图4示出了根据示例性实施例的虚拟输入设备的UI的编辑；以及图5是示出了根据示例性实施例的用于基于运动识别来显示虚拟输入设备的UI的方法的流程图。具体实施方式下面将参照附图更加详细地描述特定示例性实施例。在以下描述中，即使在不同的图中，相同的附图参考标号用于相同的元件。在描述中定义的事项(例如，详细的构造和要素)被提供以辅助对示例性实施例的全面理解。因此，清楚的是可以实现示例性实施例而不需要那些具体定义的事项。此外，不再详细描述公知功能或构造，以免不必要的细节混淆示例性实施例。根据示例性实施例的用于基于运动识别来显示虚拟输入设备的用户界面(UI)的显示设备100可以包括配备有相机的电视(TV)、个人计算机(PC)、智能电话、膝上型计算机、个人数字助理(PDA)、游戏机等。如图1所示，根据示例性实施例的显示设备100可以包括存储设备110、UI产生器120、相机130、控制器140、显示器160和语音输出设备170。除了前述元件之外，显示设备100还可以包括其他元件，例如包括调谐器的图像接收器(未示出)、有线/无线通信部(未示出)、时序控制器(未示出)、图像处理器(未示出)和语音处理器(未示出)。存储设备110可以预先存储与用户手势相关的虚拟输入设备的模板数据库(DB)、用户个人信息DB、根据手指手势的声音效果DB、说明虚拟输入设备的UI中的按钮名称的语音DB以及说明根据手指手势所输入的命令的执行的语音DB。当然，存储设备110可以存储包括图像数据、图形数据和操作系统(OS)的其他各种信息。图2示出了显示出用户手势与虚拟输入设备之间的关联的模本文档来自技高网...

【技术保护点】
一种显示设备，包括：用户界面UI产生器，被配置为产生虚拟输入设备的UI；相机，被配置为拍摄用户手势；以及控制器，被配置为将所拍摄的用户手势与存储在模板中的用户手势进行比较，并控制UI产生器显示与和存储在模板中的用户手势之一相匹配的所拍摄的用户手势相对应的虚拟输入设备的UI。

【技术特征摘要】
【国外来华专利技术】2013.12.23 KR 10-2013-01609981.一种显示设备，包括：
显示器；
相机，被配置为获得与用户手势相对应的图像；以及
控制器，被配置为：
基于获得用户手势的第一图像，在多个手指形状中识别用户手势的手指形状，其中所述多个手指形状分别指示用户正在操作多种类型的虚拟输入设备，
识别所述多种类型的虚拟输入设备之中与所识别的手指形状相对应的虚拟输入设备的类型，
显示分别与所述多种类型的虚拟输入设备相对应的多个用户界面UI之中与所识别的虚拟输入设备的类型相对应的UI，
基于获得用户手势的第二图像，识别所述UI上用户手势的手指位置，
识别用户对显示器的凝视是凝视状态还是非凝视状态，并且
基于识别出用户对显示器的凝视是非凝视状态，重置所述UI上识别出的手指位置。


2.根据权利要求1所述的显示设备，其中所述虚拟输入设备包括遥控器、触摸遥控器、键盘和鼠标中的至少一个。


3.根据权利要求1所述的显示设备，其中所述用户手势包括对真实输入设备的抓握手势。


4.根据权利要求1所述的显示设备，还包括：运动计算器，被配置为识别用户的面部方向和用户的凝视中的一个以及用户的手指手势，以操作所显示的虚拟输入设备的UI。


5.根据权利要求4所述的显示设备，其中所述控制器基于由运动计算器计算的用户的手指手势在虚拟输入设备的UI上显示指示器。


6.根据权利要求4所述的显示设备，其中所述运动计算器识别用户手指的移动方向、移动量和位置中的至少一个，并计算在虚拟输入设备的UI上指示器相对于实际手指的大小。


7.根据权利要求4所述的显示设备，还包括：
存储器，被配置为存储以下项中的至少一项：...

【专利技术属性】
技术研发人员：权五允，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR