用于调整手势控制电子设备的控制显示增益的方法和设备技术

描述了用于调整手势控制设备的控制显示增益的方法、设备和处理器可读介质。调整所述控制显示增益可以促进用户与呈现在所述手势控制设备的显示屏上的内容或UI元素的交互。所述控制显示增益可以根据用户的手执行隔空拖动手势的方式的属性来调整。所述属性可以是所述手势的位置、执行所述手势的所述手的方向或所述手势的速度。在执行所述拖动手势时在阈值时间段内变为静止的手可以将所述控制显示增益调整到不同的水平。所述控制显示增益可以根据执行所述手势的所述手的当前速度被设置为不同的值。所述控制显示增益水平可以从连续值范围或一组离散值中选择。描述了用于执行所述方法的设备。方法的设备。方法的设备。

【技术实现步骤摘要】
【国外来华专利技术】用于调整手势控制电子设备的控制显示增益的方法和设备
[0001]相关申请交叉引用
[0002]本申请要求于2020年10月30日递交的申请号为17/085,866、专利技术名称为“用于调整手势控制电子设备的控制显示增益的方法和设备(Method and device for adjusting the control
‑
display gain of a gesture controlled electronic device)”的美国非临时申请的权益，该申请案要求于2020年4月26日递交的申请号为63/015,595、专利技术名称为“用于调整手势控制电子设备的控制显示增益的方法和系统(Method and system for adjusting the control
‑
display gain of a gesture controlled electronic device)”的美国临时申请的权益，这些申请的全部内容通过引用结合在本申请中。


[0003]本申请大体涉及手势控制电子设备，具体地涉及用于调整手势控制电子设备的控制显示增益的方法和设备。

技术介绍

[0004]传统上，电子设备的用户使用手持鼠标、手指或触笔等定点设备来通过物理手势控制电子设备并向电子设备提供数据。例如，用户可以通过在物理表面上移动手持鼠标并激活鼠标上的开关(例如，通过按下按钮)，与电子设备进行交互(即，控制电子设备并向电子设备提供数据)。类似地，用户可以通过用手指或触笔在电子设备的触敏表面(例如电子设备的触控板或触摸显示屏)上触摸，以及在触敏表面上移动手指或触笔，与电子设备进行交互(即，控制电子设备并向电子设备提供数据)。定点设备在表面上的移动通过指针或光标在显示屏上的移动呈现在电子设备的显示屏上。控制显示(Control
‑
Display，CD)增益描述了定点设备的移动与指针或光标在电子设备显示屏上的移动之间的比例关系。例如，可以通过电子设备的操作系统或电子设备的用户来调整电子设备的CD增益设置。
[0005]由于CD增益描述了定点设备的移动与指针或光标在电子设备显示屏上的移动之间的比例关系，因此它也影响电子设备响应这些指针移动的行为。因此，例如，可以将电子设备配置为：所述电子设备通过与指针设备拖动音量滑块的距离成比例地增加混音器模块的音频音量，来响应特定环境(例如，混音器应用程序)中指针设备的拖动运动。因此，如果电子设备具有高CD增益设置并且用户在混音器环境中使用指针设备发起拖动动作，则指针设备用户的小幅动作可能不仅会使屏幕上的指针或光标大幅移动，而且还会使音频音量滑块大幅度移动，从而导致音频音量大幅增加。因此，CD增益不仅影响指针设备移动与显示屏上显示内容的比例关系，还影响指针设备移动与电子设备执行的各种命令的程度或幅度(例如，音频音量增加的幅度)之间的比例关系。
[0006]现代电子设备(例如电视、大显示屏、车辆信息娱乐系统)使用户能够使用在电子设备前面的空间中执行的手势与这些电子设备进行交互(即，控制电子设备并向电子设备提供数据)，这些手势可以在电子设备的相机或连接到电子设备的相机的视场(field of view，FOV)中捕获。这种手势称为隔空手势。例如，用户可以使用隔空手势控制电子设备显
示屏上呈现的数字内容。然而，此类设备的用户通常发现难以通过隔空手势来控制和操作显示屏上呈现的内容，尤其难以通过隔空手势进行细粒度调整，以控制这种电子设备显示屏上呈现的内容或用户界面(user interface，UI)元素(例如控件)。
[0007]因此，需要使手势控制电子设备的用户能够调整CD增益，以允许以不同细粒度进行手势控制的技术。

技术实现思路

[0008]本专利技术描述了用于调整手势控制设备的控制显示增益以促进用户与在手势控制设备显示屏上呈现的内容或UI元素的交互的方法和设备。在本文描述的示例中，不需要用户浏览配置菜单、学习不同的手势、执行一系列手势或执行其它繁琐的任务来调整CD增益，而是可以使用户能够在用一只手执行基本隔空手势(即，应用CD增益调整的手势)的同时动态地调整CD增益，而不需要用另一只手执行任何事先动作或同时手势。在本专利技术中，术语“隔空手势”和“手势”应可互换地用于指由用户的手在相机的视场内执行的手势，如上所述。手势可以涉及手形和手部动作，如下文结合图3A至图4C更详细描述的。
[0009]在本文描述的示例中，根据用户执行隔空手势的方式的一个或多个属性来确定所述手势控制设备的所述CD增益。在一些示例中，通过用户的手执行手势时的位置(例如高位置或低位置)来确定所述CD增益。在一些示例中，通过用户的手执行手势时的方向来确定所述CD增益。在一些示例中，响应于检测到用户执行手势时已暂停手部动作一段时间，调整所述CD增益。在一些示例中，根据用户的手移动的速度来调整所述CD增益。
[0010]在一些方面，本专利技术描述了一种用于调整手势控制设备的控制显示增益的方法。所述方法包括：处理帧以检测所述帧内手的位置和手形；根据所述手的所述位置和手形，生成所述帧的手势数据；根据所述帧的手势数据和一个或多个先前帧的手势数据，确定所述手正在执行拖动手势；识别执行所述拖动手势的所述手的属性；将所述手势控制设备的控制显示增益调整为根据所述识别的属性确定的控制显示增益。
[0011]在一些方面，本专利技术描述了一种手势控制设备。所述手势控制设备包括处理器设备和存储器。所述存储器上存储有机器可执行指令，所述机器可执行指令当由所述处理设备执行时，使所述手势控制设备：处理帧以检测所述帧内的隔空手势；确定所述隔空手势是拖动手势；识别执行所述拖动手势的所述手的属性；将所述手势控制设备的控制显示增益调整为根据所述识别的属性确定的控制显示增益。
[0012]在一些示例中，所述属性是所述手的所述位置。
[0013]在一些示例中，所述方法还包括：当所述手势控制设备处于拖动状态时，将所述手的所述位置存储在包括所述手的一个或多个位置的队列中；根据存储在所述队列中的所述手的所述一个或多个位置，确定所述手相对于第一轴的移动；将所述控制显示增益应用于所述移动，以生成拖动控制输出值。根据所述手相对于与所述第一轴正交的第二轴的位置，确定所述控制显示增益。
[0014]在一些示例中，识别所述手的所述位置包括：确定所述手位于所述帧的第一区域内。所述控制显示增益是与所述第一区域对应的第一控制显示增益。
[0015]在一些示例中，所述属性是所述手相对于参考方向的方向。
[0016]在一些示例中，所述手的所述方向包括所述手相对于所述参考方向的角度。
[0017]在一些示例中，所述手的所述角度是相对于垂直平面测量的。
[0018]在一些示例中，识别所述手的所述方向包括：确定所述手的所述角度位于在第一角度与第二角度之间限定的第一角度范围内；所述控制显示增益是与所述第一角度范围对应的第一控制显示增益。
[0019]在一些示例中，所述属性本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于调整手势控制设备的控制显示增益的方法，其特征在于，所述方法包括：处理帧以检测所述帧内手的位置和手形；根据所述手的所述位置和手形，生成所述帧的手势数据；根据所述帧的手势数据和一个或多个先前帧的手势数据，确定所述手正在执行拖动手势；识别执行所述拖动手势的所述手的属性；将所述手势控制设备的控制显示增益调整为根据所述识别的属性确定的控制显示增益。2.根据权利要求1所述的方法，其特征在于，所述属性是所述手的所述位置。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：当所述手势控制设备处于拖动状态时，将所述手的所述位置存储在包括所述手的一个或多个位置的队列中；根据存储在所述队列中的所述手的所述一个或多个位置，确定所述手相对于第一轴的移动；将所述控制显示增益应用于所述移动，以生成拖动控制输出值，其中，根据所述手相对于与所述第一轴正交的第二轴的位置，确定所述控制显示增益。4.根据权利要求1至3中任一项所述的方法，其特征在于：识别所述手的所述位置包括：确定所述手位于所述帧的第一区域内；所述控制显示增益是与所述第一区域对应的第一控制显示增益。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述属性是所述手相对于参考方向的方向。6.根据权利要求5所述的方法，其特征在于，所述手的所述方向包括所述手相对于所述参考方向的角度。7.根据权利要求6所述的方法，其特征在于，所述手的所述角度是相对于垂直平面测量的。8.根据权利要求6或7所述的方法，其特征在于：识别所述手的所述方向包括：确定所述手的所述角度位于在第一角度与第二角度之间限定的第一角度范围内；调整所述控制显示增益包括：将所述控制显示增益调整为与所述第一角度范围对应的第一控制显示增益。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述属性是所述手的速度。10.根据权利要求9所述的方法，其特征在于：识别所述手的所述速度包括：确定所述手的位置；当所述手势控制设备处于拖动状态时，将所述手的所述位置存储在包括所述手的一个或多个位置的队列中；根据存储在所述队列中的所述手的所述一个或多个位置，确定所述手的所述速度；调整所述控制显示包括：响应于确定所述速度低于速度阈值已至少达到停留时间阈值，并且所述手势控制设备
处于多个控制显示增益状态中的第一控制显示增益状态：将所述手势控制设备置于所述多个控制显示增益状态中的第二控制显示增益状态；将所述控制显示增益调整为与所述第二控制显示增益状态对应的控制显示增益。11.根据权利要求9所述的方法，其特征在于：识别所述手的所述速度包括：确定所述手的位置；当所述手势控制设备处于拖动状态时，将所述手的所述位置存储在包括所述手的一个或多个位置的队列中；根据存储在所述队列中的所述手的所述一个或多个位置，确定所述手的所述速度；所述控制显示增益是根据与所述手的所述速度相关的函数确定的。12.根据权利要求10或11所述的方法，其特征在于，与所述速度相关的所述函数是线性函数。13.根据权利要求10或11所述的方法，其特征在于，与所述速度相关的所述函数是广义逻辑函数。14.一种手势控制设备，其特征在于，所述设备包括：处理器设备；存储器，其上存储有机器可执行指令，所述机器可执行指令当由所述处理设备执行时，使所述手势控制设备：处理帧以检测所述帧内手的位置和手形；根据所述手的所述位置和手形，生成所述帧的手势数据；根据所述帧的手势数据和一个或多个先前帧的手势数据，确定所述手正在执行拖动手势；识别执行所述拖动手势的所述手势控制设备的用户的手的属性；将所述手势控制设备的控制显示增益调整为根据所述识别的属性确定的控制显示增益。15.根据权利要求14所述的手势控制设...

【专利技术属性】
技术研发人员：李维，周维，萨奇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：