在多用户环境中使用手势来控制设备的方法和系统技术方案

本发明专利技术描述了在多用户环境中对设备进行手势控制的方法和装置。这些方法根据预定优先级规则集对用户或手势进行优先级排序。时间上第一的用户规则集根据用户在相机FOV中开始执行手势的时间对这些手势进行优先级排序。动作层次结构规则集根据手势对应的动作以及这些动作在动作层次结构中的相对位置对这些手势进行优先级排序。指定主用户规则集对明确指定的主用户执行的手势进行优先级排序。本发明专利技术还描述了在多用户环境中指定新主用户和提供手势控制相关用户反馈的方法。势控制相关用户反馈的方法。势控制相关用户反馈的方法。

【技术实现步骤摘要】
【国外来华专利技术】在多用户环境中使用手势来控制设备的方法和系统
[0001]相关申请数据
[0002]本申请要求于2020年4月7日提交的申请号为16/842,717、专利技术名称为“在多用户环境中使用手势来控制设备的方法和系统(Methods and systems for controlling a device using hand gestures in multi
‑
user environment)”的美国非临时申请的权益，该在先申请要求于2020年3月20日提交的申请号为PCT/CN2020/080416的国际申请的权益，要求于2020年3月23日提交的申请号为PCT/CN2020/080562的国际申请的权益，其全部内容通过引用结合在本申请中。


[0003]本专利技术涉及在多用户环境中使用手势来控制设备(例如电视)的方法和系统。

技术介绍

[0004]为了便于控制一组用户共用的设备(例如，视频会议系统、电视、视频游戏系统等)，人们一直对使用手势远程控制设备感兴趣。然而，在多用户环境中，手势识别系统可能需要处理一个以上用户执行手势的数字图像(例如帧)，这样存在困难。手势识别系统可能需要更多的计算资源来识别包括多个用户而不是单个用户的数字图像中的手势，并且可能在识别多个用户执行的手势时产生混淆。另外，在同时识别多个手势的情况下，手势识别系统可能需要选择对哪个手势或哪些手势进行操作。
[0005]因此，提供在多用户环境中对设备进行手势控制的改进方法和系统技术将是有用的，这些技术能够高效使用计算资源，最大限度地减少混淆，并解决一个以上用户执行的手势之间的交互。

技术实现思路

[0006]在各种示例中，本专利技术描述了在多用户环境中使用手势来控制设备的方法和系统。所述公开的方法和系统支持设备(以下称为手势控制设备)和执行空中手势的两个或两个以上用户之间的实时交互。本专利技术提供的方法和系统执行手势识别，以识别多个用户执行的手势并根据分配给所述识别到的手势的优先级控制所述手势控制设备。
[0007]在一些示例中，本专利技术描述了一种在多用户环境中使用手势来控制设备的方法。所述方法包括：接收视频的帧；处理所述帧的至少一部分来检测在所述帧中的第一位置上可见的第一用户；处理所述帧的至少一部分来检测在所述帧中的第二位置上可见的第二用户；使用虚拟手势空间生成子系统来限定与所述帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间；使用手势识别子系统来处理所述帧的第一区域，以识别第一手势并生成表示所述识别到的第一手势的手势类别的标签；应用优先级规则集来确定所述第一手势具有优先级；响应于确定所述第一手势具有优先级，启动计算机的与所述第一手势对应的第一动作。
[0008]在一些示例中，本专利技术描述了一种在多用户环境中使用手势来控制设备的装置。
所述装置包括耦合到存储机器可执行指令的存储器的处理设备。所述指令在由所述处理设备执行时使得所述装置：接收视频的帧；处理所述帧的至少一部分来检测在所述帧中的第一位置上可见的第一用户；检测在所述帧中的第二位置上可见的第二用户；使用虚拟手势空间生成子系统来限定与所述帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间；使用手势识别子系统来处理所述第一区域，以识别第一手势并生成表示所述识别到的第一手势的手势类别的标签；应用优先级规则集来确定所述第一手势具有优先级；响应于确定所述第一手势具有优先级，启动所述装置的与所述第一手势对应的第一动作。
[0009]在上述示例中，所述装置包括用于捕获多个视频帧的至少一个相机和用于将反馈信息提供给所述第一用户和所述第二用户的显示器。
[0010]在任一上述示例中，所述方法还包括：将反馈信息提供给输出设备，其中，所述反馈信息用于呈现给所述第一用户，所述反馈信息表示所述第一手势具有优先级。
[0011]在任一上述示例中，所述方法还包括：使用所述虚拟手势空间生成子系统来限定与所述帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间；使用所述手势识别子系统来处理所述第二区域，其中，所述优先级规则集是时间上第一的用户规则集，所述规则集确定所述第一手势具有优先级，因为所述手势识别子系统不识别所述第二区域内的手势。
[0012]在任一上述示例中，所述方法还包括：接收所述视频的下一帧；处理所述下一帧的至少一部分来检测在所述下一帧中的第一位置上可见的第一用户；使用所述虚拟手势空间生成子系统来限定与所述下一帧的靠近所述下一帧中的第一位置的第一区域对应的下一虚拟手势空间；使用所述手势识别子系统只处理所述下一帧的第一区域。
[0013]在任一上述示例中，所述方法还包括：将反馈信息提供给输出设备，其中，所述反馈信息用于呈现给所述第一用户，所述反馈信息表示所述第一手势具有优先级；所述计算机是以下之一：电视、视频会议系统、视频游戏系统、车载设备、物联网设备、增强现实设备或虚拟现实设备。
[0014]在任一上述示例中，所述方法还包括：使用所述虚拟手势空间生成子系统来限定与所述帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间；使用所述手势识别子系统来处理所述第二区域，以识别第二手势并生成表示所述识别到的第二手势的手势类别的标签，其中，所述第二手势对应于所述计算机的第二动作，所述优先级规则集是动作层次结构规则集，所述规则集确定所述第一手势具有优先级，因为所述第一动作在所述动作层次结构规则集的动作层次结构中高于所述第二动作。
[0015]在任一上述示例中，所述方法还包括：应用所述优先级规则集来确定所述第一动作与所述第二动作不冲突；响应于确定所述第一动作和所述第二动作不冲突，启动所述第二动作。
[0016]在任一上述示例中，所述动作层次结构包括以下一个或多个动作：调大音频音量、调小音频音量、静音音频和关闭电源。
[0017]在任一上述示例中，所述方法还包括：将反馈信息提供给输出设备，其中，所述反馈信息用于呈现给所述第一用户，所述反馈信息表示所述第一手势具有优先级；所述计算机是以下之一：电视、视频会议系统、视频游戏系统、车载设备、物联网设备、增强现实设备或虚拟现实设备。
[0018]在任一上述示例中，所述方法还包括：将反馈信息提供给输出设备，其中，所述反馈信息用于呈现给所述第一用户，所述反馈信息表示所述第一手势具有优先级；所述计算机是以下之一：电视、视频会议系统、视频游戏系统、车载设备、物联网设备、增强现实设备或虚拟现实设备；所述动作层次结构包括以下一个或多个动作：调大音频音量、调小音频音量、静音音频和关闭电源。
[0019]在任一上述示例中，所述优先级规则集是指定主用户规则集，所述规则集确定所述第一手势具有优先级，因为已经指定所述第一用户为主用户。
[0020]在任一上述示例中，所述第一动作是用于指定新主用户的动作。所述方法还包括，在启动所述第一动作之后，将新主用户选择信息提供给输出设备，其中，所述新主用户选择信息用于呈现给所述第一用户，所述新主用户选择信息表示用于指定新主用户的一个或多个选项，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对手势控制设备进行多用户手势控制的方法，其特征在于，所述方法包括：接收所述手势控制设备中的相机捕获到的视频的一组帧中的第一帧；处理所述第一帧的至少一部分来检测在所述第一帧中的第一位置上可见的第一用户的区别性解剖特征；处理所述第一帧的至少一部分来检测在所述第一帧中的第二位置上可见的第二用户的区别性解剖特征；限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间；限定与所述第一帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间；使用手势识别子系统来处理所述第一帧的第一区域和所述一组帧中的其它帧，以识别所述第一用户执行的有效手势；使用所述手势识别子系统来处理所述帧的第二区域和所述一组帧中的其它帧，以识别所述第二用户执行的有效手势；根据优先级规则集，将所述第一用户和所述第二用户中的一个用户识别为所述手势控制设备的主要用户。2.根据权利要求1所述的方法，其特征在于，选择包括：当在识别所述第二用户的有效手势之前识别到所述第一用户的有效手势时，将所述第一用户选择为所述主要用户；当在识别所述第一用户的有效手势之前识别到所述第二用户执行的有效手势时，将所述第二用户选择为所述主要用户。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：将反馈信息提供给所述手势控制设备中的输出设备，其中，所述反馈信息由所述输出设备输出，所述反馈信息表示所述第一用户和所述第二用户中的哪一个用户是所述主要用户。4.根据权利要求3所述的方法，其特征在于，所述输出设备是所述手势控制设备的显示屏，所述输出设备输出所述反馈信息包括：显示所述第一用户和所述第二用户中的哪一个用户是所述主要用户的视觉指示。5.根据权利要求3所述的方法，其特征在于，所述输出设备是所述手势控制设备中的扬声器，所述输出设备输出所述反馈信息包括：输出所述第一用户和所述第二用户中的哪一个用户是所述主要用户的音频指示。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述视频的第二组帧；当所述第一用户选择为所述主要用户时：使用所述手势识别子系统在所述识别到的由所述第一用户执行的有效手势的手的位置周围的区域中处理所述第二组帧中的每个帧，以识别所述第一用户执行的另一手势；启动所述手势控制设备的与所述第一用户执行的另一手势相关联的动作；当所述第二用户选择为所述主要用户时：使用所述手势识别子系统在所述识别到的由所述第二用户执行的有效手势的手的位置周围的区域中处理所述第二组帧中的每个帧，以识别所述第二用户执行的另一手势；启动所述手势控制设备的与所述第二用户执行的另一手势相关联的动作。
7.根据权利要求6所述的方法，其特征在于，启动所述手势控制设备的与所述识别到的由所述第一用户执行的另一手势相关联的动作包括：启动用于改变所述手势控制设备的主要用户的动作。8.根据权利要求6或7所述的方法，其特征在于，在启动所述手势控制设备的与所述识别到的由所述第一用户执行的另一手势相关联的动作之前，将其它反馈信息提供给所述手势控制设备的显示屏，其中，所述其它反馈信息用于在所述显示屏上呈现，所述反馈信息表示所述第一用户执行的另一手势。9.根据权利要求6至8中任一项所述的方法，其特征在于，在启动所述手势控制设备的与所述识别到的由所述第二用户执行的另一手势相关联的动作之前，将反馈信息提供给所述手势控制设备的显示屏，其中，所述反馈信息表示哪一个识别到的另一手势由所述第二用户执行。10.根据权利要求1至9中任一项所述的方法，其特征在于，所述第一用户的区别性解剖特征是所述第一用户的脸，所述第一用户的区别性解剖特征是所述第二用户的脸。11.根据权利要求1至10中任一项所述的方法，其特征在于，在限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间之前，确定所述第一用户的眼睛的凝视；当所述第一用户的眼睛的凝视表示所述第一用户正看着所述手势控制设备的显示屏时，限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间。12.根据权利要求11所述的方法，其特征在于，在限定与所述第一帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间之前，确定所述第二用户的眼睛的凝视；当所述第二用户的眼睛的凝视表示所述第二用户正看着所述手势控制设备的显示屏时，限定与所述第一帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间。13.根据权利要求1至12中任一项所述的方法，其特征在于，在限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间之前，确定所述第一用户的头部的方位和姿势；当所述第一用户的头部的方位和姿势表示所述第一用户正看着所述手势控制设备的显示屏时，限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间。14.根据权利要求13所述的方法，其特征在于，在限定与所述第一帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间之前，确定所述第二用户的头部的方位和姿势；当所述第二用户的头部的方位和姿势表示所述第二用户正看着所述手势控制设备的显示屏时，限定与所述第一帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间。15.一种对手势控制设备进行多用户手势控制的方法，其特征在于，所述方法包括：接收所述手势控制设备中的相机捕获到的视频的一组帧中的第一帧；处理所述第一帧的至少一部分来检测多个区别性解剖特征并将每个检测到的区别性解剖特征与所述手势控制系统的用户相关联；对于所述手势控制设备的每个用户：限定与所述第一帧的靠近所述检测到的用户的区别性解剖特征的位置的区域对应的手势空间；处理所述第一帧的区域和所述一组帧中的其它帧来识别所述用户在所述区域中执行的有效手势；
根据首先检测到所述手势控制设备的哪些用户的有效手势，将其中一个所述用户识别为主要用户。16.根据权利要求15所述的方法，其特征在于，所述方法还包括：接收所述手势控制设备中的相机捕获到的所述视频的第二组帧；使用所述手势识别子系统在识别为所述主要用户的用户的手的位置周围的区域中处理所述第二组帧中的每个帧，以识别由选择为所述主要用户的用户执行的另一手势；启动所述手势控制设备的与所述识别到的由识别为所述主要用户的用户执行的另一手势相关联的动作。17.根据权利要求15或16所述的方法，其特征在于，所述方法还包括：将反馈信息提供给所述手势控制设备中的输出设备，其中，所述反馈信息表示所述手势控制设备的哪一个用户识别为所述主要用户。18.根据权利要求17所述的方法，其特征在于，所述输出设备是所述手势控制设备的显示屏，所述输出设备输出所述反馈信息包括：显示哪一个用户识别为所述主要用户的视觉指示。19.根据权利要求17或18所述的方法，其特征在于，所述输出设备是所述手势控制设备的扬声器，所述输出设备输出所述反馈信息包括：输出哪一个用户识别为所述主要用户的音频指示。20.根据权利要求15至19中任一项所述的方法，其特征在于，处理所述第一帧的至少一部分来检测多个区别性解剖特征还包括：处理所述第一帧的至少一部分来确定每个检测到的区别性解剖特征的方位和姿势；对于每个相应检测到的区别性解剖特征，当所述检测到的相应区别性解剖特征表示所述手势控制设备的用户根据所述检测到的相应区别性解剖特征的方位和姿势正看着所述手势控制设备的显示屏时，将所述检测到的相应区分性解剖特征与所述用户相关联。21.一种手势控制装置的多用户手势控制，其特征在于，所述装置包括耦合到存储机器可执行指令的存储器的处理设备，其中，所述指令在由所述处理设备执行时，使得所述装置：接收所述手势控制装置中的相机捕获到的视频的一组帧中的第一帧；处理所述第一帧的至少一部分来检测在所述第一帧中的第一位置上可见的第一用户的区别性解剖特征；处理所述第一帧的至少一部分来检测在所述第一帧中的第二位置上可见的第二用户的区别性解剖特征；限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间；限定与所述第一帧的靠近所述第二位置的第二区域对应的第二虚拟手势空间；使用手势识别子系统来处理所述第一帧的第一区域和所述一组帧中的其它帧，以识别所述第一用户执行的有效手势；使用所述手势识别子系统来处理所述帧的第二区域和所述一组帧中的其它帧，以识别所述第二用户执行的有效手势；根据优先级规则集，将所述第一用户和所述第二用户中的一个用户识别为所述手势控制装置的主要用户。
22.根据权利要求21所述的装置，其特征在于，所述指令还使得所述装置：当在识别所述第二用户的有效手势之前识别到所述第一用户的有效手势时，将所述第一用户选择为所述主要用户；当在识别所述第一用户的有效手势之前识别到所述第二用户执行的有效手势时，将所述第二用户选择为所述主要用户。23.根据权利要求21或22所述的装置，其特征在于，所述指令还使得所述装置：将反馈信息提供给所述手势控制装置的输出设备，其中，所述反馈信息由所述输出设备输出，所述反馈信息表示所述第一用户和所述第二用户中的哪一个用户是所述主要用户。24.根据权利要求23所述的装置，其特征在于，所述输出设备是所述手势控制装置的显示屏，所述输出设备输出所述反馈信息包括：显示所述第一用户和所述第二用户中的哪一个用户是所述主要用户的视觉指示。25.根据权利要求23所述的装置，其特征在于，所述输出设备是所述手势控制装置的扬声器，所述输出设备输出所述反馈信息包括：输出所述第一用户和所述第二用户中的哪一个用户是所述主要用户的音频指示。26.根据权利要求21至25中任一项所述的装置，其特征在于，所述指令还使得所述装置：接收所述视频的第二组帧；当所述第一用户选择为所述主要用户时：使用所述手势识别子系统在所述识别到的由所述第一用户执行的有效手势的手的位置周围的区域中处理所述第二组帧中的每个帧，以识别所述第一用户执行的另一手势；启动所述手势控制装置的与所述第一用户执行的另一手势相关联的动作；当所述第二用户选择为所述主要用户时：使用所述手势识别子系统在所述识别到的由所述第二用户执行的有效手势的手的位置周围的区域中处理所述第二组帧中的每个帧，以识别所述第二用户执行的另一手势；启动所述手势控制装置的与所述第二用户执行的另一手势相关联的动作。27.根据权利要求26所述的装置，其特征在于，所述指令还使得所述装置：启动所述手势控制装置的与所述识别到的由所述第一用户执行的另一手势相关联的动作包括：启动用于改变所述手势控制装置的主要用户的动作。28.根据权利要求26或27所述的装置，其特征在于，所述指令还使得所述装置：在启动所述手势控制装置的与所述识别到的由所述第一用户执行的另一手势相关联的动作之前，将其它反馈信息提供给所述手势控制装置的显示屏，其中，所述反馈信息用于在所述显示屏上呈现，所述反馈信息表示所述第一用户执行的另一手势。29.根据权利要求26至28中任一项所述的装置，其特征在于，所述指令还使得所述装置：在启动所述手势控制装置的与所述识别到的由所述第二用户执行的另一手势相关联的动作之前，将反馈信息提供给所述手势控制装置的显示屏，其中，所述反馈信息表示哪一个识别
到的另一手势由所述第二用户执行。30.根据权利要求21至29中任一项所述的装置，其特征在于，所述第一用户的区别性解剖特征是所述第一用户的脸，所述第一用户的区别性解剖特征为所述第二用户的脸。31.根据权利要求21至30中任一项所述的装置，其特征在于，所述指令还使得所述装置：在限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间之前，确定所述第一用户的眼睛的凝视；当所述第一用户的眼睛的凝视表示所述第一用户正看着所述手势控制装置的显示屏时，限定与所述第一帧的靠近所述第一位置的第一区域对应的第一虚拟手势空间。32.根据权利要求31所述的装置，其特征在于，所述指令还使得...

【专利技术属性】
技术研发人员：周维，莫娜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：