用于基于手势控制设备的方法和系统技术方案

本发明专利技术描述了用于基于手势控制设备的方法和系统。在接收到的输入帧中确定虚拟手势空间。所述虚拟手势空间与有序用户列表中的主用户关联。仅在所述虚拟手势空间中处理所述接收到的输入帧，以检测和跟踪手。通过检测和跟踪手生成的手边界框，执行手势分类以确定与手相关联的手势输入。处理与所述确定的手势输入相关联的命令输入。所述设备可以为智能电视、智能手机、平板电脑等。平板电脑等。平板电脑等。

【技术实现步骤摘要】
【国外来华专利技术】用于基于手势控制设备的方法和系统


[0001]本专利技术涉及手势检测和识别，以及使用手势控制电视或智能手机等设备。

技术介绍

[0002]通过基于机器视觉的检测(在本领域中通常称为计算机视觉)检测由设备(例如，智能手机、平板电脑、电视等)的相机捕获的数字视频的帧序列中的手势，使用所述手势对此类设备进行远程控制需要改进用户体验。用于在数字视频的帧序列中进行手势检测和识别的现有方案一直以来都是基于视频动作的分类(即，在数字视频的帧序列的多个帧中检测和跟踪的手的运动的分类)。这通常需要对数字视频的帧序列进行手势分类和识别。然而，对数字图像序列进行手势分类和识别通常会计算成本高，但精度相对较低。
[0003]除了对数字视频的帧序列进行手势分类和识别的挑战外，现实生活中的手检测也面临挑战。例如，在复杂的背景(例如，在用户杂乱的生活空间中)下、当用户到设备之间距离很远(例如，当用户控制安装在墙上的设备)时、或在弱光环境(例如，在夜间)下对数字视频的帧序列通常难以进行手势检测。在这种条件下对数字视频的帧序列进行手势检测和识别通常会导致频繁误报和漏报，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理手势输入的方法，所述方法包括：确定在接收到的输入帧中定义的虚拟手势空间，所述虚拟手势空间与包括一个或多个用户的有序用户列表中的主用户相关联；仅在所述虚拟手势空间中处理所述接收到的输入帧，以检测和跟踪手；通过检测和跟踪手生成的手边界框，执行手势分类以确定与手相关联的手势输入；输出所述确定的手势输入，以处理与所述确定的手势输入相关联的命令输入。2.根据权利要求1所述的方法，其特征在于，确定所述虚拟手势空间包括：处理所述输入帧以检测所述一个或多个用户；根据检测到的一个或多个用户生成所述有序用户列表，所述主用户被标识为所述有序用户列表中排序最高的用户；根据检测到的所述主用户的解剖特征生成所述虚拟手势空间。3.根据权利要求2所述的方法，其特征在于，所述处理所述输入帧包括：选择用于处理所述输入帧的感兴趣区域(region of interest，ROI)，所述ROI定义小于所述输入帧总面积的区域；其中，所述ROI从定义的ROI序列中选择，所述ROI序列包括用于处理相应的多个顺序接收到的输入帧的多个ROI。4.根据权利要求1至3中的任一项所述的方法，其特征在于，所述确定手势输入包括：确定与在与所述主用户相关联的所述虚拟手势空间中检测到的与手相关联的无效手势输入；选择所述有序用户列表中排序次高的用户作为新的主用户；使用所述新的主用户重复所述方法。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述仅在所述虚拟手势空间中处理所述输入帧包括：确定与所述接收到的输入帧相关联的弱光条件；自动进行图像调整以根据弱光条件调整所述接收到的输入帧的像素值。6.根据权利要求1至5中任一项所述的方法，其特征在于，使用经训练的联合神经网络处理所述输入帧以检测和跟踪手，其中所述经训练的联合神经网络包括经训练的手势分类卷积神经网络，所述经训练的手势分类卷积神经网络具有与经训练的边界框修正卷积神经网络的边分支连接。7.根据权利要求1至6中任一项所述的方法，其特征在于，进行手势分类包括：识别与在所述接收到的输入帧中检测到的手相关联的手势类别；确定从与前一个输入帧相关联的先前手势状态到当前手势状态的状态转换，所述状态转换根据所述识别的手势类别确定；确定与所述当前手势状态相关联的手势输入。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述接收到的输入帧以低于用于捕获所述接收到的输入帧的图像捕获设备的帧捕获频率的频率接收和处理。9.一种装置，其特征在于，包括：处理设备，与存储器耦合，所述存储器存储机器可执行指令，其中当所述处理设备执行所述指令时，使所述装置执行以下操作：
确定在接收到的输入帧中定义的虚拟手势空间，所述虚拟手势空间与包括一个或多个用户的有序用户列表中的主用户相关联；仅在所述虚拟手势空间中处理所述接收到的输入帧，以检测和跟踪手；通过检测和跟踪手生成的手边界框，执行手势分类以确定与手相关联的手势输入；其中，所述确定的手势...

【专利技术属性】
技术研发人员：吕炬炜，萨耶姆，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：