用于执行手势检测的系统和设备技术方案

用于执行手势检测的系统和设备。本文描述的系统和方法利用深度学习算法来识别由投影仪提供的投影的用户界面上的手势和其他动作。包含深度信息和颜色信息的摄像机记录在所投影的用户界面上检测到的手势和动作。所述深度学习算法可以被配置为在检测到动作时使用以节省硬件系统的处理周期。

Systems and devices for performing gesture detection

【技术实现步骤摘要】
用于执行手势检测的系统和设备
本公开总体上涉及手势检测，并且更具体地，涉及投影系统上的手势检测。
技术介绍
投影仪-摄像机系统可以将诸如桌面和墙壁之类的任何表面转变为交互式显示器。一个基本问题是识别投影的用户界面(UI)控件上的手势动作。使用手指模型或遮挡图案的相关技术方法具有许多问题(problem)，包括具有亮度难题(issue)和反射的环境照明条件、投影的视频图像中的伪影和噪声以及深度摄像机的不准确性。
技术实现思路
在本公开中，这里描述的示例实现方式通过采用具有深度摄像机的深度神经网络方法提供更鲁棒的识别器来解决相关技术中的问题。具体地，示例实现方式利用具有从颜色通道和深度通道计算的光流的卷积神经网络(CNN)。示例实现方式涉及也过滤掉显示表面附近没有活动的帧的处理流水线，这节省了计算周期和能量。在利用带标签数据集的本文描述的示例实现方式的测试中，实现了高准确度(例如，～95％的准确度)。本公开的各方面可以包括：一种系统，该系统涉及：投影仪系统，其被配置为投影用户界面(UI)；摄像机系统，其被配置为记录所投影的用户界面上的交互；以及处理器，其被配置为在检测到由所述摄像机系统记录的交互时，基于被训练以从由所述摄像机系统记录的所述交互中识别手势动作的深度学习算法的应用来确定动作命令的执行。本公开的各方面可以包括：一种系统，该系统涉及：用于对用户界面(UI)进行投影的装置；用于记录所投影的用户界面上的交互的装置；以及用于在检测到所记录的交互时，基于被训练以从记录的交互中识别手势动作的深度学习算法的应用来确定动作命令的执行的装置。本公开的各方面可以包括：一种方法，该方法涉及：对用户界面(UI)进行投影；记录所投影的用户界面上的交互；以及在检测到由所述摄像机系统记录的交互时，基于被训练以从记录的交互中识别手势动作的深度学习算法的应用来确定动作命令的执行。本公开的各方面可以包括一种系统，该系统可涉及：投影仪系统，其被配置为对用户界面(UI)进行投影；摄像机系统，其被配置为记录所投影的用户界面上的交互；以及处理器，其被配置为在检测到由所述摄像机系统记录的交互时，针对所述摄像机系统的颜色通道和深度通道，计算所投影的UI内的区域的光流；将深度学习算法应用于所述光流以识别手势动作，所述深度学习算法被训练以从所述光流识别手势动作；并且针对正被识别的所述手势动作，执行与所识别的手势动作相对应的命令。本公开的各方面可以包括一种系统，该系统可涉及：用于对用户界面(UI)进行投影的装置；记录所投影的用户界面上的交互的装置；用于在检测到记录的交互时，针对所述摄像机系统的颜色通道和深度通道，计算所投影的UI内的区域的光流的装置；用于将深度学习算法应用于所述光流以识别手势动作的装置，所述深度学习算法被训练以从所述光流识别手势动作；以及针对正被识别的所述手势动作，用于执行与所识别的手势动作相对应的命令的装置。本公开的各方面可以包括一种方法，该方法可涉及：对用户界面(UI)进行投影；记录所投影的用户界面上的交互；在检测到由所述摄像机系统所记录的交互时，针对所述摄像机系统的颜色通道和深度通道，计算所投影的UI内的区域的光流；将深度学习算法应用于所述光流以识别手势动作，所述深度学习算法被训练以从所述光流识别手势动作；以及针对正被识别的所述手势动作，执行与所识别的手势动作相对应的命令。附图说明图1(a)和图1(b)例示出了根据示例实现方式的涉及投影仪-摄像机设置的系统的示例硬件图。图2(a)例示出了根据示例实现方式的投影仪和摄像机系统的示例样本帧。图2(b)例示出了具有关于相关技术所利用的技术的示例问题的表。图2(c)例示出了根据示例实现方式的与带标签动作相关联的光流的示例数据库。图3例示出了根据示例实现方式的视频帧处理流水线的示例流程图。图4(a)例示出了根据示例实现方式的示例总体流程。图4(b)例示出了如本公开中所描述的生成深度学习算法的示例流程。具体实施方式以下具体实施方式提供了本申请的附图和示例实现方式的进一步细节。为了清楚起见，省略了附图之间的冗余元件的附图标记和描述。在整个说明书中使用的术语是作为示例提供的，并非旨在进行限制。例如，根据实践本申请的实现方式的本领域普通技术人员的期望实现方式，术语“自动”的使用可以涉及全自动或半自动实现方式，该全自动或半自动实现方式涉及用户或管理员对实现方式的某些方面的控制。选择可以由用户通过用户界面或其他输入装置来进行，或者可以通过期望的算法来实现。可以单独地或组合地利用本文描述的示例实现方式，并且可以通过根据期望实现方式的任何装置来实现示例实现方式的功能。示例实现方式涉及利用基于机器学习的算法。在相关技术中，已将众多的基于机器学习的算法应用于图像或图案识别，例如识别其他汽车的障碍物或交通标志，或基于特定训练对元素进行分类。鉴于功率计算的进步，机器学习已经变得更适用于在投影的UI界面上检测和生成手势。投影仪-摄像机系统可以将诸如桌面和墙壁之类的任何表面转变为交互式显示器。通过将UI控件投影到表面上，用户可以与熟悉的图形用户界面元素(例如按钮)进行交互。为了识别控件上的手指动作(例如，按压手势、轻扫手势)，可以应用计算机视觉方法。还可以采用具有颜色通道和深度通道的深度摄像机来提供具有3D信息的数据。图1(a)和图1(b)例示出了根据本文中描述的示例实现方式的示例投影仪-摄像机系统。图1(a)例示出了根据示例实现方式的涉及投影仪-摄像机设置的系统的示例硬件图。系统100可以包括用于手势/UI交互捕捉的摄像机系统101、投影仪102、处理器103、存储器104、显示器105和接口(I/F)106。系统100被配置为监测桌面110，在该桌面110上通过投影仪102将UI111投影在桌面110上。根据期望的实现方式，桌面110可以是智能桌子、会议桌、工作台面等的形式。或者，可使用其他表面，例如墙面、建筑柱或UI111可投影于其上的任何其他物理表面。摄像机系统101可以是被配置为根据期望的实现方式捕获视频图像和深度图像的任何形式。在示例实现方式中，处理器103可以利用摄像机系统来捕获在桌面110上的投影的UI111处发生的交互的图像。投影仪102可以被配置为将UI111投影到桌面110上，并且可以是根据期望的实现方式的任何类型的投影仪。在示例实现方式中，投影仪102还可以是用于将UI投影到自由空间中的全息投影仪。根据期望的实现方式，显示器105可以是触摸屏或用于视频会议或用于显示计算机设备的结果的任何其他显示器的形式。显示器105还可以包括具有中央控制器的一组显示器，其示出根据期望的实现方式的会议参与者或加载的文档。I/F106可包括接口设备，例如键盘、鼠标、触摸板或用于显示器105的其他输入设备，视期望的实现方式而定。在示例实现方式中，处理器103可以是包括物理硬件处理器或硬件处理器和软件处理器的组合的中央处理单元(CPU)的形式。处理器10本文档来自技高网...

【技术保护点】
1.一种用于执行手势检测的系统，该系统包括：/n投影仪系统，该投影仪系统被配置为对用户界面UI进行投影；/n摄像机系统，该摄像机系统被配置为记录所投影的用户界面上的交互；以及/n处理器，该处理器被配置为：/n在检测到由所述摄像机系统记录的交互时，基于被训练以从由所述摄像机系统记录的所述交互中识别手势动作的深度学习算法的应用来确定动作命令的执行。/n

【技术特征摘要】
20180809 US 16/059,6591.一种用于执行手势检测的系统，该系统包括：
投影仪系统，该投影仪系统被配置为对用户界面UI进行投影；
摄像机系统，该摄像机系统被配置为记录所投影的用户界面上的交互；以及
处理器，该处理器被配置为：
在检测到由所述摄像机系统记录的交互时，基于被训练以从由所述摄像机系统记录的所述交互中识别手势动作的深度学习算法的应用来确定动作命令的执行。


2.根据权利要求1所述的系统，其中，所述处理器被配置为：
通过根据来自所述摄像机系统的深度信息确定在所投影的用户界面的UI控件附近是否发生了交互，来进行由所述摄像机系统记录的所述交互的检测；
针对在所投影的用户界面的所述UI控件附近发生了所述交互的确定，确定检测到所述交互，基于所述深度学习算法的所述应用进行所述动作命令的所述执行的确定，并且执行与根据所述深度学习算法确定的所识别的手势动作相对应的所述动作命令；以及
针对在所投影的用户界面的所述UI控件附近尚未发生所述交互的确定，确定没有检测到所述交互并且不进行所述深度学习算法的所述应用。


3.根据权利要求1所述的系统，其中，所述处理器被配置为通过以下步骤，基于被训练以从由所述摄像机系统记录的所述交互中识别手势动作的所述深度学习算法的所述应用来确定所述动作命令的执行：
针对所述摄像机系统的颜色通道和深度通道，计算所投影的UI内的区域的光流；以及
将所述深度学习算法应用于所述光流以识别手势动作。


4.根据权利要求1所述的系统，其中，所述处理器是被配置为执行所述深度学习算法的所述应用的图形处理器单元GPU或现场可编程门阵列FPGA。


5.根据权利要求1所述的系统，其中，所述投影仪系统被配置为将所述UI投影在桌面上或墙面上。


6.根据权利要求1所述的系统，其中，针对包括与光流相关联的带标签手势动作的数据库来训练所述深度学习算法。


7.一种用于执行手势检测的系统，该系统包括：
投影仪系统，该投影仪系统被配置为对用户界面UI进行投影；
摄像机系统，该摄像机系统被配置为记录所投影的用户界面上的交互；以及
处理器，该处理器被配置为：
在检测到由所述摄像机系统记录的交互时：
针对所述摄像机系统的颜色通道和深度通道，计算所投影的UI内的区域的光流；
将深度学习算法应用于所述光流以利用UI控件来识别手势动作，所述深度学习算法被训练以从所述光流中识别手势动作；并且
针对正被识别的所述手势动作，执行与所识别的手势动作和所述UI控件相对应的命令。


8.根据权利要求1所述的系统，其中，所述处理器被配置为：
通过根据来自所述摄像机系统的深度信息确定在所投影的用户界面的所述UI控件附近是否发生了交互，来进行由所述摄像机系统记录的所述交互的检测；
针对在所投影的用户界面的所述UI控件附近发生了所述交互的确定，确定检测到所述交互，基于所述深度学习算法的所...

【专利技术属性】
技术研发人员：P·邱，金哲暄，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP