能够辨识用户操作的信息处理装置及其控制方法制造方法及图纸

本发明专利技术提供一种能够辨识用户操作的信息处理装置及其控制方法。根据本发明专利技术的信息处理装置能够提高当用户进行与目标物体相关的手势操作时的可操作性。

【技术实现步骤摘要】
能够辨识用户操作的信息处理装置及其控制方法
本专利技术涉及一种能够辨识(recognize)用户操作的信息处理装置。
技术介绍
传统装置能够从由可见光照相机或红外线照相机拍摄的图像中，检测包括用户手部的手部区域，并且能够辨识基于检测到的手部的运动及位置的手势操作。基于能够通过追踪手部区域来辨识的用户手部运动，与预先跟各个指令内容相关联地登记的各种手势模式的比较，上述传统装置能够辨识对装置进行的手势操作，并且识别指令内容。为了识别要与手势模式比较的部分，在可见光照相机或红外线照相机的视角中发生的手部运动中，通常在手部进入特定区域时，开始追踪手部区域(开始辨识手势操作)。如在日本特开2003-216955号公报中所讨论的，当用户进行手势操作时，传统上已知的是基于从运动图像中提取的人脸部分的横向宽度、纵向长度及面积中的至少一者，在手部可能存在的区域的附近，来设置要用来辨识手势操作的特定区域。要被设置用来辨识手势的特定区域被称为手势辨识区域。手势辨识区域需要足够大，以容纳在手势操作期间依次发生的全部手部运动。另一方面，如果手势辨识区域过大，则用户需要进行过大的动作，以在开始下一手势操作之前，将手部从手势辨识区域中移走。特别是，当用户进行与目标物体(例如，虚拟物体或实体物体)相关的手势操作时，用户移动手部的范围的大小往往受到该目标物体的大小的影响。因此，可能把用户为了返回初始状态而进行的过大动作，辨识为不自然的运动。可操作性显著降低。根据日本特开2003-216955号公报中所讨论的技术，在用户的当前位置，设置能够与各用户手部可能存在的区域相当的手势提取区域。然而，未考虑到适合于要进行的各手势操作的区域的大小。
技术实现思路
本专利技术的目的是提高当用户进行与目标物体相关的手势操作时的可操作性。根据本专利技术的一个方面，提供一种信息处理装置，其能够基于由拍摄预定区域的图像的摄像单元获得的图像，来辨识由手势物体进行的手势操作。该信息处理装置包括：获取单元，其被配置为获取关于存在于所述预定区域中的目标物体的位置信息；以及设置单元，其被配置为设置所述预定区域的、与由所述获取单元获取到的关于所述目标物体的位置信息相对应的部分区域，作为与所述目标物体相对应的至少一个手势操作的手势辨识区域。该信息处理装置还包括：辨识单元，其被配置为基于由所述摄像单元获得的所述图像的、与由所述设置单元设置的所述手势辨识区域相对应的部分，来辨识由所述手势物体进行的手势操作。通过以下参照附图对示例性实施例的描述，本专利技术的其他特征将变得清楚。附图说明图1A、图1B及图1C例示了信息处理装置的硬件及软件结构以及该信息处理装置的外观的示例。图2A及图2B是例示能够由信息处理装置辨识的手势操作以及相关信息的示例的表。图3是例示信息处理装置辨识手势操作的主处理的示例流程的流程图。图4是例示能够由信息处理装置进行以参照目标物体及用户位置来设置辨识区域的处理的示例流程的流程图。图5是例示能够由信息处理装置进行来检测手部的状态的处理的示例流程的流程图。图6A至图6D是各自例示能够被进行来设置适合于各估计的操作的辨识区域的处理的示例流程的流程图。图7A至图7D例示了“翻转”(reversing)操作的示例。图8A至图8D例示了在估计了“翻页”(pageturning)操作的情况下的辨识区域的示例。图9A至图9D例示了在估计了“翻页”操作的情况下的辨识区域的示例。图10A、图10B及图10C例示了“翻页”操作的操作状态的示例。具体实施方式下面，将参照附图来详细描述本专利技术的各个示例性实施例、特征及方面。在以下的示例性实施例中记载的构成要素仅仅是示例。本专利技术的范围不应当局限于这些示例。在第一示例性实施例中，提取手势操作的区域不是固定的，并且被设置为具有能够与可能偶尔发生的各手势操作相当的大小。另外，在第一示例性实施例中要进行的处理中，包括在辨识与目标物体相关的手势操作时预先估计用户希望进行的操作。然后，在第一示例性实施例中要进行的处理包括设置如下的手势辨识区域，该手势辨识区域在大小和位置两方面，均适合于接下来将可能相对于目标物体进行的手势操作(即估计的手势操作)。在下文中，将详细描述上述的处理。在下面的描述中，手势辨识区域是如下的区域，该区域要用来确定从在手势辨识区域中开始检测到能够在手势操作中使用的物体(例如，用户手部)的时间起开始了该手势操作。在下面的描述中，能够用于手势操作的物体被称为手势物体。另外，在第一示例性实施例中要进行的处理包括确定在手势物体从手势辨识区域中离开时手势操作完成。另外，在第一示例性实施例中要进行的处理包括：如果从手势操作的开始时间到手势操作的结束时间的、手势物体的连续运动，是已预先存储的预定运动，则识别出手势操作。具体而言，根据本示例性实施例的信息处理装置追踪手势辨识区域中的手势物体的运动，并且如果追踪的运动与预定运动相同，识别出输入了与该预定运动相关联的手势操作。在下面的描述中，手势辨识区域可以简称为辨识区域。在本示例性实施例中，用户手部是能够用作手势物体的示例。手写笔或任何其他工具同样是可用的。图1A例示了根据本示例性实施例的信息处理装置100的外观的示例。在本示例性实施例中，信息处理装置100能够利用置于操作面102上面的投影机103显示投影图像，该投影图像包括专用于使得用户能够触摸来进行输入操作的用户界面的显示对象101(例如，按钮或图标)。另外，信息处理装置100包括置于操作面102上面的照相机104。因此，信息处理装置100能够基于由照相机104拍摄的视频的俯视图，来辨识用户操作。另外，信息处理装置100能够拍摄置于操作面102上的目标物体106(例如，背景对象)的图像，以获得图像数据。图1A中所示的目标物体的示例包括被放置在操作面102上的书本106。在以下的描述中，要由照相机104进行来获得如下图像数据的图像拍摄操作被称为“读取”，所述图像数据代表作为，例如，实体物体(例如，纸张或书本)的目标物体的内容。另外，信息处理装置100包括距离传感器105，该距离传感器105能够检测手势物体与操作面102之间的距离。如果在离操作面102的表面的预定距离内，能够检测到手势物体，则信息处理装置100确定操作面102当前被触摸。在本示例性实施例中，可以使用图1A中所示的坐标系，相对于操作面102来定义目标物体或用户手部的位置。如图1A所示，坐标系具有原点，以及相互垂直的并且分别从所述原点延伸的x轴和y轴。在本示例性实施例中，信息处理装置100能够基于由照相机104拍摄的图像，来辨识用户的手势操作。特别是，如果对放置在操作面102上的目标物体进行了用户操作，则信息处理装置100能够将该用户操作辨识为手势操作。例如，如果用户翻动书本106的页面，则信息处理装置100把用户的手部运动，辨识为指示读取各展开页(spreadpage)的手势操作。如果信息处理装置100将用户的翻动运动的终止识别为操作终止，则信息处理装置100进行读取处理，以获得翻动后的展开页的图像数据。在本示例性实施例中，投影机103能够在操作面102上基于上述读取的图像数据投影或者显示图像。投影机103也可以在操作面102上投影该图像连同其缩略图。如果在操作面102上投影的图像是目本文档来自技高网...

【技术保护点】
一种信息处理装置，其能够基于由摄像单元拍摄的预定区域的图像来辨识由手势物体进行的手势操作，该信息处理装置包括：获取单元，其被配置为获取关于存在于所述预定区域中的目标物体的位置信息；设置单元，其被配置为设置所述预定区域的部分区域作为与所述目标物体相对应的至少一个手势操作的手势辨识区域；以及辨识单元，其被配置为基于由所述摄像单元获得的所述图像的部分，来辨识由所述手势物体进行的手势操作，所述部分与所述设置单元设置的所述手势辨识区域相对应。

【技术特征摘要】
2013.06.05 JP 2013-1188751.一种信息处理装置，其能够基于由摄像单元拍摄的预定区域的图像来辨识由手势物体进行的手势操作，该信息处理装置包括：获取单元，其被配置为获取关于存在于所述预定区域中的目标物体的位置信息；设置单元，其被配置为设置所述预定区域的部分区域作为与所述目标物体相对应的至少一个手势操作的手势辨识区域；以及辨识单元，其被配置为基于由所述摄像单元获得的所述图像的部分，来辨识由所述手势物体进行的手势操作，所述部分与所述设置单元设置的所述手势辨识区域相对应；其中，所述目标物体包括能够由显示单元显示的、被显示在预定空间中的虚拟物体，以及被插入所述预定空间的实体物体。2.根据权利要求1所述的信息处理装置，该信息处理装置还包括：指定单元，其被配置为基于所述图像来指定所述手势物体的状态，其中，所述设置单元基于由所述获取单元获取到的关于所述目标物体的位置信息，以及已由所述指定单元指定的所述手势物体的状态，来设置所述手势辨识区域。3.根据权利要求2所述的信息处理装置，该信息处理装置还包括：识别单元，其被配置为识别已由所述获取单元获取到位置信息的所述目标物体；以及估计单元，其被配置为基于由所述识别单元识别的所述目标物体，以及由所述指定单元指定的所述手势物体的状态，来估计要由所述手势物体进行的手势操作，其中，所述设置单元根据由所述估计单元获得的估计结果，来设置所述手势辨识区域。4.根据权利要求1所述的信息处理装置，其中，所述设置单元基于当已由所述获取单元获取到位置信息的所述目标物体被所述手势物体插入到所述预定区域中时所述摄像单元拍摄的图像，来设置定义所述手势辨识区域中的手势操作的方向的坐标系。5.根据权利要求3所述的信息处理装置，其中，所述手势物体包括用户手部，并且所述估计单元基于由所述指定单元指定的所述用户手部的状态，来估计要由所述用户手部对所述识别单元识别的目标物体进行的手势操作。6.根据权利要求3所述的信息处理装置，其中，所述识别单元识别出所述目标物体包括纸张或书本。7.根据权利要求5所述的信息处理装置，其中，当所述识别单元识别出所述目标物体是纸张、并且所述指定单元指定所述用户手部正在握持由检测单元...

【专利技术属性】
技术研发人员：新井常一，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP