姿势识别装置、姿势识别方法和程序制造方法及图纸

一种识别遮挡成像传感器（3）的前表面的姿势的姿势识别装置（1）配备有：第一检测单元（特征点检测单元（15）、特征点处理单元（17）），其检测当成像传感器的前表面被遮挡时和当成像传感器的前表面未被遮挡时的拍摄图像（Pa、Pb）之间的改变；以及第二检测单元（直方图计算单元（21）、直方图处理单元（23）），当在成像传感器的前表面被遮挡时拍摄图像时，检测拍摄图像的其中亮度值的梯度未达到阈值的区域。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种姿势识别装置、姿势识别方法和程序。
技术介绍
当用户执行相关领域中的装置操作时，用户通常确认待操作的软件键或硬件键并且随后执行预定操作。因此，对于操作需要执行麻烦的工作并且难于在不确认键的情况下，例如在从键的远处观看时，执行操作。然而，为了提高装置的可操作性，利用诸如手的物体遮挡传感器的姿势被视为被 识别。该姿势操作使得用户能够在从键远处观看的同时执行操作，而无需麻烦的任务。引用文献列表专利文献专利文献I JP H7-146749A非专利文献非专利文献I : Ike 等人的“Hand Gesture User Interface Using CellBroadbandEngineTM”，Toshiba Review，Vol. 62，No. 6，pp. 52to 55,200
技术实现思路
技术问题通常，通过从成像传感器的拍摄图像检测检测物体的形状，并且对检测结果执行模式识别的处理来执行姿势识别(参照非专利文献I)。因此，即使在试图识别利用诸如手等的物体遮挡成像传感器的前面的姿势之后，由于不能检测位于成像传感器的前面附近的物体的形状，因此仍不能适当地识别姿势。此外，在一些情况下使用发射红外光的装置和接收红外光的装置来执行姿势识别(参照非专利文献I)。在该情况下，当从光发射装置发射的红外光被检测物体反射并且随后反射的红外光被光接收装置接收时，识别遮挡成像传感器的前面的物体。然而，除非使用诸如红外光发射装置和红外光接收装置的特殊装置，否则不能适当地识别姿势。因此，本专利技术提供了一种能够在不使用任何特殊装置的情况下识别遮挡成像传感器的传感器表面的姿势的姿势识别装置、姿势识别方法和程序。对问题的解决方案根据本专利技术的一个方面，提供了一种识别遮挡成像传感器的前面的姿势的姿势识别装置，该姿势识别装置包括第一检测单元，检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及第二检测单元，在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。第一检测单元可以基于拍摄图像中的特征点的跟踪结果来检测拍摄图像的改变。第一检测单元可以检测在其中成像传感器的前面未被遮挡的状态下的拍摄图像中跟踪的特征点在其中成像传感器的前面被手遮蔽的状态下的拍摄图像中丢失。第一检测单元可以确定在跟踪期间丢失的特征点与在预定时段中在多个拍摄图像中跟踪的特征点的比是否等于或大于阈值。姿势识别装置可以进一步包括移动确定单元，其基于多个特征点的移动趋势来确定成像传感器的移动，并且预定时段可以被设定为其中成像传感器不移动的时段。第二检测单元可以基于与拍摄图像相关的亮度值直方图的计算结果来检测其中拍摄图像的亮度值的梯度小于阈值的区域。第二检测单元可以使用与在预定时段中的多个拍摄图像相关的亮度值直方图来确定通过将最大频率附近的频率和归一化为频率的总和而获得的值是否在预定时段期间等于或大于阈值。 第二检测单元可以基于与拍摄图像相关的边缘图像检测其中拍摄图像的亮度值的梯度小于阈值的区域。第二检测单元可以使用与在预定时段中的多个拍摄图像相关的边缘图像来确定边缘图像中的边缘区域的比是否在预定时段期间小于阈值。第一和第二检测单元可以针对拍摄图像的部分区域而非针对拍摄图像执行处理。第一和第二检测单元可以针对从拍摄图像生成的分辨率小于拍摄图像的分辨率的灰阶图像执行处理。姿势识别装置可以识别通过组合遮挡成像传感器的前面的姿势和暴露成像传感器的前面的姿势而提供的姿势。姿势识别装置可以进一步包括成像传感器，其拍摄前面的图像。此外，根据本专利技术的另一方面，提供了一种姿势识别方法，包括检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。此外，根据本专利技术的另一方面，提供了一种用于使计算机执行如下操作的程序检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。这里，可以使用计算机可读存储介质提供程序，或者可以经由通信工具等提供程序。本专利技术的有利效果根据上述本专利技术，可以提供一种能够在不使用特殊装置的情况下识别遮挡成像传感器的传感器表面的姿势的姿势识别装置、姿势识别方法和程序。附图说明图I是根据本专利技术的实施例的姿势识别装置的概况的图示。图2是根据第一实施例的姿势识别装置的主要功能配置的框图。图3是姿势识别装置的主要操作顺序的流程图。图4是遮挡姿势的识别顺序的流程图。图5是在执行姿势之前的特征点的检测结果的示图。图6是在执行姿势之前的灰阶图像和亮度值直方图的计算结果的示图。图7是当成像传感器移动时的特征点的检测结果的示图。图8是当执行姿势时的特征点的检测结果的示图。图9是当执行姿势时的灰阶图像和亮度值直方图的计算结果的示图。 图10是根据第二实施例的姿势识别装置的主要功能配置的框图。图11是遮挡姿势的识别顺序的流程图。图12是在执行姿势之前的灰阶图像和边缘图像的示图。图13是当执行姿势时的灰阶图像和边缘图像的示图。图14是根据第一和第二实施例的修改示例的、当执行姿势时的特征点的检测结果的示图。具体实施例方式在下文中，将参照附图详细描述本专利技术的优选实施例。注意，在这里的说明书和附图中，具有基本上相同的功能和结构的元件由相同的附图标记表示，并且重复的解释被省略。首先，将参照图I描述根据本专利技术的实施例的姿势识别装置I的概况。如图I中所示，姿势识别装置I能够在不使用特殊装置的情况下识别遮挡成像传感器3的传感器表面的姿势。在下文中，假设传感器面将在成像传感器3的前面形成。然而，传感器表面可以在另一表面中形成。姿势识别装置I是信息处理装置，诸如个人计算机、电视机接收器、便携式信息终端或者移动电话。在姿势识别装置I中，从安装在姿势识别装置I上或者连接到姿势识别装置I的诸如视频相机的成像传感器3输入视频信号。下文将描述其中姿势识别装置I和成像传感器3分离配置的情况，但是姿势识别装置I和成像传感器3可以集成地配置。当用户U在成像传感器3的前面执行预定动作时，姿势识别装置I基于从成像传感器3输入的视频信号识别姿势。姿势的示例包括利用诸如手的物体遮挡成像传感器3的前面的遮挡姿势以及使物体在成像传感器3的前面左右移动的拂动姿势。例如，当姿势识别装置I被应用于音乐再现应用时，遮挡姿势对应于停止音乐再现的操作，并且左右轻拂姿势分别对应于再现前进和后退操作。当姿势被识别时，姿势识别装置I向用户U通知姿势的识别结果并且执行与识别的姿势对应的处理。姿势识别装置I以如下顺序识别遮挡姿势。当用户U执行遮挡姿势时，检测其中成像传感器3的前面未被遮挡的状态下的(在执行姿势之前)拍摄图像Pa和其中成像传感器3的前面被遮挡的状态下的(在姿势时)拍摄图像Pb之间的拍摄图像的改变(第一检测)。从遮挡状态下的(在姿势时)拍摄图像Pb检测其中拍摄图像的亮度值i的梯度小于阈值的区域(第二检测)。这里，当执行利用诸如手的物体遮挡成像传感器3的前面的姿势时，其中拍摄成像传感本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：繁田修，野田卓郎，
申请(专利权)人：索尼公司，
类型：
国别省市：