手势判定装置、手势操作装置和手势判定方法制造方法及图纸

手势判定装置(100)具有：基准部位检测部(10)，其输出表示基准部位区域的基准部位信息(Am(k))；运动提取部(20)，其输出表示运动区域的运动信息(Bm(k))；基准部位消失判定部(30)，其生成基准部位消失判定结果(Cm(k))；时刻判定部(40)，其判定基准部位消失信息所示的第1时刻与第2时刻是否同步，输出判定的结果即时刻判定结果(Dm(k))，在该第2时刻产生了运动区域与基准部位信息所示的基准部位区域重叠的帧；以及操作判定部(50)，其根据时刻判定结果和运动信息判定操作者的手势操作的内容。

【技术实现步骤摘要】
【国外来华专利技术】手势判定装置、手势操作装置和手势判定方法
本专利技术涉及判定操作者的手势操作的内容的手势判定装置、根据手势操作的内容生成用于操作设备的操作命令的手势操作装置和用于判定操作者的手势操作的内容的手势判定方法。
技术介绍
在家电设备和车载设备等的设备操作中，不使用遥控器且不与操作面板接触就能够进行操作的基于手的运动实现的手势操作是有效的。此外，在公共施设或工厂的数字标牌等的设备操作中，很难假设全部操作者具有遥控器，并且，大型的显示设备较多，因此，很难活用触摸面板。因此，具有上述特征的手势操作是有效的。为了实现这种手势操作，例如，通过摄像机等摄像装置对操作者进行多帧摄像，检测帧间的运动，由此判定手势操作。但是，该手法存在如下课题：在车内环境等背景显著变化的环境下容易产生手势的误判定，并且很难鉴别手势操作和操作者的非意图运动。为了解决该课题，存在如下技术：以操作者的面部位置为基准来限定手势操作判定的对象区域，针对限定的区域判定操作者的特定动作，通过判定在规定的期间内持续进行了该动作，鉴别手势操作和背景的变化或手势操作和操作者的非意图运动，提高手势判定的精度(例如参照专利文献1)。现有技术文献专利文献专利文献1：日本特开2012-58928号公报
技术实现思路
专利技术要解决的课题但是，在专利文献1记载的技术中，为了提高手势的判定精度，操作者需要在规定的期间内持续进行规定的动作，不适于挥手操作(以后还称作“挥击”)等能够在短时间内执行的手势操作的判定。本专利技术正是为了解决上述现有技术的课题而完成的，其目的在于，在操作者进行了短时间的手势操作的情况下，也能够减少由于背景的变化和操作者的非意图动作而引起的手势的误判定，进行高精度的手势判定。用于解决课题的手段本专利技术的手势判定装置判定操作者的手势操作的内容，其特征在于，所述手势判定装置具有：基准部位检测部，其根据作为摄像图像而依次取得的多个帧图像检测基准部位，针对所述多个帧图像分别输出表示存在所述基准部位的基准部位区域的基准部位信息；运动提取部，其在所述多个帧图像中提取帧图像间的运动，输出表示产生了所述运动的运动区域的运动信息；基准部位消失判定部，其根据所述基准部位信息所示的所述检测的结果，生成表示产生了未被检测到所述基准部位的帧图像的第1时刻的基准部位消失信息；时刻判定部，其判定所述基准部位消失信息所示的所述第1时刻与第2时刻是否同步，输出所述判定的结果即时刻判定结果，在该第2时刻产生了所述运动信息所示的所述运动区域与所述基准部位信息所示的所述基准部位区域重叠的帧；以及操作判定部，其根据所述时刻判定结果和所述运动信息判定所述操作者的手势操作的内容。本专利技术的手势操作装置的特征在于，所述手势操作装置具有：上述手势判定装置；以及命令生成部，其根据由所述操作判定部判定出的所述手势操作的内容，生成用于操作设备的操作命令。本专利技术的手势判定方法的特征在于，所述手势判定方法具有以下步骤：基准部位检测步骤，根据作为摄像图像而依次取得的多个帧图像检测基准部位，针对所述多个帧图像分别输出表示存在所述基准部位的基准部位区域的基准部位信息；运动提取步骤，在所述多个帧图像中提取帧图像间的运动，输出表示产生了所述运动的运动区域的运动信息；基准部位消失判定步骤，根据所述基准部位信息所示的所述检测的结果，生成表示产生了未被检测到所述基准部位的帧图像的第1时刻的基准部位消失信息；时刻判定步骤，判定所述基准部位消失信息所示的所述第1时刻与第2时刻是否同步，输出所述判定的结果即时刻判定结果，在该第2时刻产生了所述运动信息所示的所述运动区域与所述基准部位信息所示的所述基准部位区域重叠的帧；以及操作判定步骤，根据所述时刻判定结果和所述运动信息判定操作者的手势操作的内容。专利技术效果根据本专利技术的手势判定装置、手势操作装置和手势判定方法，在操作者进行了短时间的手势操作的情况下，也能够减少由于背景的变化和操作者的非意图动作而引起的手势的误判定，进行高精度的手势判定。附图说明图1是示出本专利技术的实施方式1的手势判定装置的概略结构的框图。图2是示出实施方式1的纹理特征的计算中的块的配置的图。图3是示出实施方式1的CSLBP特征的计算中使用的像素的配置的图。图4是示出实施方式1的纹理特征计算中的块内的单元的配置的图。图5是示出表示实施方式1的手势操作的一连串动作的例子(从图像左上侧朝向右侧摆手的动作)的图。图6是示出进行了表示实施方式1的手势操作的一连串动作(从图像左上侧朝向右侧摆手的动作)的情况下的运动区域及其重心的位置的图。图7是示出实施方式1的时刻判定部的状态转变图的一例的图。图8是根据实施方式1中的基准部位信息说明3个区域的定义的图。图9是示出表示实施方式1的手势操作的一连串动作的例子(暂时使手从图像左上侧移动到面部的眼前，然后朝向左侧摆回手的动作)的图。图10是示出实施方式1的手势判定装置的处理的流程图。图11是示出本专利技术的实施方式2的手势判定装置的概略结构的框图。图12的(a)～(c)是示出实施方式2中的手的形状的种类的图。图13是示出本专利技术的实施方式3的手势判定装置的概略结构的框图。图14是示出本专利技术的实施方式4的手势判定装置的概略结构的框图。图15是示出本专利技术的实施方式5的手势操作装置的概略结构的框图。图16是示出本专利技术的实施方式6的手势操作装置的概略结构的框图。图17是示出变形例中的控制部的结构的图。具体实施方式《1》实施方式1《1-1》结构图1是示出本专利技术的实施方式1的手势判定装置100的概略结构的框图。手势判定装置100是能够执行实施方式1的手势判定方法的装置。如图1所示，手势判定装置100具有基准部位检测部10、运动提取部20、基准部位消失判定部30、时刻判定部40和操作判定部50。首先，对手势判定装置100的概要进行说明。手势判定装置100接收以预定的帧率拍摄包含操作者的空间而得到的、表示该空间的动态图像的一连串帧的图像数据(摄像图像)Im(k)。这里，k表示分别分配给帧的帧编号(正整数)。例如，Im(k)的下一个时刻给出的帧记作Im(k+1)。帧率例如优选为1秒30帧。图像数据例如是彩色图像、灰度图像或距离图像。下面，为了简化说明，对图像数据是宽度为640像素、高度为480像素的8比特灰度的灰度图像的情况进行说明。如图1所示，手势判定装置100进行用于根据一连串帧的图像数据Im(k)输出手势判定结果Om(k)的一连串动作。基准部位检测部10根据作为来自摄像装置的输入信息而给出的图像数据Im(k)，检测至少一个作为操作者的基准的部位(作为预定的身体部位的基准部位)，生成表示基准部位的基准部位信息Am(k)。设实施方式1中的基准部位为操作者的面部来进行说明。但是，基准部位也可以是操作者的面部以外的部位。例如，也可以是属于面部的部位(面部、眼睛、眉毛、鼻子、嘴、额头、脸颊、下巴等)，还可以是头、肩等这种面部以外的身体部位。基准部位信息Am(k)能够包含有无检测基准部位、检测到的基准部位的中心坐标、检测到的基准部位的尺寸等信息。生成的基准部位信息Am(k)被供给到运动提取部20和基准部位消失判定部30。此外，基准部位检测部10将一连串帧的图像数据Im(k)输出到运动提取部20和基准部位消失判定部30。运动提取本文档来自技高网...

【技术保护点】
1.一种手势判定装置，该手势判定装置判定操作者的手势操作的内容，其特征在于，所述手势判定装置具有：基准部位检测部，其根据作为摄像图像而依次取得的多个帧图像检测基准部位，针对所述多个帧图像分别输出表示存在所述基准部位的基准部位区域的基准部位信息；运动提取部，其在所述多个帧图像中提取帧图像间的运动，输出表示产生了所述运动的运动区域的运动信息；基准部位消失判定部，其根据所述基准部位信息所示的所述检测的结果，生成表示产生了未被检测到所述基准部位的帧图像的第1时刻的基准部位消失信息；时刻判定部，其判定所述基准部位消失信息所示的所述第1时刻与第2时刻是否同步，输出所述判定的结果即时刻判定结果，在该第2时刻产生了所述运动信息所示的所述运动区域与所述基准部位信息所示的所述基准部位区域重叠的帧；以及操作判定部，其根据所述时刻判定结果和所述运动信息判定手势操作的内容。

【技术特征摘要】
【国外来华专利技术】2016.09.01 JP 2016-1705021.一种手势判定装置，该手势判定装置判定操作者的手势操作的内容，其特征在于，所述手势判定装置具有：基准部位检测部，其根据作为摄像图像而依次取得的多个帧图像检测基准部位，针对所述多个帧图像分别输出表示存在所述基准部位的基准部位区域的基准部位信息；运动提取部，其在所述多个帧图像中提取帧图像间的运动，输出表示产生了所述运动的运动区域的运动信息；基准部位消失判定部，其根据所述基准部位信息所示的所述检测的结果，生成表示产生了未被检测到所述基准部位的帧图像的第1时刻的基准部位消失信息；时刻判定部，其判定所述基准部位消失信息所示的所述第1时刻与第2时刻是否同步，输出所述判定的结果即时刻判定结果，在该第2时刻产生了所述运动信息所示的所述运动区域与所述基准部位信息所示的所述基准部位区域重叠的帧；以及操作判定部，其根据所述时刻判定结果和所述运动信息判定手势操作的内容。2.一种手势判定装置，其特征在于，所述手势判定装置具有：基准部位检测部，其根据作为摄像图像而依次取得的多个帧图像检测操作者的身体部位作为基准部位，针对所述多个帧图像分别输出表示存在所述基准部位的基准部位区域的基准部位信息；运动提取部，其在所述多个帧图像中提取帧图像间的运动，输出表示产生了所述运动的运动区域的运动信息；基准部位消失判定部，其根据所述基准部位信息所示的所述检测的结果，生成表示产生了未被检测到所述基准部位的帧图像的第1时刻的基准部位消失信息；时刻判定部，其判定所述基准部位消失信息所示的所述第1时刻与第2时刻是否同步，输出所述判定的结果即时刻判定结果，在该第2时刻产生了所述运动信息所示的所述运动区域与所述基准部位信息所示的所述基准部位区域重叠的帧；以及操作判定部，其根据所述时刻判定结果和所述运动信息判定所述操作者的手势操作的内容。3.根据权利要求1或2所述的手势判定装置，其特征在于，在所述第1时刻之前的第3时刻在所述基准部位区域的第1侧检测到所述运动区域，并且在所述第1时刻之后的第4时刻在所述基准部位区域的与所述第1侧相反的第2侧检测到所述运动区域时，所述操作判定部判定为所述运动信息基于所述操作者的手势操作。4.根据权利要求1或2所述的手势判定装置，其特征在于，在所述第1时刻之前的第3时刻在所述基准部位区域的第1侧检测到所述运动区域，并且在所述第1时刻之后的第4时刻在所述基准部位区域的所述第1侧检测到所述运动区域时，所述操作判定部判定为所述运动信息基于所述操作者的手势操作。5.根据权利要求1～4中的任意一项所述的手势判定装置，其特征在于，所述基准部位区域是矩形区域。6.根据权利要求1～5中的任意一项所述的手势判定装置，其特征在于，所述基准部位检测部检测所述基准部位以外的其他基准部位，输出与所述其他基准部位有关的其他基准部位信息，所述基准部位消失判定部根据所述其他基准部位信息所示的所述检测的结果，生成其他基准部位消失信息，所述时刻判定部根据与所述其他基准部位消失信息有关的所述判定的结果，输出...

【专利技术属性】
技术研发人员：中村雄大，神谷雅志，内藤正博，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP