姿势识别设备及方法、头戴式显示设备和计算机可读介质技术

本发明专利技术提供姿势识别设备及方法、头戴式显示设备和计算机可读介质。根据本发明专利技术的姿势识别设备包括：第一检测单元，其被配置为从拍摄图像中检测做出姿势的第一部位；第二检测单元，其被配置为从拍摄图像中检测由所述第一检测单元检测到的所述第一部位中的做出所述姿势的第二部位；以及识别单元，其被配置为基于所述第一检测单元所检测到的所述第一部位的运动和所述第二检测单元所检测到的所述第二部位的运动来识别所述姿势，其中，在所述第二检测单元没有获得满足预定条件的检测结果的情况下，所述识别单元使用由所述第二检测单元过去获得的满足所述预定条件的检测结果来识别所述姿势。别所述姿势。别所述姿势。

【技术实现步骤摘要】
姿势识别设备及方法、头戴式显示设备和计算机可读介质


[0001]本专利技术涉及用于识别姿势的技术。

技术介绍

[0002]已经提出了用于识别利用用户的手或手指等的姿势并进行根据所识别出的姿势的处理的技术。利用这种技术，使得用户能够在不触摸电子设备(电子设备的输入装置)的情况下通过做出姿势来操作该电子设备。
[0003]日本特开2015
‑
172887中公开了从通过利用照相机对用户的手或手指等进行摄像而获得的图像中提取用作做出姿势的部位的手，并指定所提取的手的形状以识别姿势。
[0004]日本特开2019
‑
71048中公开了使用深度学习以识别姿势。
[0005]然而，当识别利用双手的姿势等时，取决于情形，存在无法以高精度识别姿势(姿势的识别变得不稳定)的可能性。例如，当右手和左手彼此重叠时，存在不能以高精度进行右手和左手的分离、关节等(用于识别姿势的关键点)的检测、或手(做出姿势的部位)的形状的指定(识别)等的可能性(变得不稳定)。

技术实现思路

[0006]本专利技术提供了能够在各种情形下以高精度识别姿势的技术。
[0007]本专利技术在其第一方面提供了一种姿势识别设备，其包括：第一检测单元，其被配置为从拍摄图像中检测做出姿势的第一部位；第二检测单元，其被配置为从拍摄图像中检测由所述第一检测单元检测到的所述第一部位中的做出所述姿势的第二部位；以及识别单元，其被配置为基于所述第一检测单元所检测到的所述第一部位的运动和所述第二检测单元所检测到的所述第二部位的运动来识别所述姿势，其中，在所述第二检测单元没有获得满足预定条件的检测结果的情况下，所述识别单元使用由所述第二检测单元过去获得的满足所述预定条件的检测结果来识别所述姿势。
[0008]本专利技术在其第二方面提供了一种头戴式显示设备，其包括：显示控制单元，其被配置为基于上述姿势识别设备的识别结果来控制显示。
[0009]本专利技术在其第三方面提供了一种姿势识别方法，其包括：第一检测步骤，用于从拍摄图像中检测做出姿势的第一部位；第二检测步骤，用于从拍摄图像中检测在所述第一检测步骤中检测到的所述第一部位中的做出所述姿势的第二部位；以及识别步骤，用于基于在所述第一检测步骤中检测到的所述第一部位的运动和在所述第二检测步骤中检测到的所述第二部位的运动来识别所述姿势，其中，在所述第二检测步骤中没有获得满足预定条件的检测结果的情况下，在所述识别步骤中，使用在过去的第二检测步骤中获得的满足所述预定条件的检测结果来识别所述姿势。
[0010]本专利技术在其第四方面提供了一种存储程序的计算机可读介质，所述程序用于使计算机用作上述姿势识别设备的各个单元。
[0011]根据以下参考附图对示例性实施例的描述，本专利技术的其他特征将变得明显。
附图说明
[0012]图1是示出姿势识别设备的配置示例的框图；
[0013]图2是示出手和关节的检测示例的图；
[0014]图3是示出姿势识别处理的示例的流程图；以及
[0015]图4是用于描述姿势识别处理的示例的图。
具体实施方式
[0016]将描述本专利技术的实施例。图1是示出本实施例中的姿势识别设备101的配置示例的框图。姿势识别设备101具有摄像单元102、系统控制单元103、非易失性存储器104、系统存储器105和姿势识别单元110。
[0017]摄像单元102具有包括多个透镜的光学系统和图像传感器(例如，CCD或CMOS传感器)，并布置成面向能够拍摄用户的姿势的图像的方向。在本实施例中使用图像传感器，但是可以仅使用可用于姿势识别的任何传感器。也可以这样使用测距传感器(例如，使用诸如LiDAR(光检测和测距)等的激光的传感器)。
[0018]非易失性存储器104为电可擦除/可记录存储器，并且例如是Flash
‑
ROM等。在非易失性存储器104中，存储系统控制单元103的操作常数或程序等。这里，程序表示例如用于进行将在本实施例中稍后描述的流程图的各个处理的程序。
[0019]系统存储器105例如是RAM等，并展开系统控制单元103的操作变量或从非易失性存储器104读取的常数或程序等。
[0020]系统控制单元103是由至少一个处理器或电路构成的控制单元，并控制整个姿势识别设备101。系统控制单元103通过运行上述非易失性存储器104中所存储的程序来实现稍后将描述的流程图的各个处理。系统控制单元103通过对从摄像单元102获得的拍摄图像应用诸如降噪和调整大小等的图像处理来生成检测图像，并将检测图像记录在系统存储器105上。此外，系统控制单元103根据姿势识别单元110识别出的姿势来进行处理。例如，系统控制单元103生成与所识别出的姿势相对应的控制信号，并使用该控制信号来控制姿势识别设备101的各个单元。
[0021]姿势识别单元110具有对象部位检测单元111、详细部位检测单元112、详细部位判断单元113和姿势检测单元114，并基于从摄像单元102获得的拍摄图像(具体为上述检测图像)来识别姿势。
[0022]将使用图2详细描述姿势识别单元110。图2是示出本实施例中的手和关节的检测示例的图。
[0023]图2所示的图像200是通过对从摄像单元102获得的拍摄图像应用图像处理而获得的检测图像。在检测图像200中，反映了做出姿势(姿势操作)的用户的左手211和右手212。图2所示的图像201是通过将对象部位检测单元111和详细部位检测单元112的检测结果叠加在检测图像200上而获得的图像。
[0024]对象部位检测单元111从检测图像200中检测(提取)作为做出姿势的对象部位的手。在图2中，针对左手211和右手212中的每一个，检测手区域(手的区域)。手区域例如是以手的中心位置为中心而围绕手的矩形区域。针对左手211检测手区域221，以及针对右手212检测手区域222。
[0025]详细部位检测单元112从检测图像200中检测(提取)由对象部位检测单元111检测到的对象部位中的、作为做出姿势的详细部位的关节。在图2中，针对左手211和右手212中的每一个，检测从手腕到各个指尖的21个点的关节位置(关节的位置)。对象部位检测单元111基于21个点的关节位置获得关节信息。针对左手211获得关节信息231，以及针对右手212获得关节信息232。关节信息231和232示出了21个点的关节位置以及将21个点的关节位置连接在一起以形成骨骼框架的多个线段。关节信息所示的关节位置例如是相对于手区域的相对位置。关节信息231所示的关节位置是相对于手区域221的相对位置，以及关节信息232所示的关节位置是相对于手区域222的相对位置。注意，在本实施例中，用户用手或手指做出姿势，但是可以用他/她的身体、手臂、脚、脸、眼睛或嘴等做出姿势。对象部位可以是身体，以及详细部位可以是手臂或手臂的关节等。对象部位可以是脸，以及详细部位可以是眼睛等。此外，当检测图像(检测图像的像素数量)大时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿势识别设备，包括：第一检测单元，其被配置为从拍摄图像中检测做出姿势的第一部位；第二检测单元，其被配置为从拍摄图像中检测由所述第一检测单元检测到的所述第一部位中的做出所述姿势的第二部位；以及识别单元，其被配置为基于所述第一检测单元所检测到的所述第一部位的运动和所述第二检测单元所检测到的所述第二部位的运动来识别所述姿势，其中，在所述第二检测单元没有获得满足预定条件的检测结果的情况下，所述识别单元使用由所述第二检测单元过去获得的满足所述预定条件的检测结果来识别所述姿势。2.根据权利要求1所述的姿势识别设备，其中，在拍摄图像中的所述第二部位的移动量大于阈值的情况下，所述识别单元使用由所述第二检测单元过去获得的满足所述预定条件的检测结果。3.根据权利要求1或2所述的姿势识别设备，其中，所述第二检测单元检测多个第二部位，以及在拍摄图像中的所述多个第二部位之间的间隔长于阈值的情况下，所述识别单元使用由所述第二检测单元过去获得的满足所述预定条件的检测结果。4.根据权利要求1或2所述的姿势识别设备，其中，在所述第一部位的反映在拍摄图像中的部分的比率小于阈值的情况下，所述识别单元使用由所述第二检测单元过去获得的满足所述预定条件的检测结果。5.根据权利要求1或2所述的姿势识别设备，还包括判断单元，所述判断单元被配置为判断由所述第二检测单元获得的检测结果的可靠度，其中，在所述判断单元所判断出的可靠度低于阈值的情况下，所述识别单元使用由所述第二检测单元过去获得的具有高于该阈值的可靠度的检测结果。6.根据权利要求1或2所述的姿势识别设备，其中，所述第二检测单元从拍摄图像中切出由所述第一检测单元检测到的所述第一部位的区域，并且从切出区域的图像中检测所述第二部位。7.根据权利要求1或2所述的姿势识别设备，还包括生成单元，所述生成单元被配置为生成与所述识别单元所识别出的所述姿势相对应的控制信号。8.根据权利要求1或2所述的姿势识别设备，其中，在所述第二检...

【专利技术属性】
技术研发人员：田中裕树，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：