姿势识别设备及方法、头戴式显示设备和计算机可读介质技术

本公开提供了姿势识别设备及方法、头戴式显示设备和计算机可读介质。根据本发明专利技术的姿势识别设备包括：部位检测单元，其被配置为从拍摄图像中检测做出姿势的部位；识别单元，其被配置为基于所述部位检测单元所检测到的所述部位的运动来识别所述姿势；区域检测单元，其被配置为从所述部位中检测要用于所述姿势的区域；以及运动检测单元，其被配置为对所述区域检测单元所检测到的所述区域的运动进行检测，其中，所述识别单元基于所述运动检测单元所检测到的所述运动来识别所述姿势。所检测到的所述运动来识别所述姿势。所检测到的所述运动来识别所述姿势。

【技术实现步骤摘要】
姿势识别设备及方法、头戴式显示设备和计算机可读介质


[0001]本专利技术涉及用于识别姿势的技术。

技术介绍

[0002]已经提出用于识别利用用户的手或手指等的姿势并根据所识别出的姿势来进行处理的技术。利用这样的技术，使得用户能够在不触摸电子设备(电子设备的输入装置)的情况下通过做出姿势来操作该电子设备。
[0003]在日本特开2015
‑
172887中公开了从通过利用照相机对用户的手或手指等进行摄像而获得的图像中提取用作做出姿势的部位的手、以及指定所提取的手的形状以识别姿势。
[0004]在日本特开2019
‑
71048中公开了将深度学习用于识别姿势。
[0005]然而，诸如用于AR(增强现实)的智能眼镜等的电子设备是便携式的，并且用于各种状况。例如，当由智能眼镜辅助操作时，存在操作场所是黑暗的或者戴着智能眼镜的操作者戴手套的可能性。因此，当由这样的电子设备识别姿势时，取决于电子设备的使用状况，可能无法高精度地识别姿势(姿势的识别变得不稳定)。例如，可能无法高精度地进行关节等(用于识别姿势的关键点)的检测或手等(做出姿势的部位)的形状的指定(识别)等。

技术实现思路

[0006]本专利技术提供了能够在各种状况下高精度地识别姿势的技术。
[0007]本专利技术在其第一方面提供了一种姿势识别设备，包括：部位检测单元，其被配置为从拍摄图像中检测做出姿势的部位；识别单元，其被配置为基于所述部位检测单元所检测到的所述部位的运动来识别所述姿势；区域检测单元，其被配置为从所述部位中检测要用于所述姿势的区域；以及运动检测单元，其被配置为对所述区域检测单元所检测到的所述区域的运动进行检测，其中，所述识别单元基于所述运动检测单元所检测到的所述运动来识别所述姿势。
[0008]本专利技术在其第二方面提供了一种头戴式显示设备，包括：显示控制单元，其被配置为基于上述的姿势识别设备的识别结果来控制显示。
[0009]本专利技术在其第三方面提供了一种姿势识别方法，包括：部位检测步骤，用于从拍摄图像中检测做出姿势的部位；识别步骤，用于基于所述部位检测步骤中所检测到的所述部位的运动来识别所述姿势；区域检测步骤，用于从所述部位中检测要用于所述姿势的区域；以及运动检测步骤，用于对所述区域检测步骤中所检测到的所述区域的运动进行检测，其中，在所述识别步骤中，基于所述运动检测步骤中所检测到的所述运动来识别所述姿势。
[0010]本专利技术在其第四方面提供了一种存储程序的计算机可读介质，所述程序使得计算机用作上述的姿势识别设备的各个单元。
[0011]通过以下参考附图对示例性实施例的描述，本专利技术的进一步的特征将变得明显。
附图说明
[0012]图1是示出姿势识别设备的配置示例的框图；
[0013]图2是示出手和关节的检测示例的图；
[0014]图3A和图3B是用于描述根据姿势的重要区域的示例的图；
[0015]图4是用于描述运动检测单元的检测结果的示例的图；
[0016]图5是示出姿势识别处理的示例的流程图；以及
[0017]图6是用于描述姿势识别处理的示例的图。
具体实施方式
[0018]将描述本专利技术的实施例。图1是示出本实施例中的姿势识别设备101的配置示例的框图。姿势识别设备101具有摄像单元102、系统控制单元103、非易失性存储器104、系统存储器105和姿势识别单元110。
[0019]摄像单元102具有包括多个透镜的光学系统和图像传感器(例如，CCD或CMOS传感器)，并且被布置成面向能够拍摄用户的姿势的图像的方向。在本实施例中使用图像传感器，但是可以仅使用可用于姿势的识别的任何传感器。可以这样使用测距传感器(例如，使用诸如LiDAR(光检测和测距)等的激光的传感器)。
[0020]非易失性存储器104是电可擦除/可记录存储器，并且例如是Flash
‑
ROM等。在非易失性存储器104中，存储系统控制单元103的操作常数或程序等。这里，程序表示例如用于进行将在本实施例中稍后描述的流程图的各个处理的程序。
[0021]系统存储器105例如是RAM等，并且展开系统控制单元103的操作变量或从非易失性存储器104中读取的常数或程序等。
[0022]系统控制单元103是由至少一个处理器或电路构成的控制单元，并控制整个姿势识别设备101。系统控制单元103通过运行上述非易失性存储器104中所存储的程序来实现稍后将描述的流程图的各个处理。系统控制单元103通过将诸如降噪和调整大小等的图像处理应用于从摄像单元102中获得的拍摄图像来生成检测图像，并将该检测图像记录在系统存储器105上。此外，系统控制单元103根据由姿势识别单元110识别出的姿势来进行处理。例如，系统控制单元103生成与所识别出的姿势相对应的控制信号，并使用该控制信号来控制姿势识别设备101的各个单元。
[0023]姿势识别单元110具有对象部位检测单元111、重要区域检测单元112、运动检测单元113和姿势检测单元114，并且基于从摄像单元102中获得的拍摄图像(具体是上述检测图像)来识别姿势。
[0024]将使用图2至图4详细描述姿势识别单元110。图2是示出本实施例中的手和关节的检测示例的图。图3A和图3B是用于描述根据本实施例中的姿势的重要区域的示例的图。图4是用于描述本实施例中的运动检测单元113的检测结果的示例的图。
[0025]图2中所示的图像200是通过将图像处理应用于从摄像单元102中获得的拍摄图像而获得的检测图像。在检测图像200中，反映了做出姿势(姿势操作)的用户的左手211和右手212。图2中所示的图像201是通过将对象部位检测单元111的检测结果叠加在检测图像200上而获得的图像。
[0026]对象部位检测单元111从检测图像200中检测(提取)作为做出姿势的部位(对象部
位)的手和关节。在图2中，针对左手211和右手212中的各个，检测包括手位置(手的位置)和从手腕到各个指尖的21个点的关节位置(关节的位置)的总共22个点的位置。手位置例如是手的中心位置。对象部位检测单元111基于21个点的关节位置来获得关节信息。针对左手211获得手位置221和关节信息231，并且针对右手212获得手位置222和关节信息232。关节信息231和232示出了21个点的关节位置、以及用于将21个点的关节位置连接在一起以形成骨骼框架的多个线段。注意，在本实施例中，用户利用手或手指做出姿势，但是也可以利用他/她的手臂、脚、眼睛或嘴等做出姿势。
[0027]重要区域检测单元112从由对象部位检测单元111检测到的对象部位(手和关节)中检测作为要(主要)用于姿势的区域的重要区域。例如，重要区域检测单元112从由对象部位检测单元111检测到的多个对象部位中，选择作为要(主要)用于姿势的部位的重要部位，并将所选择的重要部位的区域确定为重要区域。重要区域根据姿势的类型而不同。图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿势识别设备，包括：部位检测单元，其被配置为从拍摄图像中检测做出姿势的部位；识别单元，其被配置为基于所述部位检测单元所检测到的所述部位的运动来识别所述姿势；区域检测单元，其被配置为从所述部位中检测要用于所述姿势的区域；以及运动检测单元，其被配置为对所述区域检测单元所检测到的所述区域的运动进行检测，其中，所述识别单元基于所述运动检测单元所检测到的所述运动来识别所述姿势。2.根据权利要求1所述的姿势识别设备，其中，在所述部位检测单元没有检测到所述部位的一部分的情况下，所述识别单元基于所述运动检测单元所检测到的所述运动来识别所述姿势。3.根据权利要求1或2所述的姿势识别设备，其中，所述区域检测单元根据所述识别单元所识别出的所述姿势的类型来改变要检测的区域。4.根据权利要求3所述的姿势识别设备，其中，所述部位检测单元从拍摄图像中检测手，以及在所述识别单元所识别出的所述姿势是捏操作的情况下，所述区域检测单元检测拇指的尖端的区域和食指的尖端的区域。5.根据权利要求3所述的姿势识别设备，其中，所述部位检测单元从拍摄图像中检测手，以及在所述识别单元所识别出的所述姿势是拖动操作的情况下，所述区域检测单元检测食指的尖端的区域。6.根据...

【专利技术属性】
技术研发人员：田中裕树，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：