响应于检测到的手势的非接触式照片捕获制造技术

本公开描述了用于响应于由眼戴设备正利用其相机系统捕获视频数据帧时检测到的手势来捕获静态图像的示例性系统、设备、介质和方法。定位系统确定该眼戴器相对于物理环境的位置。图像处理系统检测该视频数据中的手形，并确定该检测到的手形是与边框手势匹配还是与快门手势匹配。响应于边框手势，该系统建立限定待捕获的静态图像的边框。响应于快门手势，该系统从该视频数据帧中捕获静态图像。该系统确定相对于该物理环境的快门手势位置。在该显示器上在该快门手势位置处或附近呈现该捕获的静态图像，使得该静态图像看起来相对于该物理环境被锚定。该捕获的静态图像能够由使用该图像捕获系统的其他设备查看。图像捕获系统的其他设备查看。图像捕获系统的其他设备查看。

【技术实现步骤摘要】
【国外来华专利技术】响应于检测到的手势的非接触式照片捕获
相关申请的交叉引用
[0001]本申请要求于2020年9月28日提交的美国申请序列号17/034,865的优先权，该申请的内容全文以引用方式并入本文。


[0002]本公开中阐述的示例涉及增强现实(AR)和可穿戴电子设备诸如眼戴设备领域。更具体地，但不作为限制，本公开描述了增强现实中手势的实时跟踪和虚拟对象的显示。

技术介绍

[0003]当今可用的许多类型的计算机和电子设备诸如移动设备(例如，智能电话、平板电脑和膝上型电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和图形用户界面(GUI)，用户可通过这些部件与显示内容交互。
[0004]增强现实(AR)将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。
附图说明
[0005]从以下参考附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种响应于用眼戴设备检测到的手势而捕获静态图像的方法，所述眼戴设备具有用于观察佩戴者视场的一部分的观察区域、具有部分地在所述佩戴者视场上延伸的相机视场的相机系统、图像处理系统、定位系统以及显示器，所述方法包括：利用所述相机系统捕获视频数据帧，其中每个视频数据帧包括多个像素的深度信息；利用所述定位系统确定相对于物理环境的眼戴器位置；利用所述图像处理系统在所捕获的视频数据帧中检测手形；确定第一帧中的所检测到的手形是否与快门手势匹配；以及在与所述第一帧相关联的所述视频数据的捕获帧内捕获静态图像。2.根据权利要求1所述的方法，还包括：响应于所检测到的快门手势，在所述显示器上呈现指示符；利用所述定位系统确定相对于所述物理环境的快门手势位置，其中所述快门手势位置与匹配所述快门手势的所检测的手形相关联；以及在所述显示器上在所述快门手势位置附近呈现所捕获的静态图像，使得所述静态图像看起来相对于所述物理环境被锚定。3.根据权利要求2所述的方法，还包括：广播所捕获的静态图像和所述快门手势位置，使得所捕获的静态图像能够由根据所述方法正在捕获本地视频数据帧的其他设备查看。4.根据权利要求1所述的方法，还包括：确定第二帧中的所检测到的手形是否与边框手势匹配；利用所述定位系统确定相对于所述物理环境的边框手势位置，其中所述边框手势位置与匹配所述边框手势的所检测到的手形相关联；以及在所述显示器上呈现第一边框，所述第一边框根据所述边框手势位置来定位并且根据所检测到的手形来设定大小；其中所述捕获静态图像的过程还包括捕获在所述第一边框内并且由所述第一边框限定的静态图像。5.根据权利要求4所述的方法，还包括：检测所述视频数据帧中的后续手形；确定后续帧中的所检测到的后续手形是否与所述边框手势匹配；确定相对于所述物理环境的后续边框手势位置；在所述显示器上呈现后续边框，所述后续边框根据所述后续边框手势位置来定位并且根据所检测到的后续手形来设定大小；检测视频数据空帧，其中所述空帧的特征在于没有边框手势；以及响应于检测到所述空帧，固定所述后续边框相对于所述显示器的所述位置和大小。6.根据权利要求4所述的方法，其中所述快门手势是食指的远端与拇指的远端接触，所述边框手势是所述食指的所述远端与所述拇指分开。7.根据权利要求1所述的方法，其中所述在捕获帧内捕获静态图像的步骤还包括：选择视频数据帧的子集，所述视频数据帧的子集包括紧接在所述第一帧之前和之后的一个或多个帧；确定在所述帧的子集中的每个帧中是否存在所检测到的手形
确定所述帧的子集中的哪些帧包括所检测到的手形的图像；从所述子集中选择所述捕获帧，使得所述捕获帧不包括所检测到的手形的所述图像。8.一种图像捕获系统，包括：眼戴设备，所述眼戴设备包括处理器、存储器、图像处理系统、定位系统和显示器；所述存储器中的程序，其中由所述处理器执行所述程序将所述眼戴设备配置为执行功能，包括用于以下的功能：利用所述相机系统捕获视频数据帧，其中每个视频数据帧包括多个像素的深度信息；利用所述定位系统确定相对于物理环境的眼戴器位置；利用所述图像处理系统在所捕获的视频数据帧中检测手形；确定第一帧中的所检测到的手形是否与快门手势匹配；以及在与所述第一帧相关联的所述视频数据的捕获帧内捕获静态图像。9.根据权利要求8所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：响应于所检测到的快门手势，在所述显示器上呈现指示符；利用所述定位系统确定相对于所述物理环境的快门手势位置，其中所述快门手势位置与匹配所述快门手势的所检测的手形相关联；以及在所述显示器上在所述快门手势位置附近呈现所捕获的静态图像，使得所述静态图像看起来相对于所述物理环境被锚定。10.根据权利要求9所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：广播所捕获的静态图像和所述快门手势位置，使得所捕获的静态图像能够由根据所述图像捕获系统捕获本地视频数据帧的其他设备查看。11.根据权利要求8所述的系统，其中所述程序的所述执行进一步将所述眼戴设备配置为：确定第二帧中的所检测到的手形是否与边框手势匹配；利用所述定位系统确定相对于所述物理环境的边框手势位置，其中所述边框手势位置与匹配所述边框手势的所检测到的手形相关联；以及在所述显示器上呈现第一边框，所述第一边框根据所述边框手势位置来定位并且...

【专利技术属性】
技术研发人员：伊尔泰里斯，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：