一种增强现实互动方法、装置、设备及存储介质制造方法及图纸

本公开提供一种增强现实互动方法、装置、电子设备及存储介质，该方法包括：在屏幕上显示虚拟物体，检测手的位置，若检测到所述手的位置与虚拟物体的位置适配，根据手的位置改变虚拟物体的位置。本实施例中，用户可以基于固定的摄像头实现虚拟物体与人手的交互。并且，与带有双目摄像头/深度摄像头的设备相比，本公开实施例使用的摄像头成本低廉。公开实施例使用的摄像头成本低廉。公开实施例使用的摄像头成本低廉。

【技术实现步骤摘要】
一种增强现实互动方法、装置、设备及存储介质


[0001]本说明书涉及增强现实技术，尤其涉及一种增强现实互动方法、装置、设备及存储介质。

技术介绍

[0002]现有技术中，用户在使用增强现实(Augmented Reality，简称AR)软件时需要手持摄像头并持续移动得到现实世界同一个场景在不同视角下的图像。通过场景内同一个特征点在不同视角下的图像坐标，可以反推其三维坐标，根据三维坐标即可在虚拟空间中构建一个与现实世界完全相同的场景，以使计算机能得到场景的三维深度信息。用场景的三维深度信息即可在虚拟空间中生成不同的三维虚拟物体，并通过渲染呈现在屏幕上。
[0003]但此方案需要用户手持同一个摄像头多次移动，并且要求出现在现实场景中的任何物体都是处于固定位置的物体，否则可能会造成计算出的特征点的三维坐标不唯一，导致无法正确在虚拟空间中构建场景。故不适用于固定摄像头的场景，无法实现虚拟物体与人体交互。
[0004]在另一种方案中，可以通过带有双目摄像头/深度摄像头的头戴式设备直接获取场景、人体深度信息，以实现虚拟物体与人体的交互功能。但头戴式设备昂贵，成本高昂。

技术实现思路

[0005]为克服相关技术中存在的问题，本公开提供了一种实现增强现实互动方法、装置、设备及存储介质，无需用户手持同一个摄像头移动，且不需要利用造价高的能采集深度信息的摄像头便可实现AR交互。
[0006]根据本公开实施例的第一方面，本公开提供一种实现增强现实互动的方法，该方法包括：
[0007]在屏幕上显示虚拟物体；
[0008]获取所述摄像头采集的图像；
[0009]识别所述图像中手的位置；
[0010]在所述手的位置与所述虚拟物体的位置适配时，将所述手的位置与所述虚拟物体的位置建立绑定关系；
[0011]在所述手的位置改变时，将所述虚拟物体的位置更新至手当前的位置。
[0012]根据本公开实施例的第二方面，提供一种实现增强现实互动的装置，包括：
[0013]屏幕显示模块，用于显示虚拟物体；
[0014]图像获取模块，用于获取所述摄像头采集的图像；
[0015]手位姿估计模块，用于识别所述图像中手的位置；
[0016]交互模块，用于在所述手的位置与所述虚拟物体的位置适配时，将所述手的位置与所述虚拟物体的位置建立绑定关系；还用于在所述手的位置改变时，将所述虚拟物体的位置更新至手当前的位置。
[0017]根据本公开实施例的第三方面，提供一种实现增强现实互动的设备，包括：
[0018]处理器；
[0019]存储器，用于存储所述处理器可执行指令；
[0020]显示屏，用于显示虚拟物体；
[0021]其中，所述处理器被配置为：根据所述指令执行本公开实施例的第一方面所述方法的步骤。
[0022]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现本公开实施例的第一方面所述方法中的操作。
[0023]本公开通过当手在屏幕上的图像和虚拟物体在屏幕上的图像位置重合时，将手的位置和虚拟物体的位置绑定到一起，在手的位置改变时，使得虚拟物体的位置能够跟随手当前的位置变化，从而实现了虚拟物体与手互动的功能。并且，由于无需在虚拟空间中构建一个与现实世界完全相同的场景，所以无需获取现实世界同一场景在不同视角下的图像，也就无需用户手持摄像头进行移动拍摄，适用于摄像头位置固定的场景。此外，本方案并不依赖深度信息，因此适用于大多数摄像头，和需要使用双目摄像头/深度摄像头的方案相比，本方案成本低廉。
[0024]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
[0025]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
[0026]图1是根据本公开实施例示出的一种实现增强现实互动的方法的流程示意图；
[0027]图2是根据本公开实施例示出的最小外接矩形算法的流程示意图；
[0028]图3是根据本公开实施例示出的一种建立虚拟相机坐标系的方法的示意图；
[0029]图4是根据本公开实施例示出的透视投影变换的视锥体的示意图；
[0030]图5是图4所示的实施例中最小外接矩形中的物体在虚拟空间和图像中对应关系的示意图；
[0031]图6是根据本公开实施例示出的手位姿估计法的流程示意图；
[0032]图7是根据本公开实施例示出的动作状态机的流程示意图；
[0033]图8是根据本公开实施例示出的用户实际使用时的的示意图；
[0034]图9是根据本公开实施例示出的一种实现增强现实互动的装置的结构框图；
[0035]图10是根据本公开实施例示出的一种实现增强现实互动的设备的结构框图。
具体实施方式
[0036]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
[0037]在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明
书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0038]应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0039]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
[0040]在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0041]应当理解，尽管在本说明书可能采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实互动方法，其特征在于，包括：在屏幕上显示虚拟物体；获取摄像头采集的图像；识别所述图像中手的位置；在所述手的位置与所述虚拟物体的位置适配时，将所述手的位置与所述虚拟物体的位置建立绑定关系；在所述手的位置改变时，将所述虚拟物体的位置更新至手当前的位置。2.根据权利要求1所述的方法，其特征在于，识别所述图像中手的位置的步骤包括：对所述图像中的手进行位姿估计，以识别出所述手的位置。3.根据权利要求2所述的方法，其特征在于，所述图像为2D图像，对所述图像中的手进行位姿估计的步骤包括：从所述图像中识别出所述手的2D关键点；基于所述2D关键点获得所述手的手指转角；基于所述手的2D关键点、所述手指转角以及预设的标准手部模型，生成虚拟的手部3D图像；确定所述3D图像中与所述2D关键点对应的3D关键点；将所述3D关键点连接成3D骨架；将所述3D骨架重新渲染成手的2D重投影关键点图像；根据所述2D重投影关键点图像的坐标确定所述手的位置。4.根据权利要求3所述的方法，其特征在于，所述确定所述手的位置与所述虚拟物体的位置适配的步骤包括：根据所述2D重投影关键点图像和虚拟物体在屏幕上的投影图像是否重合确定所述手的位置与所述虚拟物体的位置适配。5.根据权利要求4所述的方法，其特征在于，所述确定所述手的位置与所述虚拟物体的位置适配的步骤，还包括：计算所述手的2D重投影关键点与所述手的2D关键点的距离；在所述距离不小于预设值的情况下，重新渲染所述3D骨架，以使新的手的2D重投影关键点图像与所述手的2D关键点的距离不大于所述预设值；根据所述新的手的2D重投影关键点图像和虚拟物体在屏幕上的投影图像是否重合确定所述手的位置与所述虚拟物体的位置适配。6.根据权利要求5所述的方法，其特征在于，所述重新渲染所述手部3D骨架，包括：获取预设的M、V、P参数，其中，所述M参数是用于对所述虚拟的手部3D骨架进行模型变换，所述V参数是用于对所述进行模型变换后的虚拟的手部3D骨架进行视图变换，所述P参数是用于对所述进行视图变换后的虚拟的手部3D骨架进行投影变换；调整所述V参数；根据所述M、P参数以及所述调整后的V参数重新渲染所述虚拟的手部3D骨架。7.根据权利要求6所述的方法，其特征在于，所述在屏幕上显示虚拟物体，包括：在虚拟空间中生成所述虚拟物体的3D模型；将所述虚拟物体的3D模型渲染成2D图像；
在所述屏幕上显示所述虚拟物体的2D图像。8.根据权利要求7所述的方法，其特征在于，所述将所述虚拟物体的3D模型渲染成2D图像，包括：通过最小外接矩形算法将所述虚拟物体的3D模型渲染成2D图像。9.根据权利要求8所述的方法，其特征在于，所述通过最小外接矩形算法渲染所述虚拟物体的3D模型的步...

【专利技术属性】
技术研发人员：林哲，韩欣彤，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：