一种增强现实交互方法、装置及系统制造方法及图纸

本发明专利技术公开了一种增强现实交互方法、装置及系统。方法包括：接收增强现实客户端采集的现实环境的图像信息；基于图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端，以形成AR融合场景；确定AR融合场景中用户手指与虚拟物体的接触点；控制增强现实客户端向力反馈手套发送相应的反馈力度信息，以使力反馈手套根据反馈力度信息向用户手指反馈相应的作用力，其中，作用力关联虚拟物体上与用户手指接触的接触点的材质类型。本发明专利技术在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感。

【技术实现步骤摘要】
一种增强现实交互方法、装置及系统
本专利技术实施例涉及增强显示
，尤其涉及一种增强现实交互方法、装置及系统。
技术介绍
增强现实(AugmentedReality，简称AR)也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的
技术实现思路
，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。当前在增强现实技术中，已实现的交互方式有：手势识别、语音交互、凝视交互、手柄交互，如Hololens、MagicLeap。但手势识别、凝视交互、手柄交互都只能为体验者提供一个视觉结果，体验者只能进行视觉上的交互体验，无法与视觉结果再进行具有物理感知的交互，所以基于目前的增强现实技术无法带给体验者较强的沉浸感，体验者始终处于非自然人机交互状态，同时也限制了AR设备在不同应用场景之下的应用能力。
技术实现思路
本专利技术提供一种增强现实交互方法、装置及系统，在用户与虚拟物体交互时，通过力反馈手套向用户手指反馈相应的作用力，使得用户在交互的过程中能够感受到真实的物理反馈，增强用户的交互沉浸感，使得交互更加贴近真实世界的自然交互。第一方面，本专利技术实施例提供了一种增强现实交互方法，包括：接收增强现实客户端采集的现实环境的图像信息；基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；确定所述AR融合场景中用户手指与所述虚拟物体的接触点；控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。可选的，所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点，包括：基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。可选的，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：基于三角测量算法确定用户手指至增强现实客户端的第一向量；基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。可选的，所述增强现实交互方法，还包括：预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。可选的，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。第二方面，本专利技术实施例还提供了一种增强现实交互装置，该装置包括：接收模块，用于接收增强现实客户端采集的现实环境的图像信息；注册模块，用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；接触点确定模块，用于确定所述AR融合场景中用户手指与所述虚拟物体的接触点；反馈力度信息发送模块，用于控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。可选的，所述接触点确定模块包括：接触点确定模块单元，用于基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。可选的，所述装置还包括：第一向量确定模块，用于在确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，基于三角测量算法确定用户手指至增强现实客户端的第一向量；位置信息确定单元，用于基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。可选的，所述装置还包括：映射关系建立模块，用于预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。可选的，所述装置还包括：目标对象确定模块，用于在确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。第三方面，本专利技术实施例还提供了一种增强现实交互系统，包括：云端服务器、增强现实客户端以及力反馈手套；所述增强现实客户端与所述云端服务器无线连接，用于采集现实环境的图像信息，并上传给所述云端服务器；所述云端服务器用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；以及确定所述AR融合场景中用户手指与所述虚拟物体的接触点，并控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息；所述力反馈手套与所述增强现实客户端无线连接，用于在接收到所述反馈力度信息时，根据所述反馈力度信息向所述用户手指反馈相应的作用力，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。可选的，所述增强现实客户端包括：显示组件，用于显示虚拟物体；图像采集组件，用于采集现实环境的图像信息；第一通讯组件，用于与所述云端服务器无线连接，所述第一通讯组件包括5G通信模组或WIFI通信模组；第二通讯组件，用于与所述力反馈手套无线连接，所述第二通讯组件包括蓝牙通信模组。可选的，所述力反馈手套包括：第三通讯组件，所述第三通讯组件用于与所述增强现实客户端无线连接，所述第三通讯组件包括蓝牙通信模组；驱动器，所述驱动器用于根据所述第三通讯组件接收到的反馈力度信息，驱动力反馈执行组件；力反馈执行组件，用于在所述驱动器的驱动下，向所述用户手指反馈作用力。可选的，所述力反馈执行组件设置于所述力反馈手套的指腹位置，包括：电磁铁，所述电磁铁与所述驱动器电连接；铁磁体，与所述电磁铁相对设置；缓冲片，设置于所述电磁铁和所述铁磁体之间。本专利技术实施例提供的增强现实交互方法，基于接收到的图像信息中的特征标记实现虚拟物体的注册，并将虚拟物体的信息发送给增强现实客户端，以形成AR融合场景，确定AR融合场景中用户手指与虚拟物体的接触点，控制增强现实客户端向力反馈手套发送相应的反馈力度信息，以使力反馈手套根据反馈力度信息向用户手指反馈相应的作用力，其中，作用力关联虚拟物体上与用户手本文档来自技高网...

【技术保护点】
1.一种增强现实交互方法，其特征在于，包括：/n接收增强现实客户端采集的现实环境的图像信息；/n基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；/n确定所述AR融合场景中用户手指与所述虚拟物体的接触点；/n控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。/n

【技术特征摘要】
1.一种增强现实交互方法，其特征在于，包括：
接收增强现实客户端采集的现实环境的图像信息；
基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
控制所述增强现实客户端向力反馈手套发送相应的反馈力度信息，以使所述力反馈手套根据所述反馈力度信息向所述用户手指反馈相应的作用力，其中，所述作用力关联所述虚拟物体上与所述用户手指接触的接触点的材质类型。


2.根据权利要求1所述的增强现实交互方法，其特征在于，所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点，包括：
基于所述虚拟物体和所述用户手指在所述AR融合场景中的位置信息，确定所述用户的手指与所述虚拟物体接触时的接触点。


3.根据权利要求2所述的增强现实交互方法，其特征在于，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：
基于三角测量算法确定用户手指至增强现实客户端的第一向量；
基于所述第一向量和所述增强现实客户端在AR融合场景中的坐标向量，确定所述用户手指在所述AR融合场景中的位置信息。


4.根据权利要求1所述的增强现实交互方法，其特征在于，还包括：
预先建立所述虚拟物体的材质种类与所述反馈力度信息的映射关系。


5.根据权利要求1所述的增强现实交互方法，其特征在于，在所述确定所述AR融合场景中用户手指与所述虚拟物体的接触点之前，还包括：
基于所述虚拟物体的几何信息和预设的可交互对象的几何信息的匹配度，确定所述虚拟物体为可交互的目标对象。


6.一种增强现实交互装置，其特征在于，包括：
接收模块，用于接收增强现实客户端采集的现实环境的图像信息；
注册模块，用于基于所述图像信息中的特征标记实现虚拟物体的注册，并将所述虚拟物体的信息发送给所述增强现实客户端，以形成AR融合场景，所述虚拟物体的信息包括所述虚拟物体的几何信息和位置信息；
接触点确定模块，用于确定所述AR融合场景中用户手指与所述虚拟物体的接触点；
反馈...

【专利技术属性】
技术研发人员：陈嘉樑，田奥妮，
申请(专利权)人：广州大西洲科技有限公司，
类型：发明
国别省市：广东;44