适用于实物的增强现实交互方法、装置及存储介质制造方法及图纸

一种适用于实物的增强现实交互方法、装置及存储介质，交互方法包括以下步骤：在增强现实设备呈现的虚实混合空间中，选择用于交互的真实物体；虚拟紧包裹真实物体，建立虚拟包裹体；真实物体各功能区对应虚拟包裹体各部分；标注虚拟包裹体各部分，定义各部分的交互方式和内容，以同样的方式标注其他真实物体；用户与虚实混合空间中的真实物体交互，实际上交互事件落在真实物体的虚拟包裹体上，根据预先定义的各部分的交互形式和内容进行反馈。本发明专利技术交互方法能让用户随时随地与所处环境中的真实物体建立交互关系，方便地将真实物体纳入虚实混合空间中进行交互，在物体被移动时虚拟包裹体根据手的碰撞响应与真实物体一同移动自动保持可交互关系。动保持可交互关系。动保持可交互关系。

【技术实现步骤摘要】
适用于实物的增强现实交互方法、装置及存储介质


[0001]本专利技术属于增强现实交互
，具体涉及一种适用于实物的增强现实交互方法、装置及存储介质。

技术介绍

[0002]增强现实设备可以在现实世界中呈现出一些虚拟的全息投影，和真实物体相互叠加后，在用户视野中呈现一个虚实结合的场景。同时，增强现实设备还提供了多种交互方式：语音交互，使用语音指令作为输入，使场景中的物体发生相应的变化；手势交互，提供多种手势进行物体移动，点击等操作；眼动交互，用于根据眼动行为触发相应的动作。但是这些方式都是用于和虚拟物体进行交互，无法做到和真实物体进行有效的自然交互。虽然增强现实设备能够检测到环境中的真实物体，但是仅仅获得了以三角面片形式呈现的物体轮廓，还无法有效分割出单个物体并得到该物体的描述信息。这也导致了用户无法和真实物体进行交互。
[0003]然而用户在日常生活中和实物的接触非常频繁，所以很有必要设计出一些实用的交互方法使得用户在与真实物体的交互过程中获得更丰富的反馈从而辅助用户更好地完成某些任务。例如，用户常常会忘记某些物品的摆放位置，在寻找过程中浪费大量时间，需要有一种提示的方法来提醒用户；又如对于一些操作困难，对操作步骤顺序有严格要求的物体，需要对操作的步骤和方法进行提示；对于有危险性的物品，需要有一些警示的标志等等。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术中难以使用增强现实设备建立用户与真实物体交互关系的问题，提供一种适用于实物的增强现实交互方法、装置及存储介质，通过引入虚拟物体，使之与真实物体在增强现实系统的虚实空间中基本重合，并以它为媒介实现用户与实物间的数字化交互，让用户可以使用语音、手势、眼动等交互方式与真实物体进行交互，在交互过程中获得更加丰富的反馈，得到更多的辅助提示信息，辅助用户完成相应的任务。
[0005]为了实现上述目的，本专利技术有如下的技术方案：
[0006]第一方面，本专利技术实施例提供一种适用于实物的增强现实交互方法，包括以下步骤：
[0007]在增强现实设备呈现的虚实混合空间中，选择用于交互的真实物体；
[0008]对真实物体进行虚拟紧包裹，建立虚拟包裹体；
[0009]对虚拟包裹体各个部分的交互方式和交互内容进行标注；按照真实物体功能区的划分，把虚拟包裹体分成多个部分，每一部分对应于该部分所包裹真实物体的一个功能区；根据真实物体各个功能区需要提供的交互方式和交互内容，对虚拟包裹体各个部分的交互方式和交互内容进行标注；以同样的方式对在增强现实设备呈现的虚实混合空间中需要交
互的其他真实物体都进行虚拟紧包裹和虚拟包裹体标注；标注完成后，将所有虚拟包裹体设置为不可见，同时将虚拟包裹体的状态设置为可响应各种增强现实交互行为的主动响应状态；
[0010]在增强现实设备呈现的虚实混合空间中，主观上从360
°
全方位的与被虚拟包裹的真实物体进行交互，客观的交互事件实际落在不可见的虚拟包裹体各个部分上，根据已标注的虚拟包裹体各个部分的交互方式和交互内容，用增强现实或实际响应的方式提供交互反馈。
[0011]作为本专利技术增强现实交互方法的一种优选方案，所述对真实物体进行虚拟紧包裹包括以下方式：通过对真实物体的三维扫描获得其虚拟三维模型用于包裹真实物体；或者选择虚拟模型库中的相似虚拟物体用于包裹真实物体，或者使用若干规则或不规则的虚拟几何体包裹真实物体的各个功能区，虚拟几何体的形状包括长方体、圆柱体、圆锥、棱锥、球体、椭球体、半球体，多面体中的任意一种或者任意几种的组合体；在增强现实设备呈现的虚实混合空间中，对用于包裹的虚拟物体进行移动、缩放、旋转以及进行包括扭转、局部拉伸或压缩在内变形，使之完全包裹真实物体，并且使得虚拟物体的体积尽可能小，从而建立该真实物体的虚拟包裹体。
[0012]作为本专利技术增强现实交互方法的一种优选方案，所述按照真实物体功能区的划分，把虚拟包裹体分成多个部分，包括用增强现实设备呈现的虚实混合空间中的虚拟平面，或虚拟曲面对虚拟包裹体按照真实物体的功能区进行切分，或将虚拟包裹体的组成部分进行分组，使虚拟包裹体各部分紧包裹与之对应的真实物体的各个功能区。
[0013]作为本专利技术增强现实交互方法的一种优选方案，所述的真实物体各个功能区需要提供的交互方式和交互内容为：交互方式包括手势交互、眼动交互和语音交互、或者增强现实设备支持的其他物体选择方式；交互内容包括真实物体各个功能区的相关辅助提示信息和真实物体实际功能的直接操作。
[0014]作为本专利技术增强现实交互方法的一种优选方案，所述客观的交互事件实际落在不可见的虚拟包裹体各个部分上是指：在增强现实设备呈现的虚实混合空间中，手势交互为手触碰真实物体的虚拟包裹体、手掌发出射线与真实物体的虚拟包裹体相交，眼动交互为视线与真实物体的虚拟包裹体相交，语音交互为说出真实物体各个功能区的名称或别名，或者增强现实设备支持的其他物体选择方式碰触真实物体的虚拟包裹体。
[0015]作为本专利技术增强现实交互方法的一种优选方案，所述的交互是指：当用户在增强现实设备呈现的虚实混合空间中，各种交互方式与虚拟包裹体的一个组成部分的每一次碰撞，就产生一个交互事件，根据该组成部分对应的真实物体的功能区，确定交互内容，做出交互反馈；其中，如果真实物体的功能区对应的虚拟包裹体的部分是规则或者不规则的虚拟几何体的组合体，只要该组合体中的任意一个部分收到交互事件，则整个组合体共享该交互事件，共同做出交互反馈。
[0016]作为本专利技术增强现实交互方法的一种优选方案，所述用增强现实或实际响应的方式提供交互反馈为：向用户提供交互提示、信息反馈和真实物体直接操作；交互提示包括交互位置附近显示虚拟三维窗体或指示牌，或收到交互事件的虚拟包裹体相应部分由不可见转为可见，以告知用户该真实物体可交互并提示交互方式；信息反馈包括显示真实物体各个功能区的状态信息、功能介绍及其他相关信息；真实物体直接操作为触发相应真实物体
功能区或真实物体整体所具有的实际功能进行响应；在真实物体被移动时，虚拟包裹体可根据手的碰撞响应与真实物体一同移动，从而自动保持与真实物体的包裹关系。
[0017]第二方面，本专利技术实施例提供一种适用于实物的增强现实交互装置，包括：
[0018]增强现实设备模块：用于获取虚拟包裹体的位置信息、用户双手的位置信息、用户头部位置信息和眼动数据；提供多种交互方式；获取场景中用户与虚拟包裹体的碰撞信息，显示对应的辅助提示信息，并进行对应虚拟包裹体的高亮显示；
[0019]系统组件模型库：提供用于框取真实物体的虚拟包裹体模型或者规则与不规则的虚拟几何体，以及用于显示对应真实物体标注信息的辅助信息显示器；
[0020]手势交互模块：用于移动虚拟包裹体的位置，调整虚拟包裹体大小，使之与能够完全包裹真实物体，并且体积尽可能小；选择需要查看辅助提示信息的物体；用户移动场景中的真实物体的过程中附带移动对应的虚拟物体，保持该物体的可交互状态；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于实物的增强现实交互方法，其特征在于，包括以下步骤：在增强现实设备呈现的虚实混合空间中，选择用于交互的真实物体；对真实物体进行虚拟紧包裹，建立虚拟包裹体；对虚拟包裹体各个部分的交互方式和交互内容进行标注；按照真实物体功能区的划分，把虚拟包裹体分成多个部分，每一部分对应于该部分所包裹真实物体的一个功能区；根据真实物体各个功能区需要提供的交互方式和交互内容，对虚拟包裹体各个部分的交互方式和交互内容进行标注；以同样的方式对在增强现实设备呈现的虚实混合空间中需要交互的其他真实物体都进行虚拟紧包裹和虚拟包裹体标注；标注完成后，将所有虚拟包裹体设置为不可见，同时将虚拟包裹体的状态设置为可响应各种增强现实交互行为的主动响应状态；在增强现实设备呈现的虚实混合空间中，主观上从360
°
全方位的与被虚拟包裹的真实物体进行交互，客观的交互事件实际落在不可见的虚拟包裹体各个部分上，根据已标注的虚拟包裹体各个部分的交互方式和交互内容，用增强现实或实际响应的方式提供交互反馈。2.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述对真实物体进行虚拟紧包裹包括以下方式：通过对真实物体的三维扫描获得其虚拟三维模型用于包裹真实物体；或者选择虚拟模型库中的相似虚拟物体用于包裹真实物体，或者使用若干规则或不规则的虚拟几何体包裹真实物体的各个功能区，虚拟几何体的形状包括长方体、圆柱体、圆锥、棱锥、球体、椭球体、半球体，多面体中的任意一种或者任意几种的组合体；在增强现实设备呈现的虚实混合空间中，对用于包裹的虚拟物体进行移动、缩放、旋转以及进行包括扭转、局部拉伸或压缩在内变形，使之完全包裹真实物体，并且使得虚拟物体的体积尽可能小，从而建立该真实物体的虚拟包裹体。3.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述按照真实物体功能区的划分，把虚拟包裹体分成多个部分，包括用增强现实设备呈现的虚实混合空间中的虚拟平面，或虚拟曲面对虚拟包裹体按照真实物体的功能区进行切分，或将虚拟包裹体的组成部分进行分组，使虚拟包裹体各部分紧包裹与之对应的真实物体的各个功能区。4.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述的真实物体各个功能区需要提供的交互方式和交互内容为：交互方式包括手势交互、眼动交互和语音交互、或者增强现实设备支持的其他物体选择方式；交互内容包括真实物体各个功能区的相关辅助提示信息和真实物体实际功能的直接操作。5.根据权利要求1所述适用于实物的增强现实交互方法，其特征在于，所述客观的交互事件实际落在不可见的虚拟包裹体各个部分上是指：在增强现实设备呈现的虚实混合空间中，手势交互为手触碰真实物体的虚拟包裹体、手掌发出射线与真实物体的虚拟包裹体相交，眼动交互为视...

【专利技术属性】
技术研发人员：蔡忠闽，金瑞达，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：