一种甲骨文增强现实内容交互系统、方法、设备及终端技术方案

本发明专利技术属于电子信息技术与增强现实交互设计技术领域，公开了一种甲骨文增强现实内容交互系统、方法、设备及终端，感知和测量用户，虚拟平面和真实识别物动态的矢量信息，以及获取环境图像信息；依据环境图像信息与传感器数据，识别并建立虚拟平面，识别真实识别物的的特征，依据真实识别物的动态位置特征和对应关系为用户动态匹配所述用户权限下的用户交互方式和虚拟内容；动态匹配的用户交互权限和虚拟内容进行显示，并实时显示交互反馈。本发明专利技术通过识别物与模型的匹配关系触发对应的交互权限，使用户在增强现实内容的注册环节就有积极的反馈和丰富的交互，提升用户的探索兴趣，提高知识传播效果和交互体验。

【技术实现步骤摘要】
一种甲骨文增强现实内容交互系统、方法、设备及终端
本专利技术属于电子信息技术与增强现实交互设计
，尤其涉及一种甲骨文增强现实内容交互系统、方法、设备及终端。
技术介绍
近年来，随着信息技术的日趋低成本和多样化。数字化教育，移动学习和普世学习等技术支持下的教育应用和相关研究呈现的极大的研究和发展前景。其中以虚拟现实为首的多媒体技术以其极强的可塑性和沉浸特点，在新型技术辅助学习的研究中日趋热门，增强现实(AugmentedReality，简称AR)作为虚拟现实(VirtualReality，简称VR)的延伸有更好的实用性和更低的成本，符合科普宣传教育大面积普适的特点。而甲骨文为作为我国最古老的可考文字之一，有着极高的历史学和社会学价值，同时也是是中华悠久历史文化的符号之一。作为中华文化的根脉，甲骨学在公共知识领域需要有更好的科普传播方式，来促使其基本知识走进社会常识的范畴。因此，设计研究一种以增强现实技术支持下的甲骨文线上学习系统，同时提出设计增强现实内容注册呈现与交互的一种新方法，可以有效的促进增强现实作为教育媒介的趣味性，改善用户体验。增强现实技术是一个具有良好交互性和沉浸感的内容展示媒介，但与多样化的增强现实数字模型和多媒体内容相比，用户在最初扫描定位目标情境来获取注册数字内容的交互方式过于单一缺乏互动。现有的交互方式都是以用户的扫描和注册提示开始，用户按照提示扫面目标或者环境，在获取到拍摄画面并识别到目标真实情境数据后，直接显示或者提示用户单次点击交互后，生成虚拟互动内容和交互模型图像。该传统流程的交互十分单薄，用户在虚拟内容和图像注册展示之前对内容和互动系统的主体缺乏了解。同时作为用户使用增强现实系统的第一步，用户的注意力和好奇心最为集中，而上述交互方法没有充分利用这一环节向用户传达系统的任何主题和内容信息。没能将信息传播最大化，作为学习系统时，忽略了最关键的导入环节，使得用户的好奇心和注意力没有被有效唤起，大大降低了增强现实作为教育媒介所带来的积极效果。现有的AR交互系统的终端设备包括MR眼睛和拥有SLAM识别能力智能手机设备。而作为传播以甲骨文为载体的中华传统知识，想要对大众公共知识领域产生一定的影响，就需要具备低成本和普世的特征，而鉴于智能手机极高的普及率和较低的成本，其作为增强现实甲骨文线上学习体验系统的必要性是显著的。而基于该终端的甲骨文增强现实教科系统本身的缺乏同类产品，而移动终端同类利用增强现实的教育产品更没有考虑充分利用用户心理和注意力的虚拟内容交互和注册方法。申请号为CN201910958721.6的专利申请了关注博物馆场景下的数字内容呈现和互动方法，提出了具有一定参考价值的利用展品和用户距离的交互机制，但没有对增强现实注册的互动给予关注。申请号为CN201911130116.6的专利提出了一种基于AR的交互方法、装置、存储介质及电子设备，其中的交互注册焦距与互动的真实主题，数字内容的产生也是基与目标物识别的瞬间触发。申请号为CN202011194034.0的专利提出了获取场景尺度信息的利用方法，其中，场景尺度信息用于表征第一客户端的增强现实空间所表现的现实环境的尺寸信息根据场景尺度信息和参考尺度信息，确定虚拟物体的显示尺度信息，该专利的场景尺寸数据仅仅作用与虚拟物体的尺寸校准，而没有考虑将尺寸信息作为注册过程中的交互的一种手段。因此，亟需一种新的甲骨文增强现实内容交互系统及方法。通过上述分析，现有技术存在的问题及缺陷为：(1)与多样化的增强现实数字模型和多媒体内容相比，用户在最初扫描定位目标情境来获取注册数字内容的交互方式过于单一缺乏互动。(2)现有的交互方式十分单薄，用户在虚拟内容和图像注册展示之前对内容和互动系统的主体缺乏了解。(3)现有交互方法没有充分利用第一环节向用户传达系统的任何主题和内容信息，没能将信息传播最大化，作为学习系统进行应用时，忽略了最关键的导入环节，使得用户的好奇心和注意力没有被有效唤起，大大降低了增强现实作为教育媒介所带来的积极效果。(4)基于线上的的甲骨文增强现实教科系统本身的缺乏同类产品，而移动终端同类利用增强现实的教育产品更没有考虑充分利用用户心理和注意力的虚拟内容交互和注册方法。(5)现有交互机制没有对增强现实注册的互动给予关注，且仅仅作用与虚拟物体的尺寸校准，而没有考虑将尺寸信息作为注册过程中的交互的一种手段。解决以上问题及缺陷的难度为：针对上述交互目的的解决方案需要考虑现有一般设备的计算能力，为了保证良好的体验，交互设计需要巧妙的结合实际内容的具体需要，否则交互行为将会变得冗长。对系统数据的使用需要与现实物理环境下用户的情况匹配，否则增强现实内容与现实环境容易产生脱节，使得用户在使用中产生困惑等不良体验，降低用户的交互意愿。甲骨文知识作为软件内容设计时，需要对甲骨文元素进行再设计，以符合用户的需求，甲骨学内容繁杂，体量庞大，能否合理的梳理其知识脉络并将其结合在现有的交互行为中将是交互系统设计的关键。解决以上问题及缺陷的意义为：通过对增强现实内容注册方式及其伴随的交互行为的创新设计。丰富了增强现实的交互设计的可能方式，拓展了基于增强现实技术的交互设计思路，延长了用户使用增强现实系统的时间，增加了用户与虚拟现实内容交互的可能性，改善了用户交互体验。针对该交互环节的关注和创新还拓宽了增强现实技术在各行业可能的应用范围，特别是为增强现实技术在教育领域的应用，提供创新指导和借鉴。结合甲骨文的应用，传播弘扬了我国传统文化，改善了大众对传统文化的认知，以一种新兴的方式向大众普及传统文化知识，符合国家文化强国建设的战略方向。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种甲骨文增强现实内容交互系统、方法、设备及终端，尤其涉及一种基于识别物与虚拟模型距离和匹配关系的甲骨文增强现实内容交互系统、方法、设备及终端，旨在解决现有交互中忽视的问题和缺少利用的环节。本专利技术是这样实现的，一种甲骨文增强现实内容交互方法，所述甲骨文增强现实内容交互方法包括以下步骤：步骤一，设备开启摄像机，提示用户对于真实世界的三维平面进行缓慢扫描，建立环境特征锚点的坐标信息；获取用户动态位置，并根据数据渲染图像；获取用户周围的环境信息数据，为下一步虚拟模型的建立以及伴随着虚拟模型的触发模型坐标数据作准备。步骤二，依据用户点击屏幕的射线位置在平面放置虚拟模型，提示用户扫描手中真实识别物，根据图像识别特征计算与平面相对位置，动态保存坐标信息；为用户提供交互行为，确定虚拟模型坐标位置，读取识别物位置数据，促进用户进行移动交互。步骤三，根据虚拟模型与真实识别物的距离，以及用户动态位置建立以该虚拟模型为中心的触发模型；依据虚拟模型与真实识别物的距离，以及真实识别物与虚拟模型的匹配关系设置用户的交互权限；核心行为，引导用户交互，使得用户获得新奇体验同时作为后续内容的展示依据。步骤四，依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限，动态的匹配用户该权限下的交互方式，并判断真实识别物与虚本文档来自技高网...

【技术保护点】
1.一种甲骨文增强现实内容交互方法，其特征在于，所述甲骨文增强现实内容交互方法包括：/n设备开启摄像机，提示用户对于真实世界的三维平面进行缓慢扫描，建立环境特征锚点的坐标信息；获取用户动态位置，并根据数据渲染图像；/n依据用户点击屏幕的射线位置在平面放置虚拟模型，提示用户扫描手中真实识别物，根据图像识别特征计算与平面相对位置，动态保存坐标信息；/n根据虚拟模型与真实识别物的距离，以及用户动态位置建立以该虚拟模型为中心的触发模型；依据虚拟模型与真实识别物的距离，以及真实识别物与虚拟模型的匹配关系设置用户的交互权限；/n依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限，动态的匹配用户该权限下的交互方式，并判断真实识别物与虚拟模型的匹配关系，依据结果显示该权限下的虚拟内容；/n用户依据所述交互方式和虚拟内容进行交互行为，信息获取和虚拟内容观赏；/n依据所述实时的交互行为与系统反馈的结果，实现连续积极的交互体验。/n

【技术特征摘要】
1.一种甲骨文增强现实内容交互方法，其特征在于，所述甲骨文增强现实内容交互方法包括：
设备开启摄像机，提示用户对于真实世界的三维平面进行缓慢扫描，建立环境特征锚点的坐标信息；获取用户动态位置，并根据数据渲染图像；
依据用户点击屏幕的射线位置在平面放置虚拟模型，提示用户扫描手中真实识别物，根据图像识别特征计算与平面相对位置，动态保存坐标信息；
根据虚拟模型与真实识别物的距离，以及用户动态位置建立以该虚拟模型为中心的触发模型；依据虚拟模型与真实识别物的距离，以及真实识别物与虚拟模型的匹配关系设置用户的交互权限；
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限，动态的匹配用户该权限下的交互方式，并判断真实识别物与虚拟模型的匹配关系，依据结果显示该权限下的虚拟内容；
用户依据所述交互方式和虚拟内容进行交互行为，信息获取和虚拟内容观赏；
依据所述实时的交互行为与系统反馈的结果，实现连续积极的交互体验。


2.如权利要求1所述的甲骨文增强现实内容交互方法，其特征在于，所述用户动态位置包括朝向，移动速度，视角和与平面的物理距离。


3.如权利要求1所述的甲骨文增强现实内容交互方法，其特征在于，所述甲骨文增强现实内容交互方法，还包括：
先给予用户SLAM数据获取的基本操作提示，提示用户对于真实世界的三维平面进行缓慢扫描，以建立环境特征锚点的坐标信息；根据锚点信息渲染虚拟点云图像，可视化锚点数据；
依据摄像机画面的信息，实时检测并且获取用户与虚拟平面的物理距离、方向以及速度在内的瞬时物理信息，实时计算用户与虚拟平面相对关系；
提示点击二维平面放置虚拟内容A，作为虚拟内容对空间尺寸基准和下一步交互的重要组成部分；将读取同一时段的用户方向，速度等物理信息；以用户点击屏幕交互的平面坐标为出发点，沿相机平面法线方向发射射线，在射线与虚拟平面的锚点交集处生成虚拟内容A；
提示扫描甲骨片实体套件，同时开启图片和三维实体图像检测的权限，一旦检测到图像画面数据中的目标实体存在刻印D，依据上一步环境的位置信息，在真实实体的甲骨片套件坐标处注册虚拟提示信息，同时实时获取和保存实体甲骨的位置速度和朝向数据，但只记录且不显示剩下的虚拟现实内容；
提示用户将真实世界的实体甲骨与步骤一SLAM中注册的虚拟内容A进行有效互动，检测并实时读取实体甲骨的动态位置信息，换算其与A的真实距离，在检测时，需要虚拟内容A所依赖的坐标系统需要和实体甲骨尺寸一致，才能保证二者有效互动权限的正确性；
提示用户移动真实世界场景中的甲骨片实体，增强显示设备识别到移动后，实时检测其与虚拟内容A的相互关系，同时计算二者距离；当其二者坐标达到一定距离后，也即二者发生碰撞，此时根据画面上的形态信息，在设备记录甲骨实体坐标上渲染虚拟实体提示B，同时增强现实设备显示出交互按钮，一旦距离过远不满足触发条件时，提示B和交互按钮立即消失，满足条件则重新出现。


4.如权利要求1所述的甲骨文增强现实内容交互方法，其特征在于，所述甲骨文增强现实内容交互方法，还包括：
计算从属于虚拟内容A的五个虚拟实体a1至a5与甲骨实体的相对距离，来判断是否与这五个元素碰撞；用户根据甲骨片实体上的刻印提示D，与a1,a2,a3,a4,a5五个元素的对应关系来确定下一步移动甲骨实体的方式；
用户对a1至a5逐个扫描，确定刻印D与a的对应关系；增强现实设备通过内置的重力传感器和角速度传感器的数据计算活动设备倾斜角作为用户朝向，通过SLAM计算的平面与用户的距离最为用户位置修正；通过内置的陀螺仪传感器活动用户速度数据，比对修正实时方向信息；
以用户设备屏幕的坐标中心为原点，朝用户的朝向发射射线；实时监测射线与a1至a5的相交关系，射线与其中某一元素a相交时，显示这一元素所对应的甲骨片实体提示D的关系；用户根据提示，比对手中正在移动的甲骨实体，确定对应关系的正确与否；
若正确，点击屏幕的交互按钮显示正确提示，解锁该甲骨实体对应的虚拟内容和交互系统，用户开始进行对该实体甲骨所对应的数字内容的完整体验；若错误，点击屏幕的交互按钮显示错误提示，用户...

【专利技术属性】
技术研发人员：褚俊洁，彭膺达，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37