一种增强现实中人与虚拟物的交互方法及装置制造方法及图纸

本发明专利技术公开了一种增强现实中人与虚拟物的交互方法及装置，该方法包括：根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；拾取用户声音，对待识别的声音信号进行预处理；将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；所述3D虚拟图像根据所述执行动作指令，完成相应动作。该方法可有效增强人与虚拟物之间的互动，能通过语音达到对虚拟物执行动作的控制，增强了AR互动的趣味性和可玩性，丰富了相关的AR应用中人与虚拟物的交互性。

An interactive method and device between human and virtual objects in augmented reality

【技术实现步骤摘要】
一种增强现实中人与虚拟物的交互方法及装置
本专利技术涉及互联网
，特别涉及一种增强现实中人与虚拟物的交互方法及装置。
技术介绍
增强现实(AugmentedReality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。目前的AR技术还没有人与虚拟物交流的大范围应用，目前停留在比如点触让虚拟物进行舞蹈、唱跳、说段子的动画形式。交互方式比较单一，难以满足用户的好奇心。因此，如何提供一种新的交互方式，使交互更容易，提高趣味性，是从业人员亟待解决的问题。
技术实现思路
本专利技术的目的在于提供一种增强现实中人与虚拟物的交互方法，可解决目前交互方式单一，缺乏趣味性的问题。本专利技术实施例提供一种增强现实中人与虚拟物的交互方法，包括：S1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；S2、拾取用户声音，对待识别的声音信号进行预处理；S3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；S4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。在一个实施例中，所述步骤S1，包括：在AR实景模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；识别平面并展示网格，获取用户点击网格的指令，在所述网格处显示所述3D虚拟图像。在一个实施例中，所述步骤S1，包括：在虚拟环境模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；显示所述3D虚拟图像。在一个实施例中，所述步骤S1，包括：获取对预设图片或物体的扫描信息，显示相对应的所述3D虚拟图像。在一个实施例中，所述步骤S2，包括：拾取用户声音，对待识别的声音信号进行预加重、分帧和加窗处理；本实施例中，可对声音信号进行预加重、分帧和加窗处理后再与对话及动作数据库中的数据进行匹配，可以去除声音信号中的噪声，避免干扰，提高匹配的准确率。第二方面，本专利技术实施例还提供一种增强现实中人与虚拟物的交互装置，包括：显示模块，用于根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；预处理模块，用于拾取用户声音，对待识别的声音信号进行预处理；查找模块，用于将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；执行模块，用于所述3D虚拟图像根据所述执行动作指令，完成相应动作。本专利技术实施例提供的一种增强现实中人与虚拟物的交互方法，根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；拾取用户声音，对待识别的声音信号进行预处理；将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；所述3D虚拟图像根据所述执行动作指令，完成相应动作。该方法可有效增强人与虚拟物之间的互动，能通过语音达到对虚拟物执行动作的控制，增强了AR互动的趣味性和可玩性，丰富了相关的AR应用中人与虚拟物的交互性。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例提供的增强现实中人与虚拟物的交互方法的流程图。图2为本专利技术实施例提供的增强现实中人与虚拟物的交互装置的框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。参照图1所示，为本专利技术实施例增强现实中人与虚拟物的交互方法，包括：S1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；S2、拾取用户声音，对待识别的声音信号进行预处理；S3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；S4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。其中，步骤S1中，3D虚拟图像，比如是通过美术人员用3Dmax等美术工具建模制作动画，利用unity开发工具，并配以相应动作的虚拟物。触发AR场景的指令，显示预设的3D虚拟图像；一般可通过下述三种触发方式：第一种：比如在AR实景模式下，获取到用户选择模型的指令；其中模型是指预设的3D虚拟图像；在AR实景模式下，点击模型，会先提示识别平面，识别平面后会出现白色网格，点击网格，AR物体就会出现在网格处。第二种：在剧场模式下，没有实景，在一个虚拟环境中操控，点击模型，虚拟物就会出现；比如选择KTV模式，点击选择一个人物模型，则该人物即可显示在KTV的场景中。第三种：比如打开手机摄像头扫描或对准预设的图片或物体，比如可以是内置了AR信息的图片，或是将该物体加入到AR玩偶数据库中，当识别到AR信息或是物体的轮廓特征时，可对应的显示3D虚拟图像。步骤S2中，当出现3D虚拟图像后，可通过语音与其交流；该步骤获取用户的声音，然后对该声音信号进行预处理。在对语音信号进行分析和处理之前，必须对其进行预加重、分帧、加窗等预处理操作。这些操作的目的是消除因为人类发声器官本身和由于采集语音信号的设备所带来的混叠、高次谐波失真、高频等等因素，对语音信号质量的影响。尽可能保证后续语音处理得到的信号更均匀、平滑，为信号参数提取提供优质的参数，提高语音处理质量。步骤S3中，将经预处理后的声音信息，可转换为文本信息；在预设的对话及动作数据库中进行遍历，查找与该文本信息对应的动作指令。当匹配到相应的指令后，步骤S4可根据返回的指令，执行相应的动作或对话。该3D虚拟图像可执行相应的动作或对话；比如：根据语音指令，开始舞蹈、讲段子、笑话、故事等、或还可以执行其他跑步、跳跃、后退、下蹲等动作。下面对本专利技术一种增强现实中人与虚拟物的交互方法以AR-App为例进行说明。1、根据本专利技术实施例提供的方法实现的AR-App，可以实现利用手机话筒获取用户语音，实现3D虚拟图像回答对话或执行动作。比如开启APP后，可以选择用户喜欢的3D角色，比如某一明星、贴纸、卡通人物进行下载；开启手机的摄像头，识别镜头所显示的平面，根据用户的点击位置放置该3D虚拟图像；进一步的，获取用户的声音，比如用户说：“请唱本文档来自技高网...

【技术保护点】
1.一种增强现实中人与虚拟物的交互方法，其特征在于，包括：/nS1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；/nS2、拾取用户声音，对待识别的声音信号进行预处理；/nS3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；/nS4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。/n

【技术特征摘要】
1.一种增强现实中人与虚拟物的交互方法，其特征在于，包括：
S1、根据获取到的触发AR场景的指令，显示预设的3D虚拟图像；
S2、拾取用户声音，对待识别的声音信号进行预处理；
S3、将经预处理后的声音信息，与预设的对话及动作数据库进行匹配，查找对应的执行动作指令；
S4、所述3D虚拟图像根据所述执行动作指令，完成相应动作。


2.如权利要求1所述的一种增强现实中人与虚拟物的交互方法，其特征在于，所述步骤S1，包括：
在AR实景模式下，获取用户选择模型的指令；所述模型为预设的3D虚拟图像；
识别平面并展示网格，获取用户点击网格的指令，在所述网格处显示所述3D虚拟图像。


3.如权利要求1所述的一种增强现实中人与虚拟物的交互方法，其特征在于，所述步骤S1，包括：
在虚拟环境模式下，获取用户选择模型的指令；所述模型为预设的3D...

【专利技术属性】
技术研发人员：张鹤，
申请(专利权)人：北京奇境天成网络技术有限公司，
类型：发明
国别省市：北京;11