一种增强现实交互方法及电子设备技术

本申请提供了一种增强现实交互方法及电子设备。在该方案中，电子设备可以根据现实对象的位姿信息或现实声源的位置，确定虚拟对象的位姿信息，从而可以生成并显示AR图像，另外还可以根据现实对象的位姿信息和虚拟对象的位姿信息，生成并播放虚拟对象的3D声音数据。显然，通过该方案，虚拟对象可以感知到现实对象的位姿、以及现实声源的位置，并基于以上信息做出相应的动作响应或声音响应，从而使虚拟对象可以像现实对象一样。因此，该方法实现虚拟对象与现实对象的视觉听觉相结合的虚实交互，可以提升虚拟对象的智能水平，进而提高虚拟交互的体验。拟交互的体验。拟交互的体验。

【技术实现步骤摘要】
一种增强现实交互方法及电子设备


[0001]本申请涉及终端
，特别涉及一种增强现实(augmented reality，AR)交互方法及电子设备。

技术介绍

[0002]AR技术能够实现虚拟世界和现实世界的融合，但是如何提高虚拟对象的真实度缺很少被关注。因此，目前AR技术生成的虚拟角色真实度不高，导致用户体验不高。

技术实现思路

[0003]本申请提供一种AR交互方法及电子设备，用于提高虚拟对象的真实度，提高用户体验。
[0004]第一方面，本申请实施例提供了一种AR交互方法，该方法包括以下步骤：
[0005]电子设备确定现实场景中现实对象的位姿信息和/或现实声源的位置，其中，所述现实对象的位姿信息用于表征所述现实对象的位置和姿态；然后，所述电子设备根据所述现实对象的位姿信息和/或现实声源的位置，确定虚拟对象的位姿信息，其中，所述虚拟对象的位姿信息用于表征所述虚拟对象的位置和姿态；最后，所述电子设备根据所述虚拟对象的位姿信息，生成包含所述虚拟对象的AR图像；显示所述AR图像；和/或所述电子设备根据所述现实对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实AR交互方法，应用于电子设备，其特征在于，包括：确定现实场景中现实对象的位姿信息和/或现实声源的位置，其中，所述现实对象的位姿信息用于表征所述现实对象的位置和姿态；根据所述现实对象的位姿信息和/或现实声源的位置，确定虚拟对象的位姿信息，其中，所述虚拟对象的位姿信息用于表征所述虚拟对象的位置和姿态；根据所述虚拟对象的位姿信息，生成包含所述虚拟对象的AR图像；显示所述AR图像；和/或根据所述现实对象的位姿信息和所述虚拟对象的位姿信息，生成所述虚拟对象的3维3D音频数据；播放所述3D音频数据。2.如权利要求1所述的方法，其特征在于，所述方法还包括：建立以所述电子设备为坐标原点的世界坐标系；所述现实对象的位姿信息具体用于表征所述现实对象在所述世界坐标系中的位置和姿态；所述现实声源的位置为所述现实声源在所述世界坐标系中的位置；所述虚拟对象的位姿信息具体用于表征所述虚拟对象在所述世界坐标系中的位置和姿态。3.如权利要求2所述的方法，其特征在于，建立以所述电子设备为坐标原点的世界坐标系，包括：获取摄像头采集的第一现实场景图像，以及获取惯性测量单元测量的所述电子设备的姿态信息；根据所述第一现实场景图像，以及所述电子设备的姿态信息，建立以所述世界坐标系。4.如权利要求1
‑
3任一项所述的方法，其特征在于，确定现实场景中的现实对象的位姿信息，包括：获取摄像头采集的第二现实场景图像，识别所述第二现实场景图像中的现实对象的关键部位；根据同步定位与地图构建SLAM点云碰撞技术，确定所述第二现实场景图像中所述现实对象的关键部位的位姿信息；将所述现实对象的关键部位的位姿信息作为所述现实对象的位姿信息。5.如权利要求1
‑
4任一项所述的方法，其特征在于，确定现实场景中现实声源的位置，包括：获取麦克风采集的现实场景声音信息，通过声源定位确定所述现实声源与所述麦克风之间的位置关系；根据所述现实声源与所述麦克风之间的位置关系，确定所述现实场景中现实声源的位置。6.如权利要求1
‑
5任一项所述的方法，其特征在于，根据所述现实对象的位姿信息和/或现实声源的位置，确定虚拟对象的位姿信息，包括：根据所述现实对象的位姿信息和/或现实声源的位置，以及以下至少一项确定所述虚拟对象的位姿信息：通过所述现实对象的位姿信息识别的所述现实对象的动作，所述现实声源发出的声音指令，所述虚拟对象对应的虚拟对象模型中的形象模型、动作特征、动作响
应包，以及用户通过显示屏对所述虚拟对象的触控操作。7.如权利要求1
‑
6任一项所述的方法，其特征在于，根据所述现实对象的位姿信息和所述虚拟对象的位姿信息，生成所述虚拟对象的3D音频数据，包括：根据所述现实对象的位姿信息和所述虚拟对象的位姿信息，分别确定所述虚拟对象与所述现实对象的双耳之间的距离；根据所述虚拟对象与所述现实对象的双耳之间的距离，计算所述现实对象的双耳的音量差和时间差；根据所述现实对象的音量差和时间差，以及所述虚拟对象的原始声音数据，生成3D音频数据。8.如权利要求7所述的方法，其特征在于，所述原始声音数据为设定的，或者为根据以下至少一项确定的：所述现实对象的位置以及姿态信息，所述虚拟对象的位姿信息，通过所述现实对象的位姿信息识别的所述现实对象的动作，所述现实声源发出的声音指令，所述虚拟对象对应的虚拟对象模型中的形象模型、动作特征、动作响应包，以及用户通过显示屏对所述虚拟对象的触控操作。9.如权利要求1
‑
8任一项所述的方法，其特征在于，在播放所述3D音频数据之前，所述方法还包括：根据所述现实对象的位姿信息，对所述3D音频数据进行滤波。10.一种电子设备，其特征在于，包括：确定单元，用于确定现实场景中现实对象的位姿信息和/或现实声源的位置，其中，所述现实对象的位姿信息用于表征所述现实对象的位置和姿态；以及根据所述现实对象的位姿信息和/或现实声源的位置，确定虚拟对象的位姿信息，其中，所述虚拟对象的位姿信息用于表征所述虚拟对象的位置和姿态；AR合成单元，用于根据所述虚拟对象的位姿信息，生成包含所述虚拟对象的AR图像；和/或，根据所述现实对象的位姿信息和所述虚拟对...

【专利技术属性】
技术研发人员：马家威，张文洋，李龙华，张国荣，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：