一种基于用户位姿计算的实时音效交互系统技术方案

本申请实施例提供了一种基于用户位姿计算的实时音效交互系统，属于沉浸式交互技术领域，包括定位系统模块根据用户在场景中的三维空间坐标点获取用户的位置和姿势信息，标准服务组件模块将IoT设备连接到互联网、局域网或蓝牙，让IoT设备与其它设备进行无线网络通信或蓝牙通信，同时进行数据存储，终端设备模块对投影画面进行播放，将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算，对播放音频的声学属性和参数进行修改、播放，本申请实施例能对现有沉浸式场景交互方案进行改进和优化，完整实现了针对用户位姿信息捕获、数据传输、音频播放规则及方位解析、实时音效计算及播放、影像计算及投影的交互方案。

【技术实现步骤摘要】

本申请涉及属于沉浸式交互，具体地说，涉及基于用户位姿计算的实时音效交互系统。

技术介绍

1、目前，在沉浸式场景应用领域目前主要有四类常用的公知技术：虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)和360度视频与音频；其中，虚拟现实技术是利用头戴式显示器、追踪设备和交互设备等技术，将用户完全沉浸到计算机生成的虚拟环境中，用户可以通过手柄、手套或其他控制器来操作和探索虚拟环境；增强现实技术是通过智能手机、平板电脑或ar眼镜等设备，将虚拟元素叠加在现实世界中，ar技术利用摄像头和传感器来感知和识别用户的周围环境，并通过显示设备将虚拟内容与现实世界进行融合，这使得用户可以在真实环境中看到虚拟物体、信息或图像，与它们进行互动；混合现实技术是将虚拟现实和增强现实技术相结合，创造出一种将真实世界与虚拟内容进行融合的全新体验，用户穿戴专用的头戴设备，该设备结合了虚拟现实的高度沉浸感和增强现实的现实环境感知能力，通过实时感知用户的位置和周围环境，将虚拟对象与真实物体进行交互本文档来自技高网...

【技术保护点】

1.一种基于用户位姿计算的实时音效交互系统，其特征在于，包括：

2.根据权利要求1所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。

3.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。

4.根据权利要求3所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户...

【技术特征摘要】

1.一种基于用户位姿计算的实时音效交互系统，其特征在于，包括：

2.根据权利要求1所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。

3.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。

4.根据权利要求3所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。

5.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块内的各个设备与iot设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行iot配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。

6.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算是获取用户的朝向和位置以及场景中目标声源位置，骨传导蓝牙耳机计算目标声源相对于目标用户的各项声学属性，对目标声源原有音频文件中...

【专利技术属性】
技术研发人员：范晋玮，任光阔，王璋，魏文豪，陈天博，赵勇，
申请(专利权)人：北京格灵深瞳信息技术股份有限公司，
类型：发明
国别省市：