【技术实现步骤摘要】
本申请涉及属于沉浸式交互，具体地说，涉及基于用户位姿计算的实时音效交互系统。
技术介绍
1、目前，在沉浸式场景应用领域目前主要有四类常用的公知技术：虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)和360度视频与音频；其中，虚拟现实技术是利用头戴式显示器、追踪设备和交互设备等技术，将用户完全沉浸到计算机生成的虚拟环境中，用户可以通过手柄、手套或其他控制器来操作和探索虚拟环境；增强现实技术是通过智能手机、平板电脑或ar眼镜等设备，将虚拟元素叠加在现实世界中，ar技术利用摄像头和传感器来感知和识别用户的周围环境，并通过显示设备将虚拟内容与现实世界进行融合，这使得用户可以在真实环境中看到虚拟物体、信息或图像，与它们进行互动；混合现实技术是将虚拟现实和增强现实技术相结合，创造出一种将真实世界与虚拟内容进行融合的全新体验，用户穿戴专用的头戴设备，该设备结合了虚拟现实的高度沉浸感和增强现实的现实环境感知能力，通过实时感知用户的位置和周围环境，将虚拟对象与真实物体进行交互，使用户能够与虚拟物体进行实时互动；360度视频和全景音频技术可以提供沉浸式的观影和听觉体验，通过特殊的摄影设备，捕捉到全方位的视频画面和环绕声音，使观众感觉自己置身于拍摄场景中。
2、但是现有技术存在以下问题，传统的交互方案通常使用固定的音响系统来播放预设的音效，无法灵活地根据场景和用户的行为实时调整音效，这导致了音效与真实场景之间的脱节，无法提供高度还原的沉浸式
3、在
技术介绍
中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
技术实现思路
1、本申请为解决上述问题和技术缺陷，本申请实施例采用如下的技术方案，基于用户位姿计算的实时音效交互系统，包括：
2、定位系统模块，用于根据用户在场景中的三维空间坐标点获取用户的位置和姿势信息；
3、标准服务组件模块，用于将iot设备连接到互联网、局域网或蓝牙，让iot设备与其它设备进行无线网络通信或蓝牙通信，同时进行数据存储；
4、终端设备模块,用于对投影画面进行播放，将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算，对播放音频的声学属性和参数进行修改、播放。
5、优选地，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。
6、进一步地，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。
7、更进一步地，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。
8、进一步地，所述终端设备模块内的各个设备与iot设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行iot配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。
9、进一步地，所述将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算是获取用户的朝向和位置以及场景中目标声源位置，骨传导蓝牙耳机计算目标声源相对于目标用户的各项声学属性，对目标声源原有音频文件中的各项声学属性进行修改，合成符合该用户在当前位置和朝向的定制音频文件，实现不同位置不同音效的沉浸式体验感。
10、更进一步地，所述目标声源的位置包括绝对位置和相对位置，所述声学属性包括音调、声相、衰减率、全景和其它声学属性。
11、进一步地，所述标准服务组件模块支持实时流处理功能，能够使用户所佩戴的骨传导蓝牙耳机根据场景实时计算生成的媒体数据流，避免音频文件在不同设备之间进行传输、计算，实现实时的立体声音频播放，达到不同位置不同音效的沉浸式效果。
12、进一步地，所述终端设备模块还包括影像投影系统，影像投影系统模块会根据场景不同的场地大小、设备数量、位置来采取不同的投影方案满足不同的投影需求，针对不同领域的影像进行划分、3d画面渲染和边缘融合处理，将处理后的影像分配到不同的墙壁投影仪和地面投影仪上进行投影。
13、更进一步地，所在终端设备模块在需要触发智能手表的显示或震动时，标准服务组件模块会生成相应的控制指令，智能手表收到控制指令后，根据控制指令执行相应的操作，墙壁投影仪和地面投影仪也会根据标准服务组件模块的控制指令来实时切换对应的定制动画特效。
14、基于用户位姿计算的实时音效交互系统，通过将软硬件技术相结合，实现了基于位姿的实时语音交互系统，在硬件层面，针对不同大小的场地提供不同的硬件设备放置方案，并为每位用户提供骨传导蓝牙耳机和智能手持设备；在软件层面进行开发，能够针对用户的位置、朝向自主动态计算游戏、体育场景的音效并进行播放，同时针对不同大小的场馆设计不同的影响投影方案，并提供交互时智能设备的震动效果，从而解决现有技术方案中位姿感知差、音效不真实、易互相干扰、投影效果不具有扩展性的问题，从影像投影、音频交互等多个方面对现有沉浸式场景交互方案进行改进和优化，完整实现了针对用户的位姿信息捕获、数据传输、音频播放规则及方位解析、实时音效计算及播放、影像计算及投影的交互方案。
15、相比于现有技术，本申请实施例的有益效果为：
16、(1)本申请针对音频播放规则和音频播放方位进行精准解析，通过用户的位置、姿势进行计算，能更好地还原真实场景中的音效，然后使用骨传导蓝牙耳机将音效传递给用户，保证音效交互的真实感和沉浸感；
17、(2)本申请以骨传导蓝牙耳机和手表设备为载体，协同场景中的多个摄像头，使用定位系统来全方位逐个判断用户的位置、姿势，针对每名用户的不同情况分别计算实时的音效，保证每位用户所听到的声音都是最符合他所在位置在真实场景中的音效，并通过iot设备进行无线传输，避免音效、投影等本文档来自技高网...
【技术保护点】
1.一种基于用户位姿计算的实时音效交互系统，其特征在于，包括：
2.根据权利要求1所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。
3.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。
4.根据权利要求3所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。
5.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块内的各个设备与IoT设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行IoT配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。
6.根据权利要求2所述的基
7.根据权利要求6所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述目标声源的位置包括绝对位置和相对位置，所述声学属性包括音调、声相、衰减率、全景和其它声学属性。
8.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述标准服务组件模块支持实时流处理功能，能够使用户所佩戴的骨传导蓝牙耳机根据场景实时计算生成的媒体数据流，避免音频文件在不同设备之间进行传输、计算，实现实时的立体声音频播放，达到不同位置不同音效的沉浸式效果。
9.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块还包括影像投影系统，影像投影系统模块会根据场景不同的场地大小、设备数量、位置来采取不同的投影方案满足不同的投影需求，针对不同领域的影像进行划分、3D画面渲染和边缘融合处理，将处理后的影像分配到不同的墙壁投影仪和地面投影仪上进行投影。
10.根据权利要求9所述的基于用户位姿计算的实时音效交互系统，其特征在于，所在终端设备模块在需要触发智能手表的显示或震动时，标准服务组件模块会生成相应的控制指令，智能手表收到控制指令后，根据控制指令执行相应的操作，墙壁投影仪和地面投影仪也会根据标准服务组件模块的控制指令来实时切换对应的定制动画特效。
...【技术特征摘要】
1.一种基于用户位姿计算的实时音效交互系统，其特征在于，包括：
2.根据权利要求1所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块包括智能手表、骨传导蓝牙耳机、红外双目摄像头、传感器、墙壁投影仪和地面投影仪。
3.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是根据智能手表和骨传导蓝牙耳机的位置点或其它外置模块导入的位置点生成用户在场景中的三维空间坐标点。
4.根据权利要求3所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述定位系统模块是通过多个红外双目摄像头和传感器计算用户与其它用户以及场景设备之间的空间位置关系和遮挡关系，最终得到用户的位置和姿势信息。
5.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述终端设备模块内的各个设备与iot设备连接时会分别获取鉴权文件，通过鉴权文件获得各自设备需要的状态和信息并进行iot配置，随后和场景中其它设备进行无线通信等功能，并将采集到的数据传输到设备上进行处理。
6.根据权利要求2所述的基于用户位姿计算的实时音效交互系统，其特征在于，所述将用户的位置和姿势信息与音频播放规则和音频播放方位进行解析并计算是获取用户的朝向和位置以及场景中目标声源位置，骨传导蓝牙耳机计算目标声源相对于目标用户的各项声学属性，对目标声源原有音频文件中...
【专利技术属性】
技术研发人员：范晋玮，任光阔，王璋，魏文豪，陈天博，赵勇，
申请(专利权)人：北京格灵深瞳信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。