声源可视化调控方法及其相关设备技术

本发明专利技术创造涉及一种声源可视化调控方法及其相关设备。其中，该方法包括：从多种双向数据链路中选择目标双向数据链路，通过目标双向数据链路从音频源获取音频数据；对音频数据进行音频渲染及处理，得到音频数据的特征信息，特征信息包括以下至少之一：频率信息、音量信息和音频内容信息；对特征信息进行预处理，预处理包括降噪和增益调整；通过可视化界面显示特征信息和用于调整特征信息的参数的控件，以及将控件获得的参数信息通过目标双向数据链路传递给音频源。通过本申请，解决了相关技术中声源调控方案兼容性差的问题，提升了声源调控方案的兼容性和性能。

【技术实现步骤摘要】

本专利技术创造涉及多媒体，特别是涉及声源可视化调控方法及其相关设备。

技术介绍

1、相关技术中的传输方案，例如：websocket采用tcp传输协议，存在队头阻塞问题；webrtc适合p2p场景，支持多路传输，但仍存在数据流的队头阻塞、链接时间长的问题；webtransport解决了队头阻塞问题，具有传输快速、低延时、安全、复杂网络鲁棒性好等优势，但普及度低，新增支持的开发工作量大的问题；http轮询方式实现模拟长连接通讯，能力较弱，适合一些服务端能力弱或者浏览器版本低的场景。

2、然而，相关技术的声源调控方案在声源和浏览器之间采用固定的传输方案，无法适应复杂的运行环境，也不能兼顾兼容性和高性能。

技术实现思路

1、本专利技术创造实施例提供的声源可视化调控方法及其相关设备，至少解决相关技术中声源调控方案兼容性差的问题。

2、一种声源可视化调控方法，应用于浏览器客户端，包括：

3、从多种双向数据链路中选择目标双向数据链路，通过所述目标双向数据链路从音频源获取音频数据；

本文档来自技高网...

【技术保护点】

1.一种声源可视化调控方法，应用于浏览器客户端，其特征在于包括：

2.根据权利要求1所述的方法，其特征在于，根据所述音频源的通讯能力和/或音频传输场景，从所述多种双向数据链路中选择所述目标双向数据链路，其中，所述多种双向数据链路包括以下至少之一：WebSocket、WebTransport、WebRTC、HTTP轮询。

3.根据权利要求2所述的方法，其特征在于，根据所述音频源的通讯能力和/或音频传输场景，从所述多种双向数据链路中选择所述目标双向数据链路包括：

4.根据权利要求1所述的方法，其特征在于，对所述音频数据进行音频渲染及处理，得到所述音频数据的...

【技术特征摘要】

1.一种声源可视化调控方法，应用于浏览器客户端，其特征在于包括：

2.根据权利要求1所述的方法，其特征在于，根据所述音频源的通讯能力和/或音频传输场景，从所述多种双向数据链路中选择所述目标双向数据链路，其中，所述多种双向数据链路包括以下至少之一：websocket、webtransport、webrtc、http轮询。

3.根据权利要求2所述的方法，其特征在于，根据所述音频源的通讯能力和/或音频传输场景，从所述多种双向数据链路中选择所述目标双向数据链路包括：

4.根据权利要求1所述的方法，其特征在于，对所述音频数据进行音频渲染及处理，得到所述音频数据的特征信息包括：

5.根据权利要求4所述的方法，其特征在于，所述目标音频解码渲染库基于不同cpu架构均支持的simd指令编译而成；在进行所述音频数据的多线程并行的音频渲染时，使用sharedarraybuffer共享内存技术实现多线程之间的数据交换和并行处理。

...

【专利技术属性】
技术研发人员：刘春辉，陈相镇，冯中坚，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：