低延时分布式音频处理方法及系统技术方案

本发明专利技术公开一种低延时分布式音频处理方法及系统，其中，该方法包括如下步骤：从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；接收经FPGA输送的音频信号；在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据，以及在从处理器上，对音频信号中的本地音频信号进行音频处理生成第二音频数据；将第一音频处理数据及第二音频处理数据传送至FPGA进行混音处理，并由FPGA对混音处理的第一音频处理数据及第二音频处理数据进行分发。本发明专利技术的技术方案能够降低音频处理延时，提高系统稳定性，能够给用户呈现更好的使用体验。

【技术实现步骤摘要】

本专利技术涉及一种视频通信
，尤其涉及一种低延时分布式音频处理方法及系统。
技术介绍
随着多媒体技术的发展，国家经济水平的提高，专业视频会议系统不仅在传统应用上需求旺盛，还在远程教育，数字法庭等行业产生了新的需求，对专业视频会议终端也有了更高的要求，用户希望提供更多路的音视频处理能力，来满足用户的各种不同应用场景。同时，由于视频会议系统属于强交互性的应用，多媒体处理的质量对用户体验是至关重要的。对音视频等连续数据流，不仅要求传输的实时性，还要保证很好的语音质量及视频清晰度，还要保证音视频的同步。在现实中的视频会议系统，要保证产品的使用效果，相对视频来说，音频的处理尤为关键。由于视频会议中音频应用场景相对复杂，包含本地声音编码发送远端，本地声音本地播放，通过播放器播放远端声音，远端声音和本地声音混音后本地播放等使用场景，为了保证音频效果需要通过音频算法进行音频处理，包括：回声抵消，背景噪音抑制，啸叫抑制，自动增益补偿等。传统的单台视频会议终端使用一个处理器来进行多路音频算法处理，但随着音频接入路数增加到几十路，还有各种音频算法处理能力的不同要求，一个cpu已经无法同时处理音频和其它业务，而是需要同一台视频会议终端，内部有多个处理器进行协同作业，来分担音频处理的cpu性能需求，进而降低音频延时，为用户提供更好的效果体验。而如何采用多个处理器进行协同作业，以使视频处理的效果更好，成为本方案所要解决的技术问题。
技术实现思路
为解决上述至少一技术问题，本专利技术的主要目的是提供一种低延时分布式音频处理方法及装置。为实现上述目的，本专利技术采用的一个技术方案为：提供一种低延时分布式音频处理方法，包括如下步骤：从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；接收经FPGA输送的音频信号，所述音频信号据包括远端音频信号及本地音频信号；在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据，以及在从处理器上，对音频信号中的本地音频信号进行音频处理生成第二音频数据；将第一音频处理数据及第二音频处理数据传送至FPGA进行混音处理，并由FPGA对混音处理的第一音频处理数据及第二音频处理数据进行分发。优选地，所述从两个处理器指定任意一处理器作为主处理器，另一处理器作为从处理器的步骤之后，还包括：为主处理器及从处理器提供同步时钟信号。优选地，所述对解码音频数据进行音效处理生成第一音频数据的步骤，具体包括：对解码音频数据进行自动混音、自动增益、回声抵消及噪声抑制处理，生成第一音频数据。优选地，所述对音频信号中的本地音频信号进行音频处理生成第二音频数据的步骤，具体包括：对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据。优选地，在主处理器上，还包括对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA，并通过FPGA分发至远端。为实现上述目的，本专利技术采用的另一个技术方案为：提供一种低延时分布式音频处理系统，包括：至少一AD/DA芯片组，一组所述AD/DA芯片包括两片呈菊花链连接的AD/DA芯片，用以采集音频信号，以及播放经加权混音处理的第一音频信号及第二音频信号，所述音频信号包括远端音频信号、本地音频信号；FPGA器件，所述FPGA器件与AD/DA芯片组电连接，用以接收并转发音频信号，以及对第一音频信号及第二音频信号进行加权混音处理并分发；主处理器，所述主处理器与FPGA器件电连接，用以对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据并传送至FPGA器件；从处理器，所述从处理器与FPGA器件电连接，用以对音频信号中的本地音频信号进行音频处理生成第二音频数据并传送至FPGA器件。优选地，所述低延时分布式音频处理系统还包括音频同步时钟，用以为主处理器及从处理器提供同步时钟信号。优选地，所述主服务器，用以对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理，生成第一音频数据并传送至FPGA器件。优选地，所述从服务器，用以对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据并传送至FPGA器件。优选地，所述主服务器，还用以对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA器件，并通过FPGA器件分发至远端。本专利技术的技术方案通过采用两个处理器来分别处理远端音频信号及本地音频信号，具体的，从两个处理器指定一处理器为主处理器，另一处理器为从处理器，该主处理器负责进行远端信号进行音频解码，以及解码的音频数据进行回声抵消、背景噪声抑制、自动增益控制以及自动混音处理生成第一音频数据，该从处理器负责对本地音频信号进行噪声抑制、啸叫抑制、自动增益控制及自动混音处理生成第二音频数据，通过FPGA对第一音频数据及第二音频数据的混音后分发，如此，通过音频任务在主从cpu的分配，充分利用了cpu性能，降低了音频处理延时，提高了系统稳定性，给用户呈现更好的使用体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术一实施例低延时分布式音频处理方法的流程示意图；图2为本专利技术一实施例低延时分布式音频处理系统的模块方框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明，本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。区别于现有技术中传统的单台视频会议终端使用一个处理器来进行多路音频算法处理，但随着音频接入路数增加到几十路，还有各种音频算法处理能力的不同要求，一个cpu已经无法同时处理音频和其它业务问题，本方案采用至少两个处理器来完成远程音频信号和本地音频信号的处理，具体的方法及装置请参照下述的实施例。请参照图1，在本专利技术实施例中，该低延时分布式音频处理方法，包括如下步骤：步骤S10、从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；步骤S20、接收经FPGA输送的音频信号，所述音频信号据包括远端音频信号及本地音频信号；步骤S30、在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并本文档来自技高网...

【技术保护点】
一种低延时分布式音频处理方法，其特征在于，所述低延时分布式音频处理方法包括如下步骤：从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；接收经FPGA输送的音频信号，所述音频信号据包括远端音频信号及本地音频信号；在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据，以及在从处理器上，对音频信号中的本地音频信号进行音频处理生成第二音频数据；将第一音频处理数据及第二音频处理数据传送至FPGA进行混音处理，并由FPGA对混音处理的第一音频处理数据及第二音频处理数据进行分发。

【技术特征摘要】
1.一种低延时分布式音频处理方法，其特征在于，所述低延时分布式音频处理方法包括如下步骤：从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；接收经FPGA输送的音频信号，所述音频信号据包括远端音频信号及本地音频信号；在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据，以及在从处理器上，对音频信号中的本地音频信号进行音频处理生成第二音频数据；将第一音频处理数据及第二音频处理数据传送至FPGA进行混音处理，并由FPGA对混音处理的第一音频处理数据及第二音频处理数据进行分发。2.如权利要求1所述的低延时分布式音频处理方法，其特征在于，所述从两个处理器指定任意一处理器作为主处理器，另一处理器作为从处理器的步骤之后，还包括：为主处理器及从处理器提供同步时钟信号。3.如权利要求1所述的低延时分布式音频处理方法，其特征在于，所述对解码音频数据进行音效处理生成第一音频数据的步骤，具体包括：对解码音频数据进行自动混音、自动增益、回声抵消及噪声抑制处理，生成第一音频数据。4.如权利要求3所述的低延时分布式音频处理方法，其特征在于，所述对音频信号中的本地音频信号进行音频处理生成第二音频数据的步骤，具体包括：对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据。5.如权利要求1所述的低延时分布式音频处理方法，其特征在于，在主处理器上，还包括对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA，并通过FPGA分发至远端。6.一种低延时分布式音频处理系统，其特征在于，所...

【专利技术属性】
技术研发人员：许裕锋，李大强，
申请(专利权)人：深圳市捷视飞通科技股份有限公司，
类型：发明
国别省市：广东;44