音频数据的延时传输方法、装置、终端及存储介质制造方法及图纸

本发明专利技术提供一种音频数据的延时传输方法、装置、终端及存储介质，音频数据的延时传输方法包括：获取至少两个音频通道分别传输的同一音频信息；音频信息包括语音数据；对至少两个音频通道传输的音频信息分别进行语音识别，确定语音数据的识别时间；基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数。本申请通过对不同音频通道传输的音频信息进行识别，基于所有音频通道分别对应的识别时间确定音频通道的队列缓存音频帧的个数，以使混音模块可以接收到不同音频通道同步传输的音频数据，进而提高混音效果。高混音效果。高混音效果。

【技术实现步骤摘要】
音频数据的延时传输方法、装置、终端及存储介质


[0001]本专利技术涉及音频数据处理
，特别是涉及一种音频数据的延时传输方法、装置、终端及存储介质。

技术介绍

[0002]语音混音是多媒体会议中一个重要的组成部分。由于混音的音频源来源于不同的设备、经过不同的传输途径，每路采集到的音频数据真正到达混音模块的时刻，与现实世界的声音产生的时刻存在一个延时。每路之间的延时可能存在较大差异，特别是通过网络传输的音频数据，由于比模拟音频采集还多了编码、网络传输、解码等处理过程，其延时会明显高于模拟音频源。不同的音频采集设备之间也可能因为内部处理流程及网络波动原因，存在不同的延时表现。如果不对各路音频的延时差异做处理，直接送入混音模块，则混音后的音频数据，可能存在叠音问题，严重影响混音效果。

技术实现思路

[0003]本专利技术主要解决的技术问题是提供一种音频数据的延时传输方法、装置、终端及存储介质，解决现有技术中各路音频源数据的时间不同步，从而影响混音效果的问题。
[0004]为解决上述技术问题，本专利技术采用的第一个技术方案是：提供一种音频数据的延时传输方法，音频数据的延时传输方法包括：获取至少两个音频通道分别传输的同一音频信息；音频信息包括语音数据；对通过至少两个音频通道传输的音频信息分别进行语音识别，确定语音数据的识别时间；基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数。
[0005]其中，对通过至少两个音频通道传输的音频信息分别进行语音识别，确定语音数据的识别时间，包括：对音频信息进行语音识别；判断音频信息是否识别到语音数据的文本信息；响应于识别到语音数据的文本信息，则确定识别的文本信息的识别时间；其中，识别时间为识别到语音数据对应的文本信息的时刻。
[0006]其中，文本信息包括至少一个单词文本；响应于识别到语音数据的文本信息，则确定识别的文本信息的识别时间，包括：将识别到的单词文本和识别到单词文本的识别时间依次保存至数据队列；响应于数据队列的队列长度达到预设长度，则将数据队列中最后保存的单词文本的识别时间确定为文本信息的识别时间。
[0007]其中，基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数，包括：判断各个音频通道对应的预设长度的数据队列中保存的文本信息是否相同；响应于各个音频通道对应的预设长度的数据队列中保存的文本信息相同，则根据各个音频通道对应的文本信息中同一单词文本的识别时间，确定各音频通道分别对应的队列缓存音频帧的个数。
[0008]其中，基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数，包括：选取至少两个音频通道对应的识别时间中的最迟识
别时间；分别计算各音频通道对应的识别时间与最迟识别时间之间的差值，以确定各音频通道分别对应的队列缓存音频帧的个数。
[0009]其中，分别计算各音频通道对应的识别时间与最迟识别时间之间的差值，以确定各音频通道分别对应的队列缓存音频帧的个数，包括：计算得到音频通道对应的识别时间与最迟识别时间之间的差值；根据差值、获取音频信息的采样率和音频信息中每个音频帧的音频样本数，确定音频通道的队列缓存音频帧的个数。
[0010]其中，基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数，之后包括：在各音频通道的队列中分别增加对应的队列缓存音频帧个数的预设音频帧。
[0011]为解决上述技术问题，本专利技术采用的第二个技术方案是：提供一种音频数据的延时传输装置，音频数据的延时传输装置包括：获取模块，用于获取至少两个音频通道分别传输的同一音频信息；音频信息包括语音数据；识别模块，用于对通过至少两个音频通道传输的音频信息分别进行语音识别，确定语音数据的识别时间；处理模块，用于基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数。
[0012]为解决上述技术问题，本专利技术采用的第三个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述音频数据的延时传输方法中的步骤。
[0013]为解决上述技术问题，本专利技术采用的第四个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述音频数据的延时传输方法中的步骤。
[0014]本专利技术的有益效果是：区别于现有技术的情况，提供的一种音频数据的延时传输方法、装置、终端及存储介质，音频数据的延时传输方法包括：获取至少两个音频通道分别传输的同一音频信息；音频信息包括语音数据；对至少两个音频通道传输的音频信息分别进行语音识别，确定语音数据的识别时间；基于至少两个音频通道分别对应的识别时间，确定至少两个音频通道分别对应的队列缓存音频帧的个数。本申请通过对不同音频通道传输的音频信息进行识别，基于所有音频通道分别对应的识别时间确定音频通道的队列缓存音频帧的个数，以使混音模块可以接收到不同音频通道同步传输的音频数据，进而提高混音效果。
附图说明
[0015]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0016]图1是本专利技术提供的音频数据的延时传输方法的流程示意图；
[0017]图2是本专利技术提供的音频数据的延时传输方法一具体实施例的流程示意图；
[0018]图3是本专利技术提供的数据队列FIFO的存放结构；
[0019]图4是本专利技术提供的音频数据的延时传输装置的示意框图；
[0020]图5是本专利技术提供的终端一实施方式的示意框图；
[0021]图6是本专利技术提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
[0022]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0023]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0024]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0025]为使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术所提供的一种音频数据的延时传输方法做进一步详细描述。
[0026]请参阅图1，图1是本专利技术提供的音频数据的延时传输方法的流程示意图。本实施例中提供一种音频数据的延时传输方法，该方法可以适用于教育行业的录播产品，也可以应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频数据的延时传输方法，其特征在于，所述音频数据的延时传输方法包括：获取至少两个音频通道分别传输的同一音频信息；所述音频信息包括语音数据；对通过所述至少两个音频通道传输的所述音频信息分别进行语音识别，确定所述语音数据的识别时间；基于所述至少两个音频通道分别对应的识别时间，确定所述至少两个音频通道分别对应的队列缓存音频帧的个数。2.根据权利要求1所述音频数据的延时传输方法，其特征在于，所述对通过所述至少两个音频通道传输的所述音频信息分别进行语音识别，确定所述语音数据的识别时间，包括：对所述音频信息进行语音识别；判断所述音频信息是否识别到所述语音数据的文本信息；响应于识别到所述语音数据的文本信息，则确定识别的所述文本信息的识别时间；其中，所述识别时间为识别到所述语音数据对应的文本信息的时刻。3.根据权利要求2所述音频数据的延时传输方法，其特征在于，所述文本信息包括至少一个单词文本；所述响应于识别到所述语音数据的文本信息，则确定识别的所述文本信息的识别时间，包括：将识别到的所述单词文本和识别到所述单词文本的识别时间依次保存至数据队列；响应于所述数据队列的队列长度达到预设长度，则将所述数据队列中最后保存的所述单词文本的识别时间确定为所述文本信息的识别时间。4.根据权利要求3所述音频数据的延时传输方法，其特征在于，所述基于所述至少两个音频通道分别对应的识别时间，确定所述至少两个音频通道分别对应的队列缓存音频帧的个数，包括：判断各个所述音频通道对应的所述预设长度的数据队列中保存的所述文本信息是否相同；响应于所述各个音频通道对应的所述预设长度的数据队列中保存的所述文本信息相同，则根据各个所述音频通道对应的所述文本信息中同一所述单词文本的识别时间，确定各所述音频通道分别对应的队列缓存音频帧的个数。5.根据权利要求1所述音频数据的延时传输方法，其特征在于，所述基于所述至少两个音频通道分别对应的识别时间，确定所述至...

【专利技术属性】
技术研发人员：冯亮，马东星，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：