一种多人声音频处理方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种多人声音频处理方法、装置、设备及存储介质，包括：获取录音音频数据；识别所述录音音频数据中具有可辨识文本的音频数据，根据所述具有可辨识文本的音频数据和对应的时间段建立音频时序表；提取所述录音音频数据中说话人的声纹特征，与声纹特征库中的声纹特征进行匹配，将产生匹配结果的音频数据和对应的时间段建立声纹时序表；将所述音频时序表的时间段与所述声纹时序表的时间段进行交集处理，根据交集结果和对应的音频数据建立交集时序表；接收并响应播放指令，根据所述交集时序表播放相应的音频数据。集时序表播放相应的音频数据。集时序表播放相应的音频数据。

【技术实现步骤摘要】
一种多人声音频处理方法、装置、设备及存储介质


[0001]本公开涉及语音
，尤其涉及一种多人声音频处理方法、装置、设备及存储介质。

技术介绍

[0002]在重要的线上或线下会议进程中，通常会通过录音笔、录音软件或是会议软件中的录音功能来进行会议记录，然后再通过对录音进行回放，由人工判别会议录音中当前的说话人与说话内容然后进行编辑分类。这种方式不仅记录准确性差、记录时间长、记录内容不完整，而且需要反复地回放确认。

技术实现思路

[0003]本公开提供了一种多人声音频处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
[0004]根据本公开的第一方面，提供了一种多人声音频处理方法，所述方法包括：获取录音音频数据；识别所述录音音频数据中具有可辨识文本的音频数据，根据所述具有可辨识文本的音频数据和对应的时间段建立音频时序表；提取所述录音音频数据中说话人的声纹特征，与声纹特征库中的声纹特征进行匹配，将产生匹配结果的音频数据和对应的时间段建立声纹时序表；将所述音频时序表的时间段与所述声纹时序表的时间段进行交集处理，根据交集结果和对应的音频数据建立交集时序表；接收并响应播放指令，根据所述交集时序表播放相应的音频数据。
[0005]在一可实施方式中，在所述获取录音音频数据之前，包括：提取注册用户的声纹特征，根据所述注册用户的声纹特征和注册用户的识别信息建立所述声纹特征库。
[0006]在一可实施方式中，所述识别所述录音音频数据中具有可辨识文本的音频数据，包括：对所述录音音频数据进行特征提取；将提取的特征通过解码器解码，输出录音音频数据中的文本；输出所述文本对应的音频数据，得到所述具有可辨识文本的音频数据。
[0007]在一可实施方式中，所述提取所述录音音频数据中说话人的声纹特征，与声纹特征库中的声纹特征进行匹配，将产生匹配结果的音频数据和对应的时间段建立声纹时序表，包括：提取所述录音音频数据中每个说话人的声纹特征，计算所述说话人的声纹特征和所述声纹特征库中的声纹特征的匹配分数；确定所述匹配分数大于预设阈值的所述声纹特征库中的声纹特征对应的注册用户的识别信息；将所述匹配分数大于预设阈值的说话人的声纹特征对应的音频数据标记上相应的所述识别信息，并将该音频数据和对应的时间段建立声纹时序表。
[0008]在一可实施方式中，所述将所述音频时序表的时间段与所述声纹时序表的时间段进行交集处理，根据交集结果和对应的音频数据建立交集时序表，包括：获取产生交集的时间段，将该时间段与对应的音频数据记录在交集时序表；获取未产生交集时间段，将该时间段对应的音频数据标记为未知用户，并该时间段与对应的音频数据记录在所述交集时序表
中。
[0009]在一可实施方式中，所述接收并响应播放指令，根据所述交集时序表播放相应的音频数据，包括：所述播放指令包括选中指令和播放音频指令；响应所述选中指令，从所述交集时序表获取至少一个说话人的至少一个音频数据；响应所述播放音频指令，按时间顺序播放选中的音频数据。
[0010]根据本公开的第二方面，提供了一种多人声音频处理装置，所述装置包括：获取模块，用于获取录音音频数据；识别模块，用于识别所述录音音频数据中具有可辨识文本的音频数据，根据所述具有可辨识文本的音频数据和对应的时间段建立音频时序表；提取模块，用于提取所述录音音频数据中说话人的声纹特征，与声纹特征库中的声纹特征进行匹配，将产生匹配结果的音频数据和对应的时间段建立声纹时序表；交集模块，用于将所述音频时序表的时间段与所述声纹时序表的时间段进行交集处理，根据交集结果和对应的音频数据建立交集时序表；播放模块，用于接收并响应播放指令，根据所述交集时序表播放相应的音频数据。
[0011]在一可实施方式中，所述装置还包括：建立模块，用于在所述获取录音音频数据之前，提取注册用户的声纹特征，根据所述注册用户的声纹特征和注册用户的识别信息建立声纹特征库。
[0012]根据本公开的第三方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的多人声音频处理方法。
[0016]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的多人声音频处理方法。
[0017]本公开的多人声音频处理方法、装置、设备及存储介质，通过识别录音音频数据中可辨识文本的音频数据和时间段建立音频时序表，同时提取录音音频数据中的声纹特征与声纹特征库进行匹配，将有匹配结果的音频数据和时间段建立声纹时序表，将音频时序表和声纹时序表的时间段进行交集处理，得到交集时序表。由此实现对录音音频数据自动化处理，得到的交集时序表中音频数据将每个说话人和对应的音频准确分类。并且可辨识文本的音频数据和声纹特征的提取同时进行，只需要对录音音频进行一次播放识别，就能得到清楚准确的音频数据。并在生成交集时序表后，还可以接收并响应用户操作产生的指令，从交集时序表中获取并播放相应的音频数据，方便用户根据实际需求，选择需要听取的音频数据。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0020]在附图中，相同或对应的标号表示相同或对应的部分。
[0021]图1示出了本公开一实施例的多人声音频处理方法的实现流程示意图；
[0022]图2示出了本公开另一实施例的多人声音频处理方法的实现流程示意图；
[0023]图3示出了本公开一实施例的建立声纹特征库的流程示意图；
[0024]图4示出了本公开一实施例的识别录音音频数据中具有可辨识文本的音频数据的流程示意图；
[0025]图5示出了本公开一实施例的建立声纹时序表的流程示意图；
[0026]图6示出了本公开一实施例的建立交集时序表的流程示意图；
[0027]图7示出了本公开一实施例的播放选中音频数据的流程示意图；
[0028]图8a示出了本公开一实施例的单人声音频播放的交互界面示意图；
[0029]图8b示出了本公开另一实施例的单人声音频播放的交互界面示意图；
[0030]图9a示出了本公开一实施例的多人声音频播放的交互界面示意图；
[0031]图9b示出了本公开另一实施例的多人声音频播放的交互界面示意图；
[0032]图10示出了本公开一实施例的多人声音频处理装置的示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多人声音频处理方法，其特征在于，所述方法包括：获取录音音频数据；识别所述录音音频数据中具有可辨识文本的音频数据，根据所述具有可辨识文本的音频数据和对应的时间段建立音频时序表；提取所述录音音频数据中说话人的声纹特征，与声纹特征库中的声纹特征进行匹配，将产生匹配结果的音频数据和对应的时间段建立声纹时序表；将所述音频时序表的时间段与所述声纹时序表的时间段进行交集处理，根据交集结果和对应的音频数据建立交集时序表；接收并响应播放指令，根据所述交集时序表播放相应的音频数据。2.根据权利要求1所述的方法，其特征在于，在所述获取录音音频数据之前，包括：提取注册用户的声纹特征，根据所述注册用户的声纹特征和注册用户的识别信息建立所述声纹特征库。3.根据权利要求1所述的方法，其特征在于，所述识别所述录音音频数据中具有可辨识文本的音频数据，包括：对所述录音音频数据进行特征提取；将提取的特征通过解码器解码，输出录音音频数据中的文本；输出所述文本对应的音频数据，得到所述具有可辨识文本的音频数据。4.根据权利要求2所述的方法，其特征在于，所述提取所述录音音频数据中说话人的声纹特征，与声纹特征库中的声纹特征进行匹配，将产生匹配结果的音频数据和对应的时间段建立声纹时序表，包括：提取所述录音音频数据中每个说话人的声纹特征，计算所述说话人的声纹特征和所述声纹特征库中的声纹特征的匹配分数；确定所述匹配分数大于预设阈值的所述声纹特征库中的声纹特征对应的注册用户的识别信息；将所述匹配分数大于预设阈值的说话人的声纹特征对应的音频数据标记上相应的所述识别信息，并将该音频数据和对应的时间段建立声纹时序表。5.根据权利要求1所述的方法，其特征在于，所述将所述音频时序表的时间段与所述声纹时序表的时间段进行交集处理，根据交集结果和对应的音频数据建立交集时序表，包括：获取产生交集的时间段，将该时间段与对应的音频数据记录在交...

【专利技术属性】
技术研发人员：简珮筠，施继泽，王韦翔，施昭宇，洪千茹，廖先翔，
申请(专利权)人：联宝合肥电子科技有限公司，
类型：发明
国别省市：