音色转换方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种音色转换方法、装置、设备及存储介质，涉及音频处理技术领域。该方法包括：对第一音频进行音源分离，得到语音音频和非语音音频；基于语音音频的音色变化，将语音音频切分为至少两个语音音频片段；根据各个语音音频片段分别对应的音色，对语音音频片段进行音色转换，得到转换后的语音音频；根据转换后的语音音频和非语音音频，生成第二音频，该第二音频是对第一音频进行音色转换后得到的音频。上述方法实现了对输入音频中具有不同音色的音频片段进行区分，并相应转换为不同的目标音色，提升了音色转换的灵活性，有助于提升最终转换得到的输出音频的听感丰富度。升最终转换得到的输出音频的听感丰富度。升最终转换得到的输出音频的听感丰富度。

【技术实现步骤摘要】
音色转换方法、装置、设备及存储介质


[0001]本申请涉及音频处理
，特别涉及一种音色转换方法、装置、设备及存储介质。

技术介绍

[0002]语音转换技术是一种将某一个发音人所说的音频内容，转换到另一个发音人的音色上的语音算法技术。本申请主要涉及说话语音的音色转换。
[0003]语音转换的技术类型可以分为两类：一是只保留发音人A的音频内容信息，转换后的音频由发音人B的发音节奏(每个字的发音时间)和发音特点(音调高低、音量高低、声音起伏等)来表达该内容信息；二是完全保留发音人A在音频中的内容信息、发音节奏和发音特点等，转换后只是用发音人B的音色声纹来表达该音频，通俗的说即将发音人B的音色“套”在该音频上。本申请主要针对上述第二种语音转换技术。
[0004]然而，目前的语音转换系统，对于目标音色的指定只有一个，当源音频中有多个音色时，整段音频只能转换到一个目标音色，导致音频整体的听感丰富度下降。

技术实现思路

[0005]本申请实施例提供了一种音色转换方法、装置、设备及存储介质。本申请实施例提供的技术方案如下：
[0006]根据本申请实施例的一个方面，提供了一种音色转换方法，所述方法包括：
[0007]对第一音频进行音源分离，得到语音音频和非语音音频；
[0008]基于所述语音音频的音色变化，将所述语音音频切分为至少两个语音音频片段；
[0009]根据各个所述语音音频片段分别对应的音色，对所述语音音频片段进行音色转换，得到转换后的语音音频；
[0010]根据所述转换后的语音音频和所述非语音音频，生成第二音频，所述第二音频是对所述第一音频进行音色转换后得到的音频。
[0011]根据本申请实施例的一个方面，提供了一种音色转换装置，所述装置包括：
[0012]音源分离模块，用于对第一音频进行音源分离，得到语音音频和非语音音频；
[0013]音频切分模块，用于基于所述语音音频的音色变化，将所述语音音频切分为至少两个语音音频片段；
[0014]音色转换模块，用于根据各个所述语音音频片段分别对应的音色，对所述语音音频片段进行音色转换，得到转换后的语音音频；
[0015]音频生成模块，用于根据所述转换后的语音音频和所述非语音音频，生成第二音频，所述第二音频是对所述第一音频进行音色转换后得到的音频。
[0016]根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述音色转换方法。
[0017]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述音色转换方法。
[0018]根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序以实现上述音色转换方法。
[0019]本申请实施例提供的技术方案至少包括如下有益效果：
[0020]通过将输入音频分离为语音音频和非语音音频，并基于语音音频的音色变化，将语音音频切分为至少两个语音音频片段，然后根据各个语音音频片段分别对应的音色，对语音音频片段进行音色转换，得到转换后的语音音频，最后将转换后的语音音频和非语音音频进行结合，生成输出音频；实现了对输入音频中具有不同音色的音频片段进行区分，并相应转换为不同的目标音色，提升了音色转换的灵活性，有助于提升最终转换得到的输出音频的听感丰富度。
附图说明
[0021]图1是本申请一个实施例提供的语音转换系统的处理流程的示意图；
[0022]图2是本申请一个实施例提供的音色转换方法的流程图；
[0023]图3是本申请另一个实施例提供的音色转换方法的流程图；
[0024]图4是本申请一个实施例提供的音色转换装置的框图；
[0025]图5是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
[0026]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0027]本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC(Personal Computer，个人计算机)、平板电脑、智能手机、可穿戴设备、智能机器人、车载终端等终端设备；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
[0028]本申请实施例提供了一种语音转换系统，如图1所示，其示出了该语音转换系统的处理流程的示意图，其能够实现对音频进行音色转换。
[0029]以输入音频为第一音频为例，首先对第一音频进行音源分离，得到语音音频和非语音音频。对于语音音频，基于音色变化进行切分，得到至少两个语音音频片段。之后，根据各个语音音频片段分别对应的音色，对语音音频片段进行音色转换，得到转换后的语音音频。在本申请技术方案中，可以灵活设置每一个语音音频片段需要转换至的目标音色，如将不同的语音音频片段，转换为不同的目标音色，如图中的音色1、音色2、
……
、音色N代表N种不同的目标音色，N为大于1的整数。对于非语音音频，可以识别该非语音音频中的噪声片段和非噪声片段，然后保留非噪声片段，并将噪声片段设置为静音片段，得到处理后的非语音音频。最后，根据转换后的语音音频和处理后的非语音音频，生成第二音频，该第二音频是对第一音频进行音色转换后得到的输出音频。
[0030]下面，将通过几个方法实施例，对本申请技术方案进行详细说明。
[0031]请参考图2，其示出了本申请一个实施例提供的音色转换方法的流程图。该方法各步骤的执行主体可以是计算机设备。该方法可以包括如下步骤210～240中的至少一个步骤。
[0032]步骤210，对第一音频进行音源分离，得到语音音频和非语音音频。
[0033]第一音频可以是任意一段音频，如任意一段包括说话人声音的音频。在本申请实施例中，第一音频作为输入音频，通过本申请提供的方法，对该第一音频进行音色转换，生成的输出音频可以称为第二音频。
[0034]对第一音频中的说话人声音进行识别，采用音源分离技术，得到语音音频和非语音音频。其中，语音音频中包括说话人声音，但不包括背景音乐、音效等非说话人声音。非语音音频中包括背景音乐、音效等非说话人声音，但不包括说话人声音。
[0035]需要说明的是，第一音频中可以有一个说话人，也可以有多个说话人。例如，一个说话人也可以变换不同的音色，产生具有音色变化的第一音频。又例如，不同的说话人本身具有不同的音色，因此不同的说话人可以产生具有音色变化的第一音频。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音色转换方法，其特征在于，所述方法包括：对第一音频进行音源分离，得到语音音频和非语音音频；基于所述语音音频的音色变化，将所述语音音频切分为至少两个语音音频片段；根据各个所述语音音频片段分别对应的音色，对所述语音音频片段进行音色转换，得到转换后的语音音频；根据所述转换后的语音音频和所述非语音音频，生成第二音频，所述第二音频是对所述第一音频进行音色转换后得到的音频。2.根据权利要求1所述的方法，其特征在于，所述基于所述语音音频的音色变化，将所述语音音频切分为至少两个语音音频片段，包括：将所述语音音频划分为多个第一音频片段；获取各个所述第一音频片段分别对应的声纹特征；根据各个所述第一音频片段分别对应的声纹特征的变化情况，将所述语音音频切分为所述至少两个语音音频片段。3.根据权利要求2所述的方法，其特征在于，所述根据各个所述第一音频片段分别对应的声纹特征的变化情况，将所述语音音频切分为所述至少两个语音音频片段，包括：计算相邻两个所述第一音频片段分别对应的声纹特征之间的相似度；若所述相似度小于阈值，则在相邻两个所述第一音频片段之间添加切分标记；根据所述语音音频中添加的各个所述切分标记，将所述语音音频切分为所述至少两个语音音频片段。4.根据权利要求1所述的方法，其特征在于，所述根据各个所述语音音频片段分别对应的音色，对所述语音音频片段进行音色转换，得到转换后的语音音频，包括：根据各个所述语音音频片段分别对应的音色，确定各个所述语音音频片段分别对应的目标音色；将所述语音音频片段对应的音色，转换为对应的目标音色，得到转换后的语音音频片段；根据各个所述转换后的语音音频片段，得到所述转换后的语音音频。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：黄杰雄，罗程方，高阳升，
申请(专利权)人：广州世音联软件科技有限公司，
类型：发明
国别省市：