音色转换方法、装置、电子设备、存储介质及程序产品制造方法及图纸

本申请提供一种音色转换方法、装置、电子设备、存储介质及程序产品，所述方法包括：获取第一音频数据，提取所述第一音频数据的第一韵律特征、语义特征以及非语义特征；其中，所述第一韵律特征表征预设音色以及与所述预设音色相应的第一韵律；根据所述第一韵律特征以及预先确定的目标音色数据确定第二韵律特征；其中，所述第二韵律特征表征目标音色以及所述第一韵律；根据所述第二韵律特征将所述语义特征以及所述非语义特征进行融合，得到语音融合特征；根据所述语音融合特征以及所述第二韵律特征确定第二音频数据。征确定第二音频数据。征确定第二音频数据。

【技术实现步骤摘要】
音色转换方法、装置、电子设备、存储介质及程序产品


[0001]本申请涉及电子数字数据处理
，尤其涉及一种音色转换方法、装置、电子设备、存储介质及程序产品。

技术介绍

[0002]语音转换是一种可以改变说话人音色且保持语义信息不变的技术，可用于影视剧配音、隐私保护和个性化语音合成等领域。随着科技的发展，语音转化技术更专注于对高表现力语音的语音转换。高表现力语音转换的目标是对于情感强烈以及含有丰富的非语义内容(哭、笑、咳嗽等)的输入音频取得优秀的转换效果。但是，现有技术中的语音转换技术大多在说话人的相似性、可懂度和表现力之间权衡，而无法兼得。

技术实现思路

[0003]有鉴于此，本申请的目的在于提出一种音色转换方法、装置、电子设备、存储介质及程序产品，以实现对包含非语义内容的输入音频进行高表现力的语音转换效果。
[0004]基于上述目的，本申请提供了一种音色转换方法，所述方法包括：
[0005]获取第一音频数据，提取所述第一音频数据的第一韵律特征、语义特征以及非语义特征；其中，所述第一韵律特征表征预设音色以及与所述预设音色相应的第一韵律；
[0006]根据所述第一韵律特征以及预先确定的目标音色数据确定第二韵律特征；其中，所述第二韵律特征表征目标音色以及所述第一韵律；
[0007]根据所述第二韵律特征将所述语义特征以及所述非语义特征进行融合，得到语音融合特征；
[0008]根据所述语音融合特征以及所述第二韵律特征确定第二音频数据。
[0009]基于同一专利技术目的，本申请还提供一种音色转换装置，所述装置包括：
[0010]获取模块，被配置为获取第一音频数据，提取所述第一音频数据的第一韵律特征、语义特征以及非语义特征；其中，所述第一韵律特征表征预设音色以及与所述预设音色相应的第一韵律；
[0011]特征提取模块，被配置为根据所述第一韵律特征以及预先确定的目标音色数据确定第二韵律特征；其中，所述第二韵律特征表征目标音色以及所述第一韵律；
[0012]融合模块，被配置为根据所述第二韵律特征将所述语义特征以及所述非语义特征进行融合，得到语音融合特征；
[0013]语音生成模块，被配置为根据所述语音融合特征以及所述第二韵律特征确定第二音频数据。
[0014]基于上述目的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的音色转换方法。
[0015]基于上述目的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计
算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一项所述的音色转换方法。
[0016]基于上述目的，本申请还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如第一方面所述的音色转换方法。
[0017]从上面所述可以看出，本申请提供的音色转换方法、装置、电子设备、存储介质及程序产品，首先获取第一音频数据，提取第一音频数据的第一韵律特征、语义特征以及非语义特征；其中，第一韵律特征表征预设音色以及与预设音色相应的第一韵律，进一步地，根据第一韵律特征以及预先确定的目标音色数据确定第二韵律特征；其中，第二韵律特征表征目标音色以及第一韵律，进一步地，根据第二韵律特征将语义特征以及非语义特征进行融合，得到语音融合特征，最后，根据语音融合特征以及第二韵律特征确定第二音频数据。本申请可以在保证原说话人语义和韵律不变的同时将原说话人的预设音色转换为目标音色，且将原说话人音频中的非语义信息完整的提取出来并进行转换处理，转换后得到的音频数据不仅可以贴合的改变音频的音色，还可以完整的保留原说话人音频中的非语义内容，实现了低响应延迟、高效率且准确的实时变声的效果。既实现了从原说话人音频中捕获高表现力的非语义内容的技术效果，又实现了原说话人音色和目标音色的优秀转换效果，同时还可以保持转换后音频的高清晰度。
附图说明
[0018]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例提供的一种音色转换方法的应用场景示意图。
[0020]图2为本申请实施例提供的一种音色转换方法的流程示意图。
[0021]图3为本申请实施例提供的一种音色转换装置的结构示意图。
[0022]图4为本实施例所提供的一种电子设备硬件结构示意图。
具体实施方式
[0023]为使本申请的目的、技术方案和优点更加清楚明白，下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
[0024]根据本申请的实施方式，提出了一种音色转换方法、装置、电子设备、存储介质及程序产品。
[0025]在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0026]需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第
一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0027]以下，通过具体的实施例进一步详细说明本申请的技术方案。
[0028]参考图1，为本申请实施例提供的一种音色转换方法的应用场景示意图。该应用场景包括终端设备101、服务器102、和数据存储系统103。其中，终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、游戏机、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音色转换方法，其特征在于，所述方法包括：获取第一音频数据，提取所述第一音频数据的第一韵律特征、语义特征以及非语义特征；其中，所述第一韵律特征表征预设音色以及与所述预设音色相应的第一韵律；根据所述第一韵律特征以及预先确定的目标音色数据确定第二韵律特征；其中，所述第二韵律特征表征目标音色以及所述第一韵律；根据所述第二韵律特征将所述语义特征以及所述非语义特征进行融合，得到语音融合特征；根据所述语音融合特征以及所述第二韵律特征确定第二音频数据。2.根据权利要求1所述的方法，其特征在于，所述获取第一音频数据，提取所述第一音频数据的第一韵律特征，包括：确定所述第一音频数据的音高，将所述音高作为所述第一韵律特征。3.根据权利要求1所述的方法，其特征在于，所述获取第一音频数据，提取所述第一音频数据的语义特征，包括：将所述第一音频数据输入到预先构建的自动语音识别模型，确定所述第一音频数据的瓶颈特征，并提取所述瓶颈特征的上下文信息，得到所述语义特征；其中，所述瓶颈特征表征所述第一音频数据的语义信息；所述上下文信息表征所述第一音频数据中语义的连贯性。4.根据权利要求1所述的方法，其特征在于，所述提取所述第一音频数据的非语义特征，包括：将所述第一音频数据输入到预先构建的语音扰动模型，提取所述第一音频数据的扰动波形特征，根据所述扰动波性特征得到所述非语义特征；其中，所述扰动波形特征表征所述第一音频数据的非语义信息。5.根据权利要求2所述的方法，其特征在于，所述根据所述第一韵律特征以及预先确定的目标音色数据确定第二韵律特征，包括：确定所述目标音色数据的目标音色特征；将所述目标音色特征和所述音高输入到韵律编码器，确定所述第二韵律特征。6.根据权利要求1所述的方法，其特征在于，所述根据所述第二韵律特征将所述语义特征以及所述非语义特征进行融合，得到语音融合特征，包括：将所述第二韵律特征、所述语...

【专利技术属性】
技术研发人员：朱鹏程，宁子谦，毕梦霄，吕唐杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：