【技术实现步骤摘要】
音频合成方法、装置、设备及计算机存储介质
[0001]本专利技术实施例涉及视听结合
，具体涉及一种音频合成方法、装置、设备及计算机存储介质。
技术介绍
[0002]目前虚拟设备中可以正常看VR视频、刷影视剧，而听书更多的使用手机等传统设备。但本申请的专利技术人在实施本专利技术的过程中发现，对于VR看剧和手机听书之间切换目前只能独立并行，无法做到VR观影与听书之间无缝切换。
技术实现思路
[0003]鉴于上述问题，本专利技术实施例提供了一种音频合成方法，用于解决现有技术中存在的VR观影无法与听书之间无缝切换的问题。
[0004]根据本专利技术实施例的一个方面，提供了一种音频合成方法，所述方法包括：
[0005]获取从观影状态切换至听书状态时的视频数据和与所述视频数据对应的小说文本内容；
[0006]对所述视频数据进行声纹及情感提取处理获取各角色声纹信息和各角色视频情感分类；
[0007]对所述小说文本内容进行对话及情感提取处理获取各角色对话文本和各角色文本情感分类；>[0008]根据各本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种音频合成方法，其特征在于，所述方法包括：获取从观影状态切换至听书状态时的视频数据和与所述视频数据对应的小说文本内容；对所述视频数据进行声纹及情感提取处理获取各角色声纹信息和各角色视频情感分类；对所述小说文本内容进行对话及情感提取处理获取各角色对话文本和各角色文本情感分类；根据各所述角色声纹信息、各所述角色视频情感分类、各角色对话文本、各所述角色文本情感分类和外界环境情感分类，对各所述角色对话文本进行音频合成处理，获取所述小说文本内容对应的听书音频。2.根据权利要求1所述的方法，其特征在于，所述获取从观影状态切换至听书状态时的视频数据和与所述视频数据对应的小说文本内容，包括：获取所述观影状态下的所述视频数据和所述听书状态下的小说文本；将所述视频数据输入预设的关键对话文本判别模型，获取目标关键对话文本；将所述目标关键对话文本与所述小说文本中的小说对话进行匹配，得到所述视频数据对应的小说文本内容。3.根据权利要求1所述的方法，其特征在于，所述根据各所述角色声纹信息、各所述角色视频情感分类、各所述角色文本情感分类和外界环境情感分类，对各所述角色对话文本进行音频合成处理，获取所述小说文本内容对应的听书音频，包括：根据所述各所述角色声纹信息与所述小说文本内容中各角色，确定所述小说文本内容中各角色对应的目标声纹信息；将各所述角色视频情感分类、各所述角色文本情感分类和所述外界环境情感分类，输入预设的情感分类融合模型，得到整体情感融合分类；根据所述目标声纹信息及所述整体情感融合分类，合成所述小说文本内容对应的听书音频。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述将各所述角色视频情感分类、各所述角色文本情感分类和所述外界环境情感分类，输入预设的情感分类融合模型，得到整体情感融合分类之前，所述方法包括：采集各个外界环境因子对应的环境参数；根据各个所述环境参数及对应的分段函数，分别计算各所述外界环境因子的情绪得分；根据各所述情绪得分，确定所述外界环境情感分类。5.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述根据各所述角色声纹信息、各所述角色视频情感分类、各所述角色文本情感分类和外界环境情感分类，对各所述角色对话文本进行音频合成处理，获取所述小说文本内容对应的听书音频，包括：确定所述视频数据中各角色与所述小说文本内容中各角色是否一致；若所述角色一致，则提取所述视频数据中各角色对应的各所述角色声纹信息作为所述音频合成处理中所述小说文本内容中各角色的角色声纹信息；若所述角色不一致，则根据所述小说文本内容中目标角色的角色信息，确定相似角色，
并将所述相似角色对应的声纹信息作为所述音频合成处理中所述小说文本内容中目标角色的声纹信息；所述目标角色...
【专利技术属性】
技术研发人员：奚晓钰，刘蕾，李波，刘永杰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。