本申请提出一种口才训练方法、装置、设备及存储介质，口才训练方法获取训练对象的口才表达音频数据以及视频流，对口才表达音频数据以及视频流进行情感分析，确定训练对象的情感标签，确定口才表达音频数据对应的文本内容，通过跨模态分析模型对口才表达音频数据、视频流以及文本内容进行语义关系、上下文信息以及手势动作的协同分析，生成手势动作指导建议以及语音指导建议，基于跨模态的协同分析，有利于准确反映不同模态数据的关联以及保证训练过程中模态数据的连贯性，提高手势动作指导建议以及语音指导建议的准确性；根据情感合成模型、语音指导建议以及文本内容生成情感标签对应的目标改善语音，进一步提高训练对象的训练效果。
【技术实现步骤摘要】
本申请涉及口才训练领域，尤其涉及一种口才训练方法、装置、设备及存储介质。
技术介绍
1、传统的口才训练方法主要依赖于人工教练的指导和评估，缺乏系统化和个性化的训练支持。在口才表达行业中，存在以下技术问题：
2、1.传统数据处理效率低下：传统方法在处理口才训练数据时，通常需要将数据转换为特定格式或进行字符型转换，这导致数据处理效率低下。特别是对于大规模数据集或需要实时处理的情况，数据的转换和处理所需的时间过长，极大地影响了训练的效率和实时性。
3、2.跨模态数据的综合利用问题：口才表达涉及多模态数据，包括语音、图像和文本等。然而，传统方法难以充分利用和分析不同模态数据之间的关联，导致对口才表达的理解和评估不够全面和准确。这限制了训练系统对于演讲者的全面支持，无法提供多模态数据的协同分析和反馈。
4、3.跨语言训练的挑战：在跨语言环境下进行口才训练一直面临着挑战。传统方法对于跨语言训练的支持有限，无法提供准确的语言转换、发音评估和口音纠正等功能，这限制了学习者在跨文化交流和国际口才表达能力的提升。此外，传统方法未能充分考虑到不同语言和文化之间的差异，因此无法提供个性化的跨文化训练支持。
5、4.缺乏实际应用场景的模拟：许多口才训练方法缺乏实际应用场景的模拟，这导致学习者在真实演讲中可能会面临适应性问题。传统方法通常无法提供高度互动和实用性的训练环境，无法模拟不同演讲场景和听众反应，这对于提高学习者的适应能力和现场表现力非常关键。
技术实现思路
1、本申请实施例提供一种口才训练方法、装置、设备及存储介质，以解决相关技术存在的至少一问题，技术方案如下：
2、第一方面，本申请实施例提供了一种口才训练的方法，包括：
3、获取训练对象的口才表达音频数据以及视频流；
4、对所述口才表达音频数据以及所述视频流进行情感分析，确定所述训练对象的情感标签；
5、确定所述口才表达音频数据对应的文本内容，通过跨模态分析模型对所述口才表达音频数据、所述视频流以及所述文本内容进行语义关系、上下文信息以及手势动作的协同分析，生成手势动作指导建议以及语音指导建议；
6、根据情感合成模型、所述语音指导建议以及所述文本内容生成所述情感标签对应的目标改善语音。
7、在一种实施方式中，所述对所述口才表达音频数据以及所述视频流进行情感分析，确定所述训练对象的情感标签包括：
8、对所述视频流进行关键帧提取，对提取的关键帧进行姿态识别，确定所述训练对象的姿态信息；
9、通过第一情感模型对所述姿态信息进行分析，确定第一情感状态，通过第二情感模型对所述口才表达音频数据进行分析，确定第二情感状态，根据所述第一情感状态、所述第二情感状态以及预设权重，计算确定所述训练对象的情感标签；
10、或者，
11、将所述口才表达音频数据以及所述视频流输入至多模态分析模型进行情感分析，确定所述训练对象的情感标签。
12、在一种实施方式中，所述通过跨模态分析模型对所述口才表达音频数据、所述视频流以及所述文本内容进行语义关系、上下文信息以及手势动作的协同分析，生成手势动作指导建议以及语音指导建议包括：
13、通过所述跨模态分析模型对所述视频流进行动作分析，确定所述训练对象的手势动作信息；
14、通过所述跨模态分析模型对所述手势动作信息、所述口才表达音频数据以及所述文本内容建模语义关系以及上下文信息；
15、利用所述跨模态分析模型通过上下文建模、推理算法以及自然语言处理算法对所述口才表达音频数据以及所述上下文信息进行关联分析，确定所述训练对象的表达意图；
16、根据所述语义关系以及所述表达意图，生成手势动作指导建议以及语音指导建议。
17、在一种实施方式中，所述根据情感合成模型以及所述语音指导建议生成所述情感标签对应的目标改善语音包括：
18、通过所述情感合成模型提取所述语音指导建议中的情感关键词，并根据所述情感关键词匹配目标情感；
19、通过所述情感合成模型从所述口才表达音频数据中提取所述训练对象的音色，并根据所述目标情感对所述训练对象的音色进行声音调整，确定调整声音；
20、根据所述调整声音以及所述文本内容，生成所述情感标签对应的目标改善语音。
21、在一种实施方式中，所述方法还包括：
22、获取语言转换表达请求，响应所述语言转换表达请求通过机器翻译算法将所述文本内容翻译为第一目标语言；
23、确定所述目标语言的语言类型，根据所述语言类型以及所述语言转换模型，对所述目标语言进行句子结构的转换，得到第二目标语言；
24、获取训练对象基于所述第二目标语言的新的口才表达音频数据以及新的视频流；
25、根据新的口才表达音频数据以及新的视频流，返回所述对所述口才表达音频数据以及所述视频流进行情感分析，确定所述训练对象的情感标签的步骤。
26、在一种实施方式中，所述方法还包括：
27、根据所述文本内容从文化库中确定第一文化信息；
28、根据所述第二目标语言从所述文化库的第二文化信息；
29、对所述第一文化信息以及所述第二文化信息进行差异分析，确定差异信息；
30、根据所述差异信息生成适应性指导建议，适应性指导建议包括言辞选择或者行为举止。
31、在一种实施方式中，所述方法还包括：
32、获取所述训练对象的脑电图，通过信号分析模型对所述脑电图进行信号分析，确定所述训练对象的注意力信息以及情绪信息；
33、当所述注意力信息表征注意力分散时，生成第一调整提醒，以及，当所述情绪信息与所述语音指导建议中的情感关键词存在差异时，生成第二调整提醒。
34、第二方面，本申请实施例提供了一种口才训练装置，包括：
35、获取模块，用于获取训练对象的口才表达音频数据以及视频流；
36、情感分析模块，用于对所述口才表达音频数据以及所述视频流进行情感分析，确定所述训练对象的情感标签；
37、协同分析模块，用于确定所述口才表达音频数据对应的文本内容，通过跨模态分析模型对所述口才表达音频数据、所述视频流以及所述文本内容进行语义关系、上下文信息以及手势动作的协同分析，生成手势动作指导建议以及语音指导建议；
38、生成模块，用于根据情感合成模型、所述语音指导建议以及所述文本内容生成所述情感标签对应的目标改善语音。
39、在一种实施方式中，所述生成模块还用于：
40、获取语言转换表达请求，响应所述语言转换表达请求通过机器翻译算法将所述文本内容翻译为第一目标语言；
41、确定所述目标语言的语言类型，根据所述语言类型以及所述语言转换模型，对所述目标语言进行句子结构的转换，得到第二目标语言；
42、获取训本文档来自技高网
...
【技术保护点】
1.一种口才训练方法，其特征在于，包括：
2.根据权利要求1所述口才训练方法，其特征在于：所述对所述口才表达音频数据以及所述视频流进行情感分析，确定所述训练对象的情感标签包括：
3.根据权利要求1所述口才训练方法，其特征在于：所述通过跨模态分析模型对所述口才表达音频数据、所述视频流以及所述文本内容进行语义关系、上下文信息以及手势动作的协同分析，生成手势动作指导建议以及语音指导建议包括：
4.根据权利要求1-3任一项所述口才训练方法，其特征在于：所述根据情感合成模型以及所述语音指导建议生成所述情感标签对应的目标改善语音包括：
5.根据权利要求1-3任一项所述口才训练方法，其特征在于：所述方法还包括：
6.根据权利要求5所述口才训练方法，其特征在于：所述方法还包括：
7.根据权利要求1-3任一项所述口才训练方法，其特征在于：所述方法还包括：
8.一种口才训练装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储指令，所述指令由所述处理器加载并执行，以实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时实现如权利要求1-7中任一项所述的方法。
...
【技术特征摘要】
1.一种口才训练方法，其特征在于，包括：
2.根据权利要求1所述口才训练方法，其特征在于：所述对所述口才表达音频数据以及所述视频流进行情感分析，确定所述训练对象的情感标签包括：
3.根据权利要求1所述口才训练方法，其特征在于：所述通过跨模态分析模型对所述口才表达音频数据、所述视频流以及所述文本内容进行语义关系、上下文信息以及手势动作的协同分析，生成手势动作指导建议以及语音指导建议包括：
4.根据权利要求1-3任一项所述口才训练方法，其特征在于：所述根据情感合成模型以及所述语音指导建议生成所述情感标签对应的目标改善语音包括：
5.根据权利...
【专利技术属性】
技术研发人员：李翔，赵璧，吴云川，詹歆，吴美玲，
申请(专利权)人：新励成教育科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。