一种基于语境和Transformer的多语言对话机器人系统及其对话方法技术方案

本发明专利技术提供一种基于语境和Transformer的多语言对话机器人系统及其对话方法，该系统包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块和语音合成模块；目标语种识别器模块对不同的语种进行识别；语音识别模块是得到识别后的文本问句；语音情绪识别模块对语音进行情绪识别；语音多语言融合器模块将目标语言结合语音情绪特征和多语言融合文本答案输出情绪化翻译结果；语音合成模块将答案文本通过语音合成输出语音答案。本发明专利技术通过自动识别目标语种和语音情绪，进行语义多语言融合进行答案选择，并通过基于语境的答案翻译，能够智能回答多语言的问题，降低了采用人工客服的时间成本和资金成本，提高了对话机器人回答能力。高了对话机器人回答能力。高了对话机器人回答能力。

【技术实现步骤摘要】
一种基于语境和Transformer的多语言对话机器人系统及其对话方法


[0001]本专利技术涉及智能语音
，具体涉及一种基于语境和Transformer的多语言对话机人系统及其对话方法。

技术介绍

[0002]智能问答(Question Answering,QA)是指利用计算机自动回答用户所提出的问题以满足用户知识需求的问答系统。不同于现有的搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。近年来，随着人工智能的飞速发展，智能问答已经成为备受关注且发展前景广泛的研究方向。现代的问答系统是融合知识库、信息检索、机器学习、自然语言理解等技术的人机对话服务。智能问答系统在很多方面不同于传统的信息检索系统：
[0003]1)系统的输入、输出都是自然语言；
[0004]2)需要考虑用户对话的上下文，即语境；
[0005]3)在不能理解用户意图的情况下，会请求用户补充信息。目前智能问答系统存在数据难收集(尤其是小语种)、跨语言能力差、多轮问答任务场景难度大等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语境和Transformer的多语言对话机器人系统，其特征在于包括：目标语种识别器模块、语音识别模块、语音情绪识别模块、语音多语言融合器模块以及语音合成模块；所述目标语种识别器模块对不同的语种进行识别；所述语音识别模块是根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；所述语音情绪识别模块基于多模态语音情感分类算法对语音进行情绪识别；所述语音多语言融合器模块是基于Transformer的端到端神经网络机器翻译引擎将不同语种的源语言文本翻译成不同语种的目标语言并结合语音情绪特征和多语言融合文本答案进行分类输出情绪化翻译结果；所述语音合成模块将目标语言答案文本通过语音合成输出语音答案。2.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述目标语种识别器模块用朴素贝叶斯分类器对不同的语种进行识别。3.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述语音识别模块识别语音过程中将多语言融合文本经过BERT文本语义特征编码器处理得到文本语义特征向量。4.根据权利要求1所述的基于语境和Transformer的多语言对话机器人系统，其特征在于，所述语音情绪识别模块对语音进行情绪识别具体是将音频文件经过MDRE语音情感分类器处理得到音频情绪特征。5.一种基于语境和Transformer的多语言对话机器人系统的对话方法，其特征在于，包括如下步骤：S1：目标语种识别器模块将客户的声音信息或文本信息通过目标语种识别器识别出目标语种；S2：语音识别模块根据目标语种选择不同的语音识别引擎并得到识别后的文本问句；S3：语音情绪识别模块对语音进行情绪识别，输出音频情绪特征向量；S4：语音多语言融合器模块将步骤S2中语音识别的结果先通过基于Transformer的基准语言翻译模块得到不同目标语言的答案文本并将多语言答案进行融合，最后融合步骤S3中得到音频情绪特征向量输出目标语言答案文本，即情绪化翻译结果；S5：语音合成模块将目标语言答案文本通过语...

【专利技术属性】
技术研发人员：庞文君，杨猛，许红波，
申请(专利权)人：前海企保科技深圳有限公司，
类型：发明
国别省市：