本公开公开了机器人语音交互的方法和装置，涉及机器人技术领域，基于环形麦克风阵列接收唤醒信号，在接收唤醒信号的过程中基于降噪板过滤机器人所处环境的环境噪声；响应于唤醒信号，基于波束机制拾取唤醒方向的语音信息；基于VAD端点检测算法对语音信息中语音的起始点和终止点进行识别，得到语音信息中的语音信号和非语音信号；排除非语音信号，将语音信号传输至语音识别算法；基于语音识别算法对语音信号进行特征提取和模式识别，得到语音信号对应的语义信息；基于预设问答方式在预设知识库中匹配与语义信息对应的回复数据；将文本形式的回复数据基于语音合成算法转换为语音数据；基于预设扬声器对语音数据进行播放，以使机器人进行语音交互。
1、随着人工智能技术的快速发展，迎宾值班机器人已成为现代服务行业的重要组成部分。语音交互作为机器人与用户之间最直接、最自然的沟通方式，其性能直接影响到用户体验和服务质量。然而，现有的迎宾值班机器人在语音交互方面仍存在诸多不足，如唤醒信号不灵敏、语音识别率低、噪声干扰大等问题。因此，开发一种具备高灵敏度、高识别率、低噪声干扰的迎宾值班机器人语音交互技术，具有十分重要的现实意义和应用价值。
1、本公开提供了一种机器人语音交互的方法和装置，主要目的在于解决相关技术中迎宾值班机器人在语音交互方面仍存在诸多不足，如唤醒信号不灵敏、语音识别率低、噪声干扰大等问题。
>8、基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据；9、将文本形式的所述回复数据基于语音合成算法转换为语音数据；
10、基于预设扬声器对所述语音数据进行播放，以使机器人进行语音交互。
11、可选的，所述方法包括：
12、在将所述语音信息传输至服务端时，基于websocket协议将所述语音信息实时传输至所述服务端，所述服务端用于运行vad端点检测算法、所述语音识别算法、所述语音合成算法，且包括所述预设知识库，所述websocket协议还用于将所述语音数据传输至所述机器人；
13、基于websocket协议的回调函数确定所述语音信息结束时，启动对话流管理机制和所述预设知识库的查询流程。
14、可选的，所述对话流管理机制包括：
15、在用户和所述机器人的语音交互过程中，对特定对话能力中的问题和回答的流程进行定义；
16、指定所述机器人对所述用户提出的问题的处理方式，以及在不同的情境下选择不同的回答内容。
17、可选的，在所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据之前，所述方法包括：
18、当所述预设问答方式为faq问答时，收集常见问题和对应的答案，形成faq数据集；
19、对所述faq数据集进行分词、去除停用词、词性标注处理，得到增强后faq数据集；
20、基于词嵌入模型将所述增强后faq数据集问题和答案转换为固定维度的向量表示，并存储于所述预设知识库。
21、可选的，在确定所述预设问答方式为所述faq问答时，所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据包括：
22、将所述语义信息转换为目标问题向量；
23、计算所述目标问题向量与所述预设知识库中每个问题向量的相似度；
24、若所述预设知识库中存在一问题向量与所述目标问题向量的相似度最大，则确定该问题向量对应的答案为所述目标问题向量的目标答案；
25、将所述目标答案作为所述回复数据。
26、可选的，在所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据之前，所述方法包括：
27、当所述预设问答方式为表格问答时，收集包含结构化信息的表格数据；
28、将所述表格数据存储于所述预设知识库。
29、可选的，在确定所述预设问答方式为所述表格问答时，所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据包括：
30、基于nlp技术确定所述语义信息中提出的问题的实体；
31、将所述实体与所述表格数据中的对应字段进行链接，得到实体链接结果；
32、根据所述问题确定用户查询的目的信息类型；
33、根据所述目的信息类型和所述实体链接结果构建针对表格数据的查询语句；
34、基于所述查询语句在所述预设知识库中查询所述语义信息对应的所述回复数据。
35、可选的，所述方法包括：
36、在基于所述预设扬声器对所述语音数据进行播放时，若所述机器人接收到语音指令导致播放任务被打断，则控制所述机器人切换到所述语音指令对应的交互任务。
37、可选的，将所述预设扬声器的输出端与所述降噪板的参考信号端进行连接，以从混合语音中去除所述预设扬声器的语音，所述混合语音包括用户输入所述机器人的语音和所述预设扬声器的语音。
38、根据本公开的第二方面，提供了一种机器人语音交互的装置，包括：
39、接收单元，用于基于环形麦克风阵列接收唤醒信号，在接收所述唤醒信号的过程中基于降噪板过滤机器人所处环境的环境噪声，所述降噪板设置于所述机器人；
40、控制单元，用于响应于所述唤醒信号，控制机器人语音交互系统进入工作状态，并基于波束机制拾取唤醒方向的语音信息；
41、识别单元，用于基于vad端点检测算法对所述语音信息中语音的起始点和终止点进行识别，得到所述语音信息中的语音信号和非语音信号；
42、传输单元，用于排除所述非语音信号，将所述语音信号传输至语音识别算法；
43、提取单元，用于基于所述语音识别算法对所述语音信号进行特征提取和模式识别，得到所述语音信号对应的语义信息；
44、匹配单元，用于基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据；
45、转换单元，用于将文本形式的所述回复数据基于语音合成算法转换为语音数据；
46、播放单元，用于基于预设扬声器对所述语音数据进行播放，以使机器人进行语音交互。
47、本公开提供的机器人语音交互的方法和装置，基于环形麦克风阵列接收唤醒信号，在接收所述唤醒信号的过程中基于降噪板过滤机器人所处环境的环境噪声，所述降噪板设置于所述机器人；响应于所述唤醒信号，控制机器人语音交互系统进入工作状态，并基于波束机制拾取唤醒方向的语音信息；基于vad端点检测算法对所述语音信息中语音的起始点和终止点进行识别，得到所述语音信息中的语音信号和非语音信号；排除所述非语音信号，将所述语音信号传输至语音识别算法；基于所述语音识别算法对所述语音信号进行特征提取和模式识别，得到所述语音信号对应的语义信息；基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据；将文本形式的本文档来自技高网...
【技术保护点】
1.一种机器人语音交互的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
3.根据权利要求2所述的方法，其特征在于，所述对话流管理机制包括：
4.根据权利要求1所述的方法，其特征在于，在所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据之前，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，在确定所述预设问答方式为所述FAQ问答时，所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据包括：
6.根据权利要求1所述的方法，其特征在于，在所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据之前，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，在确定所述预设问答方式为所述表格问答时，所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据包括：
8.根据权利要求1所述的方法，其特征在于，所述方法包括：
9.根据权利要求1所述的方法，其特征在于，将所述预设扬声器的输出端与所述降噪板的参考信号端进行连接，以从混合语音中去除所述预设扬声器的语音，所述混合语音包括用户输入所述机器人的语音和所述预设扬声器的语音。
10.一种机器人语音交互的装置，其特征在于，包括：
...
【技术特征摘要】
1.一种机器人语音交互的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
3.根据权利要求2所述的方法，其特征在于，所述对话流管理机制包括：
4.根据权利要求1所述的方法，其特征在于，在所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据之前，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，在确定所述预设问答方式为所述faq问答时，所述基于预设问答方式在预设知识库中匹配与所述语义信息对应的回复数据包括：
6.根据权利要求1所述的方法，其特征在于，在所述基于预设问答方...
【专利技术属性】
技术研发人员：梁瑛瑛，宋明明，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。