本申请实施例提供一种语音交互方法、系统、装置、设备及存储介质。在该语音交互系统中，终端设备可获取用户的语音数据和面部特征数据，云端服务器可根据面部特征数据对备用语音引擎进行排序。云端服务器可在第一语言类型对应的语音识别引擎与语音数据不匹配时，从备用语音识别引擎中选择出目标语音识别引擎，并根据目标语音识别引擎对语音数据的第二语音识别结果，生成语音数据的答复信息。通过这种实施方式，当用户使用的语言类型不同时，终端设备可较为准确地对用户输入的语音数据进行语音识别，进而，可为用户提供与该语音信息较为匹配的答复。为匹配的答复。为匹配的答复。
【技术实现步骤摘要】
语音交互方法、系统、装置、设备及存储介质
[0001]本申请实施例涉及智能机器人
，尤其涉及一种语音交互方法、系统、装置、设备及存储介质。
技术介绍
[0002]随着人工智能科技的不断发展，智能对话越来越普及。诸如在商场、超市、餐厅等场景下，可智能对话的智能设备(例如机器人)被广泛应用。在现有技术中，通常在已知用户语言类型的前提下，预先手动设置与用户语言类型对应的ASR(Automatic Speech Recognition，自动语音识别)引擎，以对用户输入的语音信息进行识别，将语音信息转换为文字信息，识别该文字信息并根据识别结果进行答复。但是，在诸多未知用户语言类型的使用场景中，无法提前获知用户语言类型，从而无法在与用户进行交互之前对ASR引擎进行设置。进而，导致无法准确地对用户输入的语音信息进行语音识别，从而导致无法为用户提供与该语音信息较为匹配的答复。因此，亟待提出一种解决方案。
技术实现思路
[0003]本申请实施例提供一种语音交互方法、系统、装置、设备及存储介质，用以较为准确地对用户输入的语音数据进行语音识别，进而，可为用户提供与该语音信息较为匹配的答复。
[0004]本申请实施例提供一种语音交互方法，包括：获取用户针对设备发出的语音数据以及所述用户的面部特征数据；根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息。
[0005]进一步可选地，根据所述面部特征数据，对至少一种备用语音识别引擎进行排序，包括；根据所述面部特征数据，识别所述用户所属的目标语言类型群体；根据所述用户所属的目标语言类型群体以及语言类型群体和备用语音识别引擎的对应关系，对所述至少一种备用语音识别引擎进行排序；所述面部特征数据包括：皮肤特征数据、头发特征数据、眼睛特征数据、鼻梁特征数据、嘴唇特征数据中的至少一种。
[0006]进一步可选地，判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配之前，还包括：获取所述设备当前所处的地理位置；根据所述地理位置的语言分布特征，确定所述第一语言类型，并将所述第一语言类型对应的识别引擎，作为所述第一语音识别引擎。
[0007]进一步可选地，判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配，包括：通过预设的第一语言类型对应的第一语音识别引擎，对所述语音数据进
行语音识别，得到第一语音识别结果；获取所述第一语音识别结果中的文本信息；计算所述文本信息的识别准确率；若所述识别准确率小于设定准确率阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。
[0008]进一步可选地，所述方法还包括：若所述识别准确率大于或等于所述设定准确率阈值，则采用问答匹配模型对所述文本信息进行问答匹配，得到答复信息以及所述答复信息的置信度；若所述答复信息的置信度小于预设的置信度阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。
[0009]进一步可选地，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎，包括：按照所述至少一种备用语音识别引擎的排序，依次对所述至少一种备用语音识别引擎进行选择，得到所述第二语音识别引擎；根据所述第二语音识别结果，判断所述语音数据与所述第二语音识别引擎是否匹配；若所述语音数据与所述第二语音识别引擎匹配，则将所述第二语音识别引擎，作为所述目标语音识别引擎。
[0010]本申请实施例还提供一种语音交互系统，包括：终端设备以及云端服务器；其中，所述终端设备主要用于：获取用户针对设备发出的语音数据以及所述用户的面部特征数据；将所述语音数据和所述面部特征数据发送到所述云端服务器；所述云端服务器主要用于：接收所述语音数据和所述面部特征数据；根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息。
[0011]本申请实施例还提供一种语音交互装置，包括：获取模块，用于：获取用户针对设备发出的语音数据以及所述用户的面部特征数据；排序模块，用于：根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；判断模块，用于：判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；选择模块，用于：若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；生成模块，用于：根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息。
[0012]本申请实施例还提供一种云端服务器，包括：存储器、处理器以及通信组件；其中，所述存储器用于：存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令，以用于：执行所述语音交互方法中的步骤。
[0013]本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现所述语音交互方法中的步骤。
[0014]本申请实施例提供一种语音交互方法、系统、装置、设备及存储介质中，终端设备可获取用户的语音数据和面部特征数据，云端服务器可根据面部特征数据对备用语音引擎进行排序。云端服务器可在第一语言类型对应的语音识别引擎与语音数据不匹配时，从备用语音识别引擎中选择出目标语音识别引擎，并根据目标语音识别引擎对语音数据的第二语音识别结果，生成语音数据的答复信息。通过这种实施方式，当用户使用的语言类型不同
时，终端设备可较为准确地对用户输入的语音数据进行语音识别，进而，可为用户提供与该语音信息较为匹配的答复。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请一示例性实施例提供的语音交互系统的结构示意图；
[0017]图2为本申请一示例性实施例提供的实际场景下语音交互系统的结构示意图；
[0018]图3为本申请另一示例性实施例提供的实际场景下语音交互系统的结构示意图；
[0019]图4为本申请本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像的语音交互方法，其特征在于，包括：获取用户针对设备发出的语音数据以及所述用户的面部特征数据；根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息。2.根据权利要求1所述的方法，其特征在于，根据所述面部特征数据，对至少一种备用语音识别引擎进行排序，包括；根据所述面部特征数据，识别所述用户所属的目标语言类型群体；根据所述用户所属的目标语言类型群体以及语言类型群体和备用语音识别引擎的对应关系，对所述至少一种备用语音识别引擎进行排序；所述面部特征数据包括：皮肤特征数据、头发特征数据、眼睛特征数据、鼻梁特征数据、嘴唇特征数据中的至少一种。3.根据权利要求1所述的方法，其特征在于，判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配之前，还包括：获取所述设备当前所处的地理位置；根据所述地理位置的语言分布特征，确定所述第一语言类型，并将所述第一语言类型对应的识别引擎，作为所述第一语音识别引擎。4.根据权利要求1所述的方法，其特征在于，判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配，包括：通过预设的第一语言类型对应的第一语音识别引擎，对所述语音数据进行语音识别，得到第一语音识别结果；获取所述第一语音识别结果中的文本信息；计算所述文本信息的识别准确率；若所述识别准确率小于设定准确率阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。5.根据权利要求4所述的方法，其特征在于，还包括：若所述识别准确率大于或等于所述设定准确率阈值，则采用问答匹配模型对所述文本信息进行问答匹配，得到答复信息以及所述答复信息的置信度；若所述答复信息的置信度小于预设的置信度阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。6.根据权利要求1所述的方法，其特征在于，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎，包括：按照所述至少...
【专利技术属性】
技术研发人员：王军锋，袁国勇，王伟健，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。