语音咨询设备、语音咨询方法及存储介质技术

本申请涉及一种语音咨询设备、语音咨询方法及存储介质，属于计算机技术领域，该设备包括；麦克风模组、AEC电路、摄像头和处理器；AEC电路将语音咨询设备自身扬声器的声音分离出来，不送入语音识别；可以从源头提高语音咨询设备采集的音频设备的清晰度；同时，通过波束成形算法分析用户面向麦克风交互的角度，从而抑制角度外的语音信号，将角度内的多通道的人声信号先整合成单通道音频，送入语音识别，可以进一步提高音频数据的清晰度，进而提高语音识别的准确性。另外，通过摄像头确定用户与语音咨询设备之间人机距离，自动切换到对应距离的识别模式，可以提高语音识别的准确度，从而提高语音咨询设备的响应准确性。提高语音咨询设备的响应准确性。提高语音咨询设备的响应准确性。

【技术实现步骤摘要】
语音咨询设备、语音咨询方法及存储介质


[0001]本申请涉及一种语音咨询设备、语音咨询方法及存储介质，属于计算机


技术介绍

[0002]目前，随着人工智能的发展，自助终端设备广泛使用。自助终端设备一般由人机界面组成，无需工作人员参与就可以由用户根据设备提示自主进行操作，实现业务办理。
[0003]一种典型的自助终端设备还配置语音咨询功能，得到语音咨询设备。此时，语音咨询设备上安装有麦克风，麦克风采集用户发出的语音数据，识别语音数据对应的语义，并执行该语义对应的操作。
[0004]然而，语音咨询设备的应用环境通常噪声较大，比如：在政务大厅中，可能存在广播声、人员说话声等，此时，可能会导致语音咨询设备识别语音数据不准确的问题，会影响语音咨询设备的使用效果。

技术实现思路

[0005]本申请提供了一种语音咨询设备、语音咨询方法及存储介质，可以解决传统的语音咨询设备识别语音不准确、使用效果不佳的问题。本申请提供如下技术方案：
[0006]第一方面，提供一种语音咨询设备，所述语音咨询设备包括：
[0007]麦克风模组，包括PCB板、安装于所述PCB板上的多个麦克风、和位于各个麦克风之上的模组面板；所述PCB板和所述模组面板之间设置有每个麦克风对应的密封层，所述密封层适于密封所述麦克风；所述多个麦克风形成第一采集通道和第二采集通道；所述第一采集通道适于采集录音数据，所述第二采集通道适于采集回采数据；
[0008]与所述麦克风模组相连的声学回声消除AEC电路，适于使用所述录音数据和所述回采数据进行扬声器的回声消除，得到待识别音频数据；
[0009]摄像头，适于采集所述语音咨询设备前方的图像数据；
[0010]与所述AEC电路和所述摄像头相连的处理器，所述处理器，用于：
[0011]获取所述摄像头采集的图像数据和所述待识别音频数据；
[0012]在所述图像数据指示存在人脸的情况下，确定所述人脸与所述语音咨询设备之间的人机距离和人机角度；
[0013]使用波束形成算法基于所述人机角度对所述待识别音频数据进行噪声抑制，得到处理后的音频数据；
[0014]基于所述人机距离确定识别模式，所述识别模式包括近场识别模式和远场识别模式；
[0015]基于所述识别模式对所述处理后的音频数据进行音频识别，得到识别结果；
[0016]在所述识别结果为业务办理指令的情况下，执行所述业务办理指令对应的业务办理动作，并返回业务办理结果；
[0017]在所述识别结果为咨询任务的情况下，基于预设领域的知识库确定所述咨询任务
对应的查询结果，所述预设领域与所述语音咨询设备提供的语音咨询服务相匹配。
[0018]可选地，所述处理器，还用于：
[0019]将所述识别结果与预先配置的业务办理指令的指令参数进行比较；
[0020]在所述识别结果存在匹配的指令参数的情况下，确定所述识别结果为所述指令参数对应的业务办理指令；
[0021]在所述识别结果不存在匹配的指令参数的情况下，确定所述识别结果为所述咨询任务。
[0022]可选地，所述在所述识别结果为业务办理指令的情况下，执行所述业务办理指令对应的业务办理动作，并返回业务办理结果，包括：
[0023]将所述业务办理指令通过command命令的方式下发至所述语音咨询设备的业务办理页面，以触发所述业务办理页面进行业务办理，并获取所述业务办理结果；
[0024]或者，
[0025]将所述识别结果发送至预设服务，通过所述预设服务以command命令的方式下发至业务办理页面，以触发所述业务办理页面进行业务办理，并获取所述业务办理结果。
[0026]可选地，所述在所述识别结果为咨询任务的情况下，基于预设领域的知识库确定所述咨询任务对应的查询结果，包括：
[0027]基于启发式对话的方式在所述知识库中确定所述咨询任务对应的查询结果。
[0028]可选地，所述使用波束形成算法基于所述人机角度对所述待识别音频数据进行噪声抑制，得到处理后的音频数据，包括：
[0029]使用所述波束形成算法将所述人机角度外的语音信号进行抑制、并将所述人机角度内的多通道语音信号整合为单通道音频信号，得到所述处理后的音频数据。
[0030]可选地，各个麦克风对应的密封层的厚度相等；在平行于所述PCB板的方向上，所述密封层的边缘与所述麦克风边缘之间的距离大于预设距离。
[0031]可选地，所述AEC电路包括右声道消除电路和左声道消除电路，每个声道的消除电路包括音频正输入端、音频负输入端、音频正输出端和音频负输出端；所述音频正输入端通过第一电阻连接至音频正输出端，所述第一电阻和所述音频正输出端之间通过第二电阻接地；所述音频负输入端通过第三电阻连接至音频负输出端，所述第三电阻和所述音频负输出端之间通过第四电阻接地。
[0032]可选地，所述处理器还用于：
[0033]基于AIGC技术生成虚拟客服形象；
[0034]将所述业务办理结果或者所述查询结果与所述虚拟客服形象进行融合，得到融合后的客服形象；
[0035]输出所述融合后的客服形象。
[0036]第二方面，提供一种语音咨询方法，所述方法包括：
[0037]获取语音咨询设备中摄像头采集的图像数据和所述语音咨询设备中AEC电路输出的待识别音频数据；
[0038]在所述图像数据指示存在人脸的情况下，确定所述人脸与所述语音咨询设备之间的人机距离和人机角度；
[0039]使用波束形成算法基于所述人机角度对所述待识别音频数据进行噪声抑制，得到
处理后的音频数据；
[0040]基于所述人机距离确定识别模式，所述识别模式包括近场识别模式和远场识别模式；
[0041]基于所述识别模式对所述处理后的音频数据进行音频识别，得到识别结果；
[0042]在所述识别结果为业务办理指令的情况下，执行所述业务办理指令对应的业务办理动作，并返回业务办理结果；
[0043]在所述识别结果为咨询任务的情况下，基于预设领域的知识库确定所述咨询任务对应的查询结果，所述预设领域与所述语音咨询设备提供的语音咨询服务相匹配。
[0044]第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的语音咨询方法。
[0045]本申请的有益效果至少包括：通过AEC电路将语音咨询设备自身扬声器的声音分离出来，不送入语音识别；可以从源头提高语音咨询设备采集的音频设备的清晰度；同时，通过波束成形算法分析用户面向麦克风交互的角度，从而抑制角度外的语音信号，将角度内的多通道的人声信号先整合成单通道音频，送入语音识别，可以进一步提高音频数据的清晰度，进而提高语音识别的准确性。另外，通过摄像头确定用户与语音咨询设备之间人机距离，自动切换到对应距离的识别模式，可以提高语音识别的准确度，从而提高语音本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音咨询设备，其特征在于，所述语音咨询设备包括：麦克风模组，包括PCB板、安装于所述PCB板上的多个麦克风、和位于各个麦克风之上的模组面板；所述PCB板和所述模组面板之间设置有每个麦克风对应的密封层，所述密封层适于密封所述麦克风；所述多个麦克风形成第一采集通道和第二采集通道；所述第一采集通道适于采集录音数据，所述第二采集通道适于采集回采数据；与所述麦克风模组相连的声学回声消除AEC电路，适于使用所述录音数据和所述回采数据进行扬声器的回声消除，得到待识别音频数据；摄像头，适于采集所述语音咨询设备前方的图像数据；与所述AEC电路和所述摄像头相连的处理器，所述处理器，用于：获取所述摄像头采集的图像数据和所述待识别音频数据；在所述图像数据指示存在人脸的情况下，确定所述人脸与所述语音咨询设备之间的人机距离和人机角度；使用波束形成算法基于所述人机角度对所述待识别音频数据进行噪声抑制，得到处理后的音频数据；基于所述人机距离确定识别模式，所述识别模式包括近场识别模式和远场识别模式；基于所述识别模式对所述处理后的音频数据进行音频识别，得到识别结果；在所述识别结果为业务办理指令的情况下，执行所述业务办理指令对应的业务办理动作，并返回业务办理结果；在所述识别结果为咨询任务的情况下，基于预设领域的知识库确定所述咨询任务对应的查询结果，所述预设领域与所述语音咨询设备提供的语音咨询服务相匹配。2.根据权利要求1所述的语音咨询设备，其特征在于，所述处理器，还用于：将所述识别结果与预先配置的业务办理指令的指令参数进行比较；在所述识别结果存在匹配的指令参数的情况下，确定所述识别结果为所述指令参数对应的业务办理指令；在所述识别结果不存在匹配的指令参数的情况下，确定所述识别结果为所述咨询任务。3.根据权利要求1所述的语音咨询设备，其特征在于，所述在所述识别结果为业务办理指令的情况下，执行所述业务办理指令对应的业务办理动作，并返回业务办理结果，包括：将所述业务办理指令通过command命令的方式下发至所述语音咨询设备的业务办理页面，以触发所述业务办理页面进行业务办理，并获取所述业务办理结果；或者，将所述识别结果发送至预设服务，通过所述预设服务以command命令的方式下发至业务办理页面，以触发所述业务办理页面进行业务办理，并获取所述业务办理结果。4.根据权利要求1所述的语音咨询设备，其特征在于，所述在所述识别结果为咨询任务的情况下...

【专利技术属性】
技术研发人员：绪鑫，王冬冬，吕扬，金正，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：