智能电视的语音交互反馈方法、系统及计算机可读介质技术方案

本发明专利技术提供一种智能电视的语音交互反馈方法、系统及计算机可读介质。其方法包括：采集用户发出语音指令的音频流和智能电视当前界面的元素信息；向云端服务器发送音频流和当前界面的元素信息，以供云端服务器根据音频流和当前界面的元素信息，生成携带目标元素的信息响应消息；其中目标元素为音频流对应的语音指令的意图命中的当前界面中的元素；接收云端服务器返回的响应消息；根据响应消息中的目标元素的信息，在当前界面上对对应的目标元素执行预设的效果展示，作为语音指令的交互反馈。本发明专利技术的技术方案，在智能电视上可以对用户的语音指令进行反馈，这样，当智能电视未执行控制指令时，可以准确定位到未执行的原因是未识别还是执行受到阻塞。

【技术实现步骤摘要】
智能电视的语音交互反馈方法、系统及计算机可读介质
本专利技术涉及计算机应用
，尤其涉及一种智能电视的语音交互反馈方法、系统及计算机可读介质。
技术介绍
随着语音技术的发展，电视场景下利用语音提升用户交互体验的场景越来越多。但用户做出的控制类的语音指令从下发到执行会经历唤醒、自动语音识别(AutomaticSpeechRecognition；ASR)、自然语言理解(NaturalLanguageUnderstanding；NLU)、智能电视(Television；TV)接收指令并执行几个过程。良好的反馈机制可以实时告知用户语音指令的执行状态，达到体验提升的效果。例如，目前唤醒、ASR、NLU几个步骤在执行过程中智能电视均有相应反馈。例如，现有的智能电视的语音交互反馈过程具体可以包括如下过程：用户下发控制类的语音指令Query，智能电视采集用户的Query的音频流，并发送给云端服务器，由云端服务器进行ASR识别Query，NLU理解Query意图，判断该Query槽位信息，并最后下发对应意图与槽位信息到智能电视，最后由智能电视直接执行对应意图与槽位信息对应的控制指令。但是，现有技术中，智能电视在接收到语音指令Query对应的意图与槽位信息后，到执行对应的控制指令的过程中，无任何反馈信息，这样，当智能电视未执行控制指令时，无法确定是云端服务器未识别该语音指令Query还是智能电视执行控制指令受到阻塞，即导致未执行控制指令的原因无法进行准确定位。
技术实现思路
本专利技术提供了一种智能电视的语音交互反馈方法、系统及计算机可读介质，用于为用户的语音指令进行相应的反馈，以在智能电视未执行控制指令时，便于对未执行的原因进行准确定位。本专利技术提供一种智能电视的语音交互反馈方法，所述方法包括：采集用户发出语音指令的音频流和智能电视当前界面的元素信息；向云端服务器发送所述音频流和所述当前界面的元素信息，以供所述云端服务器根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；接收所述云端服务器返回的所述响应消息；根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。进一步可选地，如上所述的方法中，采集用户发出语音指令的音频流和智能电视当前界面的元素信息之后，所述方法还包括：在缓存中存储所述当前界面的元素信息；根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，具体包括：根据所述响应消息中的所述目标元素的信息，从所述缓存中存储的所述当前界面的元素信息中查找对应的所述目标元素；对所述当前界面上对应的所述目标元素执行预设的效果展示。进一步可选地，如上所述的方法中，所述当前界面的元素信息包括所述当前界面中的所述元素的位置、显示的文字以及层级结构信息。本专利技术提供一种智能电视的语音交互反馈方法，所述方法包括：接收智能电视发送的用户的语音指令对应的音频流和所述智能电视当前界面的元素信息；根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；向所述智能电视返回所述响应消息，以供所述智能电视根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。进一步可选地，如上所述的方法中，根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息，具体包括：根据所述音频流和所述当前界面的元素信息，识别所述音频流对应的所述语音指令的意图命中的所述当前界面中的目标元素；基于所述目标元素的信息生成响应消息。进一步可选地，如上所述的方法中，根据所述音频流和所述当前界面的元素信息，识别所述音频流对应的所述语音指令的意图命中的所述当前界面中的目标元素，具体包括：对所述音频流进行语音识别，得到所述音频流对应的所述语音指令对应的文字指令；对所述文字指令进行自然语言理解处理，识别所述语音指令的意图；将所述语音指令的意图和所述当前界面的元素信息进行比对，识别所述语音指令的意图命中的所述当前界面中的目标元素。进一步可选地，如上所述的方法中，所述当前界面的元素信息包括所述当前界面中的所述元素的位置、显示的文字以及层级结构信息。本专利技术提供一种智能电视装置，所述装置包括：采集模块，用于采集用户发出语音指令的音频流和智能电视当前界面的元素信息；收发模块，用于向云端服务器发送所述音频流和所述当前界面的元素信息，以供所述云端服务器根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；所述收发模块，还用于接收所述云端服务器返回的所述响应消息；执行模块，用于根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。进一步可选地，如上所述的装置中，还包括：存储模块，用于在缓存中存储所述当前界面的元素信息；所述执行模块，具体用于：根据所述响应消息中的所述目标元素的信息，从所述缓存中存储的所述当前界面的元素信息中查找对应的所述目标元素；对所述当前界面上对应的所述目标元素执行预设的效果展示。进一步可选地，如上所述的装置中，所述当前界面的元素信息包括所述当前界面中的所述元素的位置、显示的文字以及层级结构信息。本专利技术还提供一种云端服务器，所述服务器包括：收发模块，用于接收智能电视发送的用户的语音指令对应的音频流和所述智能电视当前界面的元素信息；生成模块，用于根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；所述收发模块，还用于向所述智能电视返回所述响应消息，以供所述智能电视根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。进一步可选地，如上所述的服务器中，所述生成模块，包括：识别单元，用于根据所述音频流和所述当前界面的元素信息，识别所述音频流对应的所述语音指令的意图命中的所述当前界面中的目标元素；生成单元，用于基于所述目标元素的信息生成响应消息。进一步可选地，如上所述的服务器中，所述识别单元，具体用于：对所述音频流进行语音识别，得到所述音频流对应的所述语音指令对应的文字指令；对所述文字指令进行自然语言理解处理，识别所述语音指令的意图；将所述语音指令的意图和所述当前界面的元素信息进行比对，识别所述语音指令的意图命中的所述当前界面中的目标元素。进一步可选地，如上所述的服务器中，所述当前界面的元素信息包括所述当前界面中的所述元素的位置、显示的文字以及层级结构信息。本专利技术还提供一种智能电视的语音交互系统，所述系统包括智能电视装置和云端服务器，所述智能电视装置和所述云端服务器通信连接，所述智能电视装置采用如上所述的智能电视装置，所述云端服务器采用如上所述的云端服务器。本专利技术还提供一种计算机设备本文档来自技高网...

【技术保护点】
1.一种智能电视的语音交互反馈方法，其特征在于，所述方法包括：采集用户发出语音指令的音频流和智能电视当前界面的元素信息；向云端服务器发送所述音频流和所述当前界面的元素信息，以供所述云端服务器根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；接收所述云端服务器返回的所述响应消息；根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。

【技术特征摘要】
1.一种智能电视的语音交互反馈方法，其特征在于，所述方法包括：采集用户发出语音指令的音频流和智能电视当前界面的元素信息；向云端服务器发送所述音频流和所述当前界面的元素信息，以供所述云端服务器根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；接收所述云端服务器返回的所述响应消息；根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。2.根据权利要求1所述的方法，其特征在于，采集用户发出语音指令的音频流和智能电视当前界面的元素信息之后，所述方法还包括：在缓存中存储所述当前界面的元素信息；根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，具体包括：根据所述响应消息中的所述目标元素的信息，从所述缓存中存储的所述当前界面的元素信息中查找对应的所述目标元素；对所述当前界面上对应的所述目标元素执行预设的效果展示。3.根据权利要求1或2所述的方法，其特征在于，所述当前界面的元素信息包括所述当前界面中的所述元素的位置、显示的文字以及层级结构信息。4.一种智能电视的语音交互反馈方法，其特征在于，所述方法包括：接收智能电视发送的用户的语音指令对应的音频流和所述智能电视当前界面的元素信息；根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息；所述目标元素为所述音频流对应的所述语音指令的意图命中的所述当前界面中的元素；向所述智能电视返回所述响应消息，以供所述智能电视根据所述响应消息中的所述目标元素的信息，在所述当前界面上对对应的所述目标元素执行预设的效果展示，作为所述语音指令的交互反馈。5.根据权利要求4所述的方法，其特征在于，根据所述音频流和所述当前界面的元素信息，生成携带目标元素的信息响应消息，具体包括：根据所述音频流和所述当前界面的元素信息，识别所述音频流对应的所述语音指令的意图命中的所述当前界面中的目标元素；基于所述目标元素的信息生成响应消息。6.根据权利要求5所述的方法，其特征在于，根据所述音频流和所述当前界面的元素信息，识别所述音频流对应的所述语音指令的意图命中的所述当前界面中的目标元素，具体包括：对所述音频流进行语音识别，得到所述音频流对应的所述语音指令对应的文字指令；对所述文字指令进行自然语言理解处理，识别所述语音指令的意图；将所述语音指令的意图和所述当前界面的元素信息进行比对，识别所述语音指令的意图命中的所述当前界面中的目标元素。7.根据权利要求4-6任一所述的方法，其特征在于，所述当前界面的元素信息包括所述当前界面中的所述元素的位置、显示的文字以及层级结构信息。8.一种智能电视装置，其特征在于，所述装置包括：采集模块，用于采集用户发出语音指令的音频流和智能电视当前界面的元素信息；收发模块，用于向云端服务器发送所述音频流和所述当前界面的元素信息，以供所述云端服务器根据所述音频流和所述当前界面的元素信息，生成携...

【专利技术属性】
技术研发人员：罗俊楠，李静，陈之曦，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11