用户界面的语音控制方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种用户界面的语音控制方法、装置、电子设备及存储介质，涉及计算机技术领域中的语音技术。具体实现方案为：通过先获取到用户输入的语音信息，然后将语音信息转换为文本信息，再根据文本信息以及待控制用户界面中的特征信息生成控制指令，最后响应于该控制指令，触发待控制用户界面中该控制指令对应的待控制控件，从而实现用户通过语音的方式即可完成对待控制用户界面的界面操作。可见，通过语音执行用户界面的方式，可以方便用户与服务设备之间更加直接的交互，进而给用户提供更亲和以及更轻松的服务体验。

Voice control method, device, electronic equipment and storage medium of user interface

【技术实现步骤摘要】
用户界面的语音控制方法、装置、电子设备及存储介质
本申请涉及计算机
中的语音技术，尤其涉及一种用户界面的语音控制方法、装置、电子设备及存储介质。
技术介绍
随着语音技术的快速发展，语音技术在电子设备领域(例如：服务设备领域)都具有广泛的应用。现有在对于服务设备的交互方式上，通常采用的是单触摸交互方式、单语音交互方式或者是二者简单的叠加结合的交互方式。此外，而对于语音交互方面，还通常需要要求用户说出指定的唤醒词，才能进行语音服务。可见，目前对于服务设备的控制，尤其是对于服务设备上的用户界面的控制方式较为单一，通常需要结合触摸的方式才能满足多轮交互的业务逻辑需求。
技术实现思路
提供了一种用户界面的语音控制方法、装置、电子设备及存储介质，可以根据用户输入的语音信息直接对待控制用户界面进行控制，能够满足用户复杂的业务逻辑需求。第一方面，本申请实施例提供了一种用户界面的语音控制方法，包括：根据获取到的语音信息确定文本信息；根据所述文本信息以及待控制用户界面中的特征信息生成控制指令，其中，本文档来自技高网...

【技术保护点】
1.一种用户界面的语音控制方法，其特征在于，包括：/n根据获取到的语音信息确定文本信息；/n根据所述文本信息以及待控制用户界面中的特征信息生成控制指令，其中，所述特征信息为所述待控制用户界面中各个控件所对应的特性信息；/n响应于所述控制指令，触发所述待控制用户界面中所述控制指令对应的待控制控件。/n

【技术特征摘要】
1.一种用户界面的语音控制方法，其特征在于，包括：
根据获取到的语音信息确定文本信息；
根据所述文本信息以及待控制用户界面中的特征信息生成控制指令，其中，所述特征信息为所述待控制用户界面中各个控件所对应的特性信息；
响应于所述控制指令，触发所述待控制用户界面中所述控制指令对应的待控制控件。


2.根据权利要求1所述的用户界面的语音控制方法，其特征在于，所述根据所述文本信息以及待控制用户界面中的特征信息生成控制指令，包括：
根据所述文本信息以及所述待控制用户界面中的所述特征信息确定所述待控制控件；
根据所述文本信息以及所述待控制控件的控件类型生成所述控制指令。


3.根据权利要求2所述的用户界面的语音控制方法，其特征在于，所述特征信息包括所述待控制用户界面中各个控件的名称；
相应的，所述根据所述文本信息以及所述待控制用户界面中的所述特征信息确定所述待控制控件，包括：
根据所述文本信息中的第一文本以及所述待控制用户界面中各个控件的名称确定所述待控制控件，其中，所述第一文本包括所述待控制控件的名称中的关键字。


4.根据权利要求3所述的用户界面的语音控制方法，其特征在于，所述根据所述文本信息以及所述待控制控件的控件类型生成所述控制指令，包括：
若所述待控制控件的控件类型为输入框控件，则根据所述文本信息中的第二文本确定输入指令；
对应的，所述响应于所述控制指令，触发所述待控制用户界面中所述控制指令对应的待控制控件，包括：
响应于所述输入指令，在所述待控制用户界面中的待输入框中输入所述第二文本。


5.根据权利要求3所述的用户界面的语音控制方法，其特征在于，所述根据所述文本信息以及所述待控制控件的控件类型生成所述控制指令，包括：
若所述待控制控件的控件类型为选择控件，则根据所述文本信息中的第二文本确定选择指令；
对应的，所述响应于所述控制指令，触发所述待控制用户界面中所述控制指令对应的待控制控件，包括：
响应于所述选择指令，在所述待控制用户界面中的待选择框中选中与所述第二文本对应的选项。


6.根据权利要求3所述的用户界面的语音控制方法，其特征在于，所述根据所述文本信息以及所述待控制控件的控件类型生成所述控制指令，包括：
若所述待控制控件的控件类型为点击控件，则根据所述第一文本确定点击指令；
对应的，所述响应于所述控制指令，触发所述待控制用户界面中所述控制指令对应的待控制控件，包括：
响应于所述点击指令，触发所述待控制用户界面中的所述点击指令对应的待点击控件。


7.根据权利要求1-6中任意一项所述的用户界面的语音控制方法，其特征在于，在所述根据获取到的语音信息确定文本信息之前，还包括：
获取用户输入的所述语音信息；
获取用户面部的图像信息，并根据所述语音信息与所述图像信息生成唤醒指令，所述唤醒指令用于唤醒语音服务。


8.根据权利要求7所述的用户界面的语音控制方法，其特征在于，所述根据所述语音信息与所述图像信息生成唤醒指令，包括：
根据所述图像信息确定唇动频率；
若所述语音信息与所述唇动频率相匹配，则生成所述唤醒指令。


9.根据权利要求1-6中任意一项所述的用户界面的语音控制方法，其特征在于，在所述根据获取到的语音信息确定文本信息之后，还包括：
根据所述文本信息以及语言环境信息确定反馈信息，其中，所述语言环境信息包括所述文本信息对应的多个意图信息，所述反馈信息为所述多个意图信息中服务请求置信度最高的意图信息；
输出所述反馈信息。


10.根据权利要求9所述的用户界面的语音控制方法，其特征在于，所述根据所述文本信息以及语言环境信息确定反馈信息，包括：
获取用户多轮历史输入的语音信息对应的多轮历史文本信息；
获取响应于多轮历史输入的语音信息所输出的多轮历史反馈信息；
根据所述多轮历史文本信息以及所述多轮历史反馈信息确定所述多个意图信息中各个意图的服务请求置信度。


11.根据权利要求10所述的用户界面的语音控制方法，其特征在于，所述根据所述文本信息以及待控制用户界面中的特征信息生成控制指令，包括：
根据所述文本信息以及所述语言环境信息确定所述反馈信息；
根据所述反馈信息以及所述待控制用户界面中的所述特征信息...

【专利技术属性】
技术研发人员：李扬，王雷，李士岩，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11