用户界面的语音控制方法和装置制造方法及图纸

本公开是关于一种用户界面的语音控制方法和装置。涉及智能设备控制技术，解决了语音助手实现方案配置繁琐、系统资源消耗大、应用范围窄的问题。该方法包括：基于预定指令，启用当前用户界面的语音控制模式；遍历所述当前用户界面，获得至少一个可操作对象；生成所述至少一个可操作对象各自的索引关键字；接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。本公开提供的技术方案适用于智能设备的语音控制操作，实现了高效、准确、易用的跨App通用语音控制。

Voice control method and device of user interface

【技术实现步骤摘要】
用户界面的语音控制方法和装置
本公开涉及智能设备控制技术，尤其涉及一种用户界面的语音控制方法和装置。
技术介绍
随着自动语音识别(ASR)及自然语言处理(NLP)技术的发展，越来越多的语音辅助类软件开始出现，例如iPhone的siri，微软的小冰等。语音助手的功能也由最初简单的对话，开始结合终端设备功能向用户提供更多的帮助，例如可通过一语音助手打开某个App、查看天气、播放歌曲等。即便如此，还是不能完全解放双手，完全通过语音释放手机的各项能力。一种常见的语音助手实现方式是通过记录App的用户界面(UI)布局，把语音命令转换为模拟手势，模拟用户手势操作，以对指定控件进行操作。但App的布局可能发生变化，由于语音控制定位是根据App布局确定的，如果不及时更新App布局与语音操作信息的对应关系，则会发生误操作。且不同的App都需要单独定制相关的模拟手势操作方式，逐个App定制模拟手势会造成系统资源消耗过大。某些App也会对外提供特殊接口供语音助手调用，这样通过语音助手即可调用该App的语音支持组件，实现通过语音控制该App。但此种方案需要App向语音助手定制接口，这样App会增加额外的工作量，运算压力大；如App只是提供部分主要功能的接口，则会导致语音助手对App的操作能力受限。且不是所有App都会提供接口，同样导致可用语音助手操作的App数量较少。综上，语音助手对App内用户界面的控制方式不统一，导致语音控制的准确性和效率均较为低下。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种用户界面的语音控制方法和装置。根据本公开实施例的第一方面，提供一种用户界面的语音控制方法，其特征在于，包括：基于预定指令，启用当前用户界面的语音控制模式；遍历所述当前用户界面，获得至少一个可操作对象；生成所述至少一个可操作对象各自的索引关键字；接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。优选的，所述遍历所述当前用户界面，获得至少一个可操作对象的步骤包括：从服务器获取在所述当前用户界面上待显示的内容；确定所述待显示的内容中的至少一个可操作对象。优选的，所述生成所述至少一个可操作对象各自的索引关键字的步骤包括：为各可操作对象生成唯一的索引关键字，所述索引关键字包含以下形式中的任一或任意多种：所述可操作对象的全部文字描述信息、所述可操作对象的部分文字描述信息、所述可操作对象的编号。优选的，所述生成所述至少一个可操作对象各自的索引关键字的步骤之后，还包括：在所述索引关键字为所述可操作对象的编号的情况下，在所述当前用户界面下所述可操作对象的显示位置标注所述编号。优选的，所述接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象的步骤包括：识别用户语音指令，所述用户语音指令包括语音操作信息和/或语音对象信息，所述语音操作信息指示操作，所述语音对象信息指示操作指向的对象；根据所述语音对象信息，确定所述用户语音指令指向的可操作对象；根据所述语音操作信息，确定对所述可操作对象所执行的操作；根据所述可操作对象和/或所述操作，执行所述用户语音指令。优选的，所述根据所述语音对象信息，确定所述用户语音指令指向的可操作对象的步骤包括：查询所述索引关键字，确定所述语音对象信息匹配的索引关键字；确定所述索引关键字对应的可操作对象为所述语音对象信息指向的可操作对象。优选的，所述根据所述语音操作信息，确定对所述可操作对象所执行的操作的步骤包括：查询预设的操作列表，在所述操作列表中包含多种操作；确定与所述语音操作信息匹配的操作，以所述操作作为对所述可操作对象所执行的操作根据本公开的实施例的第二方面，提供了一种用户界面的语音控制装置，包括：模式启动模块，用于基于预定指令，启用当前用户界面的语音控制模式；操作对象获取模块，用于遍历所述当前用户界面，获得至少一个可操作对象；索引生成模块，用于生成所述至少一个可操作对象各自的索引关键字；指令执行模块，用于接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。优选的，所述操作对象获取模块包括：待显示内容获取子模块，用于从服务器获取在所述当前用户界面上待显示的内容；操作对象确定子模块，用于确定所述待显示的内容中的至少一个可操作对象。优选的，所述索引生成模块包括：关键字生成子模块，用于为遍历确定的各可操作对象生成唯一的索引关键字，所述索引关键字包含以下形式中的任一或任意多种：所述可操作对象的全部文字描述信息、所述可操作对象的部分文字描述信息、所述可操作对象的编号。优选的，所述索引生成模块还包括：标注子模块，用于在所述索引关键字为所述可操作对象的编号的情况下，在所述当前用户界面下所述可操作对象的显示位置标注所述编号。优选的，所述指令执行模块包括：语音识别子模块，用于识别用户语音指令，所述用户语音指令包括语音操作信息和/或语音对象信息，所述语音操作信息指示操作，所述语音对象信息指示操作指向的对象；对象确定子模块，用于根据所述语音对象信息，确定所述用户语音指令指向的可操作对象；操作确定子模块，用于根据所述语音操作信息，确定对所述可操作对象所执行的操作；指令执行子模块，用于根据所述可操作对象和/或所述操作，执行所述用户语音指令。优选的，所述对象确定子模块包括：索引查询单元，用于查询所述索引关键字，确定所述语音对象信息匹配的索引关键字；指向对象确定单元，用于确定所述索引关键字对应的可操作对象为所述语音对象信息指向的可操作对象。优选的，所述操作确定子模块包括：列表查询单元，用于查询预设的操作列表，在所述操作列表中包含多种操作；操作确定单元，用于确定与所述语音操作信息匹配的操作，以所述操作作为对所述可操作对象所执行的操作。根据本公开的实施例的第三方面，提供了一种计算机装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：基于预定指令，启用当前用户界面的语音控制模式；遍历所述当前用户界面，获得至少一个可操作对象；生成所述至少一个可操作对象各自的索引关键字；接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。根据本公开的实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种用户界面的语音控制方法，所述方法包括：基于预定指令，启用当前用户界面的语音控制模式；遍历所述当前用户界面，获得至少一个可操作对象；...

【技术保护点】
1.一种用户界面的语音控制方法，其特征在于，包括：/n基于预定指令，启用当前用户界面的语音控制模式；/n遍历所述当前用户界面，获得至少一个可操作对象；/n生成所述至少一个可操作对象各自的索引关键字；/n接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。/n

【技术特征摘要】
1.一种用户界面的语音控制方法，其特征在于，包括：
基于预定指令，启用当前用户界面的语音控制模式；
遍历所述当前用户界面，获得至少一个可操作对象；
生成所述至少一个可操作对象各自的索引关键字；
接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。


2.根据权利要求1所述的用户界面的语音控制方法，其特征在于，所述遍历所述当前用户界面，获得至少一个可操作对象的步骤包括：
从服务器获取在所述当前用户界面上待显示的内容；
确定所述待显示的内容中的至少一个可操作对象。


3.根据权利要求1所述的用户界面的语音控制方法，其特征在于，所述生成所述至少一个可操作对象各自的索引关键字的步骤包括：
为各可操作对象生成唯一的索引关键字，所述索引关键字包含以下形式中的任一或任意多种：
所述可操作对象的全部文字描述信息、所述可操作对象的部分文字描述信息、所述可操作对象的编号。


4.根据权利要求3所述的用户界面的语音控制方法，其特征在于，所述生成所述至少一个可操作对象各自的索引关键字的步骤之后，还包括：
在所述索引关键字为所述可操作对象的编号的情况下，在所述当前用户界面下所述可操作对象的显示位置标注所述编号。


5.根据权利要求3所述的用户界面的语音控制方法，其特征在于，所述接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象的步骤包括：
识别所述用户语音指令，提取所述用户语音指令中的语音操作信息和/或语音对象信息，所述语音操作信息指示操作，所述语音对象信息指示操作指向的对象；
根据所述语音对象信息，确定所述用户语音指令指向的可操作对象；
根据所述语音操作信息，确定对所述可操作对象所执行的操作；
根据所述可操作对象和/或所述操作，执行所述用户语音指令。


6.根据权利要求5所述的用户界面的语音控制方法，其特征在于，所述根据所述语音对象信息，确定所述用户语音指令指向的可操作对象的步骤包括：
确定所述语音对象信息匹配的索引关键字；
确定所述索引关键字对应的可操作对象为所述语音对象信息指向的可操作对象。


7.根据权利要求5所述的用户界面的语音控制方法，其特征在于，所述根据所述语音操作信息，确定对所述可操作对象所执行的操作的步骤包括：
查询预设的操作列表，在所述操作列表中包含多种操作；
确定与所述语音操作信息匹配的操作，以所述操作作为对所述可操作对象所执行的操作。


8.一种用户界面的语音控制装置，其特征在于，包括：
模式启动模块，用于基于预定指令，启用当前用户界面的语音控制模式；
操作对象获取模块，用于遍历所述当前用户界面，获得至少一个可操作对象；
索引生成模块，用于生成所述至少一个可操作对象各自的索引关键字；
指令执行模块，用于接收用户语音指令，确定与所述用户语音指令匹配的索引关键字，操作所述索引关键字对应的可操作对象。


9.根据权利要求8所述的用户界面的语...

【专利技术属性】
技术研发人员：方彦彬，
申请(专利权)人：北京小米智能科技有限公司，
类型：发明
国别省市：北京;11