一种语音控制方法、装置及手机制造方法及图纸

本申请提供了一种语音控制方法、装置及手机，所述方法包括：获取包含控制指令的语音；解析所述语音，获取所述控制指令；基于辅助功能获取终端当前操作界面的屏幕信息；查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。本申请提供的语音控制方法、装置及手机，在执行语音控制的时候基于辅助功能获取当前操作界面的屏幕信息，做到具体语音控制所执行操作结合终端当前操作界面的屏幕信息，实现在终端的任意界面实现与该界面相关的语音控制，即可实现用户看到的操作可直接通过语音进行控制执行操作，不再局限于预先设置适配的应用，有助于实现手机上所有应用的语音控制，扩大了现有语音控制的控制范围。

【技术实现步骤摘要】
一种语音控制方法、装置及手机
本申请涉及移动通讯
，尤其涉及一种语音控制方法、装置及手机。
技术介绍
手机语音控制是指用户通过语音控制代替按键、触摸等操作手机，可用于解放用户的双手，更加便于手机的使用。目前随着现今语音识别技术的发展，基于语音识别功能的手机语音控制越来越受到手机用户的青睐。现有的手机语音控制方法，基本上通过预先设置关键词，通过关键词去适配相应的应用。具体的，用户说出相关控制指令，手机接收用户说出的相关控制指令语音，从本地或者服务器上进行识别，分析出语义，然后根据识别出的语义与预先设置的关键词去匹配，根据关键词适配的应用进行点击，实现手机的操作控制。如，当用户说：“打开设置”，手机接收“打开设置”的语音，解析获得“设置”，根据关键词适配找到“系统-设置”，点击手机“系统-设置”，完成“系统-设置”的打开。然而在具体使用中发现，语音控制中往往不能结合当前使用的界面。如，用户在“微信-我”的界面想要打开微信设置，说：“打开设置”，手机最后打开的是“系统-设置”，而并不是“微信-设置”。产生用户在不同的界面上针对其当前使用界面说出同样的话语却执行的是同一个命令的局面，从而可能造成操作混乱，不便于用户的使用。且现有的语音控制中，打开的都是需要与关键词适配的应用，当存在应用没有预先设置适配的关键词时，将无法实现语音控制，更加不便于用户的使用。
技术实现思路
本申请提供了一种语音控制方法、装置及手机，实现语音控制结合当前使用界面，做到用户看到的操作可直接通过语音进行控制，不用局限于预先设置适配的应用。第一方面，本申请提供了一种语音控制方法，所述方法包括：获取包含控制指令的语音；解析所述语音，获取所述控制指令；基于辅助功能获取终端当前操作界面的屏幕信息；查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。第二方面，本申请还提供了一种语音控制装置，所述控制装置包括处理器和存储器；所述存储器，用于存储程序代码；所述处理器，用于读取所述存储器中存储的程序代码，并作为具体部件执行上述所述的语音控制方法。第三方面，本申请还提供了一种手机，所述手机包括语音控制装置，所述语音控制装置为上述所述的语音控制装置。本申请提供的一种语音控制方法、装置及手机，所述方法包括：获取包含控制指令的语音；解析所述语音，获取所述控制指令；基于辅助功能获取终端当前操作界面的屏幕信息；查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。在本申请提供的语音控制方法中，在执行语音控制的时候基于辅助功能获取当前操作界面的屏幕信息，做到具体语音控制所执行操作结合终端当前操作界面的屏幕信息，实现在终端的任意界面实现与该界面相关的语音控制，即可实现用户看到的操作可直接通过语音进行控制执行操作，不再局限于预先设置适配的应用，有助于实现手机上所有应用的语音控制，扩大了现有语音控制的控制范围。本申请提供的语音控制装置，用于语音控制方法的具体执行。本申请提供的语音控制装置可用于智能手机、电视等终端设备。附图说明为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例一提供的语音控制方法的结构流程图；图2为本申请实施例二提供的语音控制方法的结构流程图；图3为本申请实施例三提供的语音控制方法的结构流程图；图4为本申请实施例四提供的语音控制方法的结构流程图；图5为本申请实施例的语音控制装置的结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。附图1为本申请实施例一提供的一种语音控制方法的流程图。如附图1所示，本申请实施例一提供的语音控制方法，包括：S100：获取包含控制指令的语音。启动语音控制后，获取用户给予的包含控制指令的语音。启动语音控制包括可通过长按终端设备某个物理键，如手机的Home键。S200：解析所述语音中包含的控制指令。当接收到用户给予的包含控制指令的语音后，解析所述语音获得所述语音中包含的控制指令。解析语音中包含的控制指令，通常是结合智能语音库截取所接收语音中的关键词并进行关键词的拼接。S300：基于辅助功能获取终端当前操作界面的屏幕信息。辅助功能(Accessbility)，是Android官方推出帮助身体不便或者操作不灵活的人来辅助操作手机应用的。本申请中通过辅助功能获取终端当前操作界面的屏幕信息，具体可通过调用Accessbility提供的接口，获取当前操作界面的屏幕信息。如：调用getRootInActiveWindow获取当前的操作界面的屏幕信息AccessibilityNodeInfonodeInfo＝getRootInActiveWindow()；这个NodeInfo就是一个当前屏幕信息的一个合集类。前操作界面的屏幕信息包括界面上的文字、图片、控件Text、ID、Clickable等均为控件的属性。Text为控件的值；ID为用于标识控件的唯一标识符，Clickable表示该控件是否可点击，当Clickable为false时，表示不能点击。S400：查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。根据解析出的控制指令和获取到的屏幕信息，查找屏幕信息中与解析出的控制指令相匹配的控件，执行模拟控件点击，完成语音控制。查找屏幕信息中与解析出的控制指令相匹配的控件，及从当前操作界面的屏幕信息中找到用户需要操作控制的内容。屏幕信息中与解析出的控制指令相匹配不限于文字上的对比匹配；还包括图片分析，及分析图片内容获得图片信息，但控制指令指代图片内容的时候也可进行与图片的匹配。如，用户启动语音控制后，在“微信-我”的界面为当前操作界面，说：“我要打开微信设置”，语言控制系统获取“我要打开微信设置”的语音。根据接收到的“我要打开微信设置”的语音，截取出所述语音中的关键词“打开”、“微信”和“设置”，拼接出“打开‘微信设置’”的控制指令。获取“微信-我”的操作界面的屏幕信息，获得包括“钱包”、“收藏”、“设置”等控件的屏幕信息。在“微信-我”操作界面的屏幕信息中查找与“微信设置”相匹配的控件，经过遍历屏幕信息，查找到控件“设置”。模拟点击操作，即执行控件点击，从而打开“微信设置”，实现“我要打开微信设置”的语音控制。不会在“微信-我”的界面执行“打开设置”语音控制的时候，出现打开“系统-设置”的现象，使语音控制结合当前操作界面，提高语音控制的准确性。在本申请实施例提供的语音控制方法中，在执行语音控制的时候基于辅助功能获取当前操作界面的屏幕信息，做到具体语本文档来自技高网...

【技术保护点】
1.一种语音控制方法，其特征在于，所述方法包括：/n获取包含控制指令的语音；/n解析所述语音，获取所述控制指令；/n基于辅助功能获取终端当前操作界面的屏幕信息；/n查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。/n

【技术特征摘要】
1.一种语音控制方法，其特征在于，所述方法包括：
获取包含控制指令的语音；
解析所述语音，获取所述控制指令；
基于辅助功能获取终端当前操作界面的屏幕信息；
查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击。


2.根据权利要求1所述的语音控制方法，其特征在于，所述查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
判断所述屏幕信息中是否存在与解析出的控制指令相匹配的控件；
当所述屏幕信息中存在与解析出的控制指令相匹配的控件时，执行控件点击；
当所述屏幕信息中不存在与解析出的控制指令相匹配的控件时，查找并匹配终端系统的适配。


3.根据权利要求1所述的语音控制方法，其特征在于，所述基于辅助功能获取终端当前操作界面的屏幕信息，包括：
根据辅助功能提供的接口，获取终端当前操作界面的屏幕信息，所述屏幕信息包括控件的Text、ID和Clickable。


4.根据权利要求1所述的语音控制方法，其特征在于，查找所述屏幕信息中与解析出的控制指令相匹配的控件，执行控件点击，包括：
当查找所述屏幕信息中存在与解析出的控制指令相匹配的控件时，判断所述控件是否可点击；
当所述控件不可点击时，遍历所述控件的父容器，直至找到可点击控件，执行控件点击；
当所述控件可点击时，执行控件点击。


5.根据权利要求1所述的语音控制方法，其特征在于，在所述基于辅助功能获取终端当前操作界面的屏幕信息前，所述方法还包...

【专利技术属性】
技术研发人员：李凯，朱众微，宋亮，
申请(专利权)人：青岛海信移动通信技术股份有限公司，
类型：发明
国别省市：山东;37