智能终端上应用程序的运行方法和智能终端技术

本发明专利技术实施例提供一种智能终端上应用程序的运行方法和智能终端，智能终端至少包括一个服务项，服务项中包括指令生成模块、位置确定模块、动作执行模块，方法包括：指令生成模块接收向智能终端进行输入的语音指令，并将语音指令转化为控制指令；位置确定模块确定待运行的应用程序在智能终端的当前屏幕中的位置坐标；其中，待运行的应用程序是将控制指令与当前已安装应用程序进行匹配得到的；动作执行模块根据位置坐标对待运行的应用程序执行控制指令。本发明专利技术实施例提供的运行方法和智能终端，把语音控制的功能从应用中解耦，因此无需应用开发者将用于语音控制的软件开发工具包集成到应用中，即可实现第三方应用的语音控制。

【技术实现步骤摘要】
智能终端上应用程序的运行方法和智能终端
本专利技术涉及语音控制
，尤其涉及一种智能终端上应用程序的运行方法和智能终端。
技术介绍
在智能移动终端上运行的应用(Application，APP)，通常需要用户手动操作来实现对应用的控制，例如通过点击触摸屏来操控应用的控件。然而，在一些应用场合中，通过手动操作来控制应用会存在一定的不便。例如用户处于驾驶等双手被占用的状态时，若通过手动操作来控制导航软件，特别是输入文字等较为复杂的手动操作时，容易分散用户精力，带来安全隐患。因此，需要一种基于语音的应用控制方法，克服手动操作带来的不便性。现有的应用控制方式，通常需要在待控制的应用内部集成用于语音操作的SDK，以实现对应用的语音操控。然而，对于目前的多数第三方应用，并未事先集成用于语音操作的SDK，也很难往第三方应用中安装用于语音控制的插件，因此无法实现第三方应用的语音控制，限制了基于语音的应用控制方法的适用范围。
技术实现思路
本专利技术实施例提供一种智能终端上应用程序的运行方法和智能终端，用以解决现有技术中无法语音控制第三方应用的缺陷。本专利技术实施例提供一种智能终端上应用程序的运行方法，所述智能终端至少包括一个服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令；所述位置确定模块确定待运行的应用程序在所述智能终端的当前屏幕中的位置坐标；其中，所述待运行的应用程序是将所述控制指令与当前已安装应用程序进行匹配得到的；所述动作执行模块根据所述位置坐标对所述待运行的应用程序执行所述控制指令。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述服务项还包括目标控件确定模块，所述方法还包括：所述目标控件确定模块基于所述控制指令，确定当前运行的应用程序中待执行的目标点击控件；所述位置确定模块确定所述目标点击控件在当前屏幕中的控件位置坐标；所述动作执行模块根据所述控件位置坐标对所述目标点击控件执行模拟点击操作。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述位置确定模块确定所述目标点击控件在当前屏幕中的控件位置坐标，具体包括：所述位置确定模块基于所述目标点击控件的控件标识，以及当前屏幕上所有控件的控件标识和当前位置，确定所述目标点击控件的控件位置坐标。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述当前屏幕上所有控件的控件标识和当前位置是在监控到第三方应用界面发生变化时，对所述第三方应用界面进行控件扫描后得到的。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述服务项还包括控件扫描模块，所述方法还包括：所述控件扫描模块接收第三方应用界面发生变化的触发事件，读取窗口列表最前端的窗口；所述控件扫描模块获取所述最前端的窗口中的所有控件，并对所有控件进行扫描，得到所有控件的控件标识和当前位置。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述第三方应用界面发生变化的触发事件是当用户在屏幕上对任一控件进行点击、滑动或窗口切换操作时，由所述任一控件的操作处理函数通过预设接口发送的。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述目标控件确定模块基于所述控制指令，确定当前运行的应用程序中待执行的目标点击控件，具体包括：将当前运行的应用程序的应用标识以及所述控制指令，与多个第三方应用程序的应用标识及其对应的候选点击控件的常用口语进行匹配，将匹配成功的第三方应用程序对应的候选点击控件作为所述目标点击控件。根据本专利技术一个实施例的智能终端上应用程序的运行方法，所述位置确定模块基于所述目标点击控件的控件标识，以及当前屏幕上所有控件的控件标识和当前位置，确定所述目标点击控件的控件位置坐标，具体包括：将所述目标点击控件的控件内容与当前屏幕上所有控件的控件内容进行内容匹配；若内容匹配失败，则将所述目标点击控件的控件ID与当前屏幕上所有控件的控件ID进行ID匹配；若ID匹配失败，则重复将所述目标点击控件的控件类型与当前屏幕上所有控件的控件类型进行匹配，直至匹配成功或重复次数达到预设阈值；将当前屏幕上匹配成功的控件的当前位置作为所述目标点击控件的控件位置坐标。根据本专利技术一个实施例的智能终端上应用程序的运行方法，将所述目标点击控件的控件内容与当前屏幕上所有控件的控件内容进行内容匹配，具体包括：若当前屏幕上任一控件的控件内容与所述目标点击控件的控件内容之间存在包含关系，则基于二者长度的差值确定所述任一控件与所述目标点击控件之间的相似度；若当前屏幕上每一控件的控件内容与所述目标点击控件的控件内容均不存在包含关系，则匹配失败；否则，将当前屏幕上相似度最大的控件作为与所述目标点击控件匹配的控件。本专利技术实施例还提供一种智能终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述运行方法的步骤。本专利技术实施例提供的智能终端上应用程序的运行方法和智能终端，通过接收向智能终端进行输入的语音指令，并将语音指令转化为控制指令，然后确定待运行的应用程序在智能终端的当前屏幕中的位置坐标，并根据位置坐标对待运行的应用程序执行控制指令，把语音控制的功能从应用中解耦，因此无需应用开发者将用于语音控制的软件开发工具包集成到应用中，即可实现第三方应用的语音控制。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的智能终端上应用程序的运行方法的流程示意图；图2为本专利技术实施例提供的智能终端的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在汽车驾驶、家居生活等多个领域，对通过语音方式来控制应用有着广泛的需求。然而，对于目前的多数第三方应用，应用开发者并未在应用内部集成用于语音控制的SDK，也很难在开发完成后再往第三方应用中安装用于语音控制的插件，因此无法实现第三方应用的语音控制，限制了基于语音的应用控制方法的适用范围。在现有的部分移动终端中，虽然提供了智能语音助手，例如IOS系统的Siri。然而，对于第三方公司开发的应用，智能语音助手只能打开应用，却不能对应用内部的功能做进一步操作，无法实现真正的第三方应用的语音控制本文档来自技高网...

【技术保护点】
1.一种智能终端上应用程序的运行方法，其特征在于，所述智能终端至少包括一个服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：/n所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令；/n所述位置确定模块确定待运行的应用程序在所述智能终端的当前屏幕中的位置坐标；其中，所述待运行的应用程序是将所述控制指令与当前已安装应用程序进行匹配得到的；/n所述动作执行模块根据所述位置坐标对所述待运行的应用程序执行所述控制指令。/n

【技术特征摘要】
1.一种智能终端上应用程序的运行方法，其特征在于，所述智能终端至少包括一个服务项，所述服务项中包括指令生成模块、位置确定模块、动作执行模块，所述方法包括：
所述指令生成模块接收向智能终端进行输入的语音指令，并将所述语音指令转化为控制指令；
所述位置确定模块确定待运行的应用程序在所述智能终端的当前屏幕中的位置坐标；其中，所述待运行的应用程序是将所述控制指令与当前已安装应用程序进行匹配得到的；
所述动作执行模块根据所述位置坐标对所述待运行的应用程序执行所述控制指令。


2.根据权利要求1所述的方法，其特征在于，所述服务项还包括目标控件确定模块，所述方法还包括：
所述目标控件确定模块基于所述控制指令，确定当前运行的应用程序中待执行的目标点击控件；
所述位置确定模块确定所述目标点击控件在当前屏幕中的控件位置坐标；
所述动作执行模块根据所述控件位置坐标对所述目标点击控件执行模拟点击操作。


3.根据权利要求2所述的方法，其特征在于，所述位置确定模块确定所述目标点击控件在当前屏幕中的控件位置坐标，具体包括：
所述位置确定模块基于所述目标点击控件的控件标识，以及当前屏幕上所有控件的控件标识和当前位置，确定所述目标点击控件的控件位置坐标。


4.根据权利要求3所述的方法，其特征在于，所述当前屏幕上所有控件的控件标识和当前位置是在监控到第三方应用界面发生变化时，对所述第三方应用界面进行控件扫描后得到的。


5.根据权利要求4所述的方法，其特征在于，所述服务项还包括控件扫描模块，所述方法还包括：
所述控件扫描模块接收第三方应用界面发生变化的触发事件，读取窗口列表最前端的窗口；
所述控件扫描模块获取所述最前端的窗口中的所有控件，并对所有控件进行扫描，得到所有控件的控件标识和当前位置。


6.根据权利要求5所述的方法，其特征在于，所述第三方应用界面发生变化的触发事件是当用户在屏幕上...

【专利技术属性】
技术研发人员：熊文龙，邓志伟，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：北京;11