终端操控方法及装置制造方法及图纸

本公开提供一种终端操控方法及装置，其中，所述方法包括：通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；根据接收到的用户输入信息，从所述操控对象中确定出目标对象；触发执行针对所述目标对象的目标操作。本公开方案可实现对当前显示界面中操控对象的准确识别，便于按照用户输入信息对目标对象进行相应处理。

【技术实现步骤摘要】
终端操控方法及装置
本公开涉及终端操控
，尤其涉及一种终端操控方法及装置。
技术介绍
在智能手机、平板电脑、可穿戴设备等终端设备的使用过程中，用户通常需要通过操控终端显示界面中显示的操控对象实现与终端设备的交互。终端显示界面中显示的操控对象通常可分为归属于应用程序内的应用对象和归属于终端操作系统的系统对象。欲实现对上述应用对象和系统对象的精准操控，首先需要准确识别终端显示界面中显示的操控对象。
技术实现思路
有鉴于此，本公开提供一种终端操控方法及装置，可实现对当前显示界面中操控对象的准确识别，便于按照用户输入信息对目标对象进行相应处理。根据本公开实施例的第一方面，提供了一种终端操控方法，所述方法包括：通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；根据接收到的用户输入信息，从所述操控对象中确定出目标对象；触发执行针对所述目标对象的目标操作。可选的，当所述终端操作系统为安卓Android操作系统时，所述界面监控服务包括AccessbilitySevice服务。可选的，所述用户输入信息包括用户语音；所述根据接收到的用户输入信息，从所述操控对象中确定出目标对象，包括：通过人工智能语音服务对所述用户语音进行处理，以识别出所述用户语音指示的对象信息；根据所述对象信息从所述操控对象中确定出目标对象。可选的，当所述目标操作涉及针对所述目标对象的触摸动作时，所述触发执行针对所述目标对象的目标操作，包括：执行针对所述目标对象的模拟触摸动作，以完成所述目标操作。可选的，所述根据所述对象信息从所述操控对象中确定出目标对象，包括：获取操控对象在所述终端显示界面中对应的显示信息；在所述对象信息匹配于任一操控对象的显示信息的情况下，将所述任一操控对象确定为所述目标对象。可选的，所述获取操控对象在所述终端显示界面中对应的显示信息，包括：若所述操控对象为文本对象，则通过调用所述文本对象的应用程序接口获取所述文本对象对应的显示信息；若所述操控对象为图形对象，则截屏所述图形对象的对应区域，并基于截屏所得的图像确定所述图形对象对应的显示信息。可选的，所述方法还包括：在所述终端显示界面中示出对应于各个操控对象的对象标识；所述根据所述对象信息从所述操控对象中确定出目标对象，包括：将匹配于所述对象标识的操控对象确定为所述目标对象。可选的，所述用户输入信息包括用户操作手势，所述根据接收到的用户输入信息，从所述操控对象中确定出目标对象，包括：确定所述用户操作手势对应的位置信息；确定所述操控对象中匹配于所述位置信息的操控对象，以作为所述目标对象。可选的，所述目标操作为预定义的默认操作；或者，所述方法还包括：根据所述用户输入信息确定针对所述目标对象的所述目标操作。可选的，所述触发执行针对所述目标对象的目标操作，包括：在所述目标操作属于所述终端操作系统中预定义的系统级操作的情况下，通过调用所述终端操作系统的预设功能或者唤起终端设备上安装的预设应用程序，以针对所述目标对象执行所述目标操作；在所述目标操作属于所述目标对象所属应用程序中预定义的应用级操作的情况下，向所述应用程序发送根据针对所述目标对象的目标操作指令，以使所述应用程序根据所述目标操作指令执行所述目标操作。根据本公开实施例的第二方面，提供了一种终端操控装置，所述装置包括：对象识别单元，用于通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；对象确定单元，用于根据接收到的用户输入信息，从所述操控对象中确定出目标对象；操作执行单元，用于触发执行针对所述目标对象的目标操作。可选的，当所述终端操作系统为安卓Android操作系统时，所述界面监控服务包括AccessbilitySevice服务。可选的，所述用户输入信息包括用户语音；所述对象确定单元包括：信息识别子单元，用于通过人工智能语音服务对所述用户语音进行处理，以识别出所述用户语音指示的对象信息；对象确定子单元，用于根据所述对象信息从所述操控对象中确定出目标对象。可选的，当所述目标操作涉及针对所述目标对象的触摸动作时，所述操作执行单元包括：触摸模拟子单元，用于执行针对所述目标对象的模拟触摸动作，以完成所述目标操作。可选的，所述对象确定子单元包括：信息获取模块，用于获取操控对象在所述终端显示界面中对应的显示信息；对象确定模块，用于在所述对象信息匹配于任一操控对象的显示信息的情况下，将所述任一操控对象确定为所述目标对象。可选的，所述信息获取模块包括：接口调用子模块，用于在所述操控对象为文本对象时，则通过调用所述文本对象的应用程序接口获取所述文本对象对应的显示信息；区域截屏子模块，用于在所述操控对象为图形对象时，则截屏所述图形对象的对应区域，并基于截屏所得的图像确定所述图形对象对应的显示信息。可选的，还包括：标识显示单元，用于在所述终端显示界面中示出对应于各个操控对象的对象标识；所述对象确定子单元还包括：标识确定模块，用于将匹配于所述对象标识的操控对象确定为所述目标对象。可选的，所述用户输入信息包括用户操作手势，所述对象确定单元还包括：信息确定子单元，用于确定所述用户操作手势对应的位置信息；位置确定子单元，用于确定所述操控对象中匹配于所述位置信息的操控对象，以作为所述目标对象。可选的，所述目标操作为预定义的默认操作；或者，所述装置还包括：操作确定单元，用于根据所述用户输入信息确定针对所述目标对象的所述目标操作。可选的，所述操作执行单元还包括：调用唤起子单元，用于在所述目标操作属于所述终端操作系统中预定义的系统级操作的情况下，通过调用所述终端操作系统的预设功能或者唤起终端设备上安装的预设应用程序，以针对所述目标对象执行所述目标操作；指令发送子单元，用于在所述目标操作属于所述目标对象所属应用程序中预定义的应用级操作的情况下，向所述应用程序发送根据针对所述目标对象的目标操作指令，以使所述应用程序根据所述目标操作指令执行所述目标操作。根据本公开实施例的第三方面，提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述方法的步骤。根据本公开实施例的第四方面，提供了一种终端操控装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以实现上述第一方面任一所述方法的步骤。本公开实施例提供的技术方案可以包括以下有益效果：通过调用终端操作系统提供的界面监控服务识别终端显示界面中所包含的操控对象，实现了对当前显示界面中操控对象的准确识别，便于在接收到用户输入信息后对操作对象中的目标对象进行本文档来自技高网...

【技术保护点】
1.一种终端操控方法，其特征在于，所述方法包括：/n通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；/n根据接收到的用户输入信息，从所述操控对象中确定出目标对象；/n触发执行针对所述目标对象的目标操作。/n

【技术特征摘要】
1.一种终端操控方法，其特征在于，所述方法包括：
通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；
根据接收到的用户输入信息，从所述操控对象中确定出目标对象；
触发执行针对所述目标对象的目标操作。


2.根据权利要求1所述的方法，其特征在于，当所述终端操作系统为安卓Android操作系统时，所述界面监控服务包括AccessbilitySevice服务。


3.根据权利要求1所述的方法，其特征在于，所述用户输入信息包括用户语音；所述根据接收到的用户输入信息，从所述操控对象中确定出目标对象，包括：
通过人工智能语音服务对所述用户语音进行处理，以识别出所述用户语音指示的对象信息；
根据所述对象信息从所述操控对象中确定出目标对象。


4.根据权利要求3所述的方法，其特征在于，当所述目标操作涉及针对所述目标对象的触摸动作时，所述触发执行针对所述目标对象的目标操作，包括：
执行针对所述目标对象的模拟触摸动作，以完成所述目标操作。


5.根据权利要求3所述的方法，其特征在于，所述根据所述对象信息从所述操控对象中确定出目标对象，包括：
获取操控对象在所述终端显示界面中对应的显示信息；
在所述对象信息匹配于任一操控对象的显示信息的情况下，将所述任一操控对象确定为所述目标对象。


6.根据权利要求5所述的方法，其特征在于，所述获取操控对象在所述终端显示界面中对应的显示信息，包括：
若所述操控对象为文本对象，则通过调用所述文本对象的应用程序接口获取所述文本对象对应的显示信息；
若所述操控对象为图形对象，则截屏所述图形对象的对应区域，并基于截屏所得的图像确定所述图形对象对应的显示信息。


7.根据权利要求3所述的方法，其特征在于，
还包括：在所述终端显示界面中示出对应于各个操控对象的对象标识；
所述根据所述对象信息从所述操控对象中确定出目标对象，包括：
将匹配于所述对象标识的操控对象确定为所述目标对象。


8.根据权利要求1所述的方法，其特征在于，所述用户输入信息包括用户操作手势，所述根据接收到的用户输入信息，从所述操控对象中确定出目标对象，包括：
确定所述用户操作手势对应的位置信息；
确定所述操控对象中匹配于所述位置信息的操控对象，以作为所述目标对象。


9.根据权利要求1所述的方法，其特征在于，
所述目标操作为预定义的默认操作；或者，
所述方法还包括：根据所述用户输入信息确定针对所述目标对象的所述目标操作。


10.根据权利要求9所述的方法，其特征在于，所述触发执行针对所述目标对象的目标操作，包括：
在所述目标操作属于所述终端操作系统中预定义的系统级操作的情况下，通过调用所述终端操作系统的预设功能或者唤起终端设备上安装的预设应用程序，以针对所述目标对象执行所述目标操作；
在所述目标操作属于所述目标对象所属应用程序中预定义的应用级操作的情况下，向所述应用程序发送根据针对所述目标对象的目标操作指令，以使所述应用程序根据所述目标操作指令执行所述目标操作。


11.一种终端操控装置，其特征在于，所述装置包括：
对象识别单元，用于通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；
对象确定单元，用于根据接收到的用户输入信息，从所述操控对象中确定出目标对象；
操作...

【专利技术属性】
技术研发人员：方彦彬，王凯，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11