一种界面元素的处理方法、装置和电子设备制造方法及图纸

本发明专利技术涉及应用程序的图形用户界面技术领域，特别涉及一种让GUI解析程序识别并可对移动设备app不支持Accessibility的界面元素进行操作的方法、装置和电子设备，其中，该方法包括：获取用户对应用程序界面元素的操作；在检测到所述操作在预设时间内未被响应时，从屏幕路标数据库中获取所述用户操作的所述界面元素的标识信息；其中，所述屏幕路标数据库包括至少一个界面元素和所述界面元素对应的标识信息；控制图形用户界面程序加载所述标识信息，以获得所述界面元素对应的图形用户界面信息。本发明专利技术能够及时且准确地响应用户对界面元素的操作，特别是在遇到图形用户界面程序无法解析应用程序的GUI时，对于着急使用应用程序GUI的用户，能够明显提升其用户体验。

【技术实现步骤摘要】
一种界面元素的处理方法、装置和电子设备
本专利技术涉及应用程序的图形用户界面
，特别涉及一种界面元素的处理方法、装置和电子设备。
技术介绍
图形用户界面或图形用户接口(GraphicalUserInterface，GUI)是指采用图形方式显示的计算机操作环境用户接口。与早期计算机使用的命令行界面相比，图形界面对于用户来说更为简便易用。GUI的广泛应用是当今计算机发展的重大成就之一，它极大地方便了非专业用户的使用，人们从此不再需要死记硬背大量的命令，取而代之的是可用通过窗口、菜单、按键等方式来方便地进行操作。随着GUI的发展，使GUI解析程序的运行变得更加复杂。因此GUI解析程序被迫采用底层技术，收集操作系统的信息以建立一个非视觉用户界面(NomVisualUserInteface，NVUI)。例如，系统可能会在屏幕上显示一个或多个按钮。这些信息在传播的过程中，将被GUI解析程序获取并用于构建NVUI。现有的NVUI技术包括AppleAccessibilityAPI、MicrosoftActiveAccessibility(MSAA本文档来自技高网...

【技术保护点】
1.一种让GUI解析程序识别并可对移动设备app不支持Accessibility的界面元素进行操作的方法，其特征在于，所述方法包括：/n获取用户对应用程序界面元素的操作；/n在检测到所述操作在预设时间内未被响应时，从屏幕路标数据库中获取所述用户操作的所述界面元素的标识信息；其中，所述屏幕路标数据库包括至少一个界面元素和所述界面元素对应的标识信息；/n控制图形用户界面程序加载所述标识信息，以获得所述界面元素对应的图形用户界面信息。/n

【技术特征摘要】
1.一种让GUI解析程序识别并可对移动设备app不支持Accessibility的界面元素进行操作的方法，其特征在于，所述方法包括：
获取用户对应用程序界面元素的操作；
在检测到所述操作在预设时间内未被响应时，从屏幕路标数据库中获取所述用户操作的所述界面元素的标识信息；其中，所述屏幕路标数据库包括至少一个界面元素和所述界面元素对应的标识信息；
控制图形用户界面程序加载所述标识信息，以获得所述界面元素对应的图形用户界面信息。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括建立所述屏幕路标数据库的步骤，所述建立所述屏幕路标数据库包括：
在检测到应用程序的图形用户界面的界面元素无法被所述图形用户界面程序扫描并解析时，在屏幕路标数据库中记录所述界面元素所在界面或窗口的ID信息，以及所述界面元素的像素信息，所述ID信息和所述像素信息组成所述标识信息。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
接收用户对所述屏幕路标数据库中记录的界面元素的编辑操作，所述编辑操作包括定义所述界面元素的属性。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述屏幕路标数据库中属于相同类别的界面元素，并将所述界面元素和所述界面元素的标识信息进行聚类，生成界面元素集合；
接收用户对所述界面元素集合的编辑操作，所述编辑操作包括定义所述界面元素集合的属性。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取用户的历史操作行为，所述历史操作行为是所述用户操作应用程序界面元素的行为；
获取所述应用程序的版本信息；
根据所述历史操作行为和所述版本信息，确定所述图形用户界面程序的加载路径；
在检测到所述用户操作所述应用程序时，执行所述确定的加载路径，以获得所述应用程序的图形用户界面信息；
其中，所述加载路径包括加载所述屏幕路标数据库中的所述界面元素的标识信息的路径，以及加载所述界面元素的...

【专利技术属性】
技术研发人员：吴益明，王孟琦，
申请(专利权)人：深圳市联谛信息无障碍有限责任公司，
类型：发明
国别省市：广东;44