一种桌面自动化定制化系统技术方案

本发明专利技术公开了一种桌面自动化定制化系统，包括UI元素探测模块，所述UI元素探测模块在原生的UIA无法根据屏幕坐标返回正确的控件元素时，自动切换到遍历搜索逻辑，并使用贪婪算法和剪枝算法实现及时地停止；流程信息生成模块，所述流程信息生成模块记录目标控件元素的关键信息以给回放时定位控件提供依据，其中关键信息包括控件类型和控件名。该桌面自动化定制化系统，能够修复掉许多元素存在顶层蒙板，导致需要定位里层控件元素时却只能探测到该蒙板的缺陷；可以大幅缩短搜索应用时间，提升用户体验；可以绕开动态的，甚至是有陷阱的属性访问，正常完成录制过程；可避免拜占庭错误该桌面自动化定制化系统。

【技术实现步骤摘要】
一种桌面自动化定制化系统
本专利技术涉及桌面自动化相关
，具体为一种桌面自动化定制化系统。
技术介绍
RPA(RoboticProcessAutomation)，即机器人流程自动化，其功能是自动完成一系列计算机软件操作，旨在消除重复性的，有明确步骤的，可程序化的冗余人力劳动；其流程包括两个阶段：记录人工操作的UI元素信息和动作信息，称为录制；机器人使用前述信息重现人工操作，称为回放。由于计算机软件的实现方式和技术框架等具有多样性，RPA需要具备与之对应的多种技术手段来达到更好的覆盖面，包括但不局限于以下几种：桌面自动化、WEB自动化、手机自动化等；本专利技术将着眼于桌面自动化。桌面自动化最通用且完善的技术是UIAutomation，简称UIA。它基于某种搜索和执行算法，提供了获取和设置界面元素属性值的相关接口。然而，软件开发人员在有意无意间，便有可能突破这种算法，使得UIA获取到不合理的结果。例如当目标软件存在有顶层遮罩面板时，会无法定位到里层的有用控件；当软件开发者重写了控件属性的获取逻辑但存在bug时，访问相关属性可能本文档来自技高网...

【技术保护点】
1.一种桌面自动化定制化系统，其特征在于，包括：/nUI元素探测模块，所述UI元素探测模块在原生的UIA无法根据屏幕坐标返回正确的控件元素时，自动切换到遍历搜索逻辑，并使用贪婪算法和剪枝算法实现及时地停止；/n流程信息生成模块，所述流程信息生成模块记录目标控件元素的关键信息以给回放时定位控件提供依据，其中关键信息包括控件类型和控件名；/n规则描述配置文件，所述规则描述配置文件包含四类关键信息，分别为特殊应用识别规则、应被忽略的元素所具备的特征、元素探测的中止条件和产生定位子(回放时定位控件的依据)所需的元素属性；/n回放执行模块，所述回放执行模块封装各类常见动作的接口，并给出一个默认实现，通过...

【技术特征摘要】
1.一种桌面自动化定制化系统，其特征在于，包括：
UI元素探测模块，所述UI元素探测模块在原生的UIA无法根据屏幕坐标返回正确的控件元素时，自动切换到遍历搜索逻辑，并使用贪婪算法和剪枝算法实现及时地停止；
流程信息生成模块，所述流程信息生成模块记录目标控件元素的关键信息以给回放时定位控件提供依据，其中关键信息包括控件类型和控件名；
规则描述配置文件，所述规则描述配置文件包含四类关键信息，分别为特殊应用识别规则、应被忽略的元素所具备的特征、元素探测的中止条件和产生定位子(回放时定位控件的依据)所需的元素属性；
回放执行模块，所述回放执行模块封装各类常见动作的接口，并给出一个默认实现，通过对它的不同实现完成对应用的定制化。


2.根据权利要求1所述的一种桌面自动化定制化系统，其特征在于：所述UI元素探测模块在完成自动切换到遍历搜索逻辑，并使用贪婪算法和剪枝算法实现及时地停止该过程时，依赖剪枝和中止条件的其中一种，且其在各个应用里有所不同。


3.根据权利要求1所述的一种桌面自动化定制化系统，其特征在于：所述UI元素探测模块的输入内容为：屏幕坐标、配置文件；UI元素探测模块的输出内容为：该坐标上的最里层界面元素。


4.根据权利要求1所述的一种桌面自动化定制化系统，其特征在于：所述流程信息生成模块不仅要通过自下而上方式获得控件的路径信息，还要模拟一遍回放过程，以确保生成的信息能唯一对应目标控件；其中，所使用的关键信息由配置文件灵活提供。


5.根据权利要求1所述的一种桌面自动化定制化系统，其特征在于：所...

【专利技术属性】
技术研发人员：刘春刚，王俊彦，田永军，
申请(专利权)人：上海云扩信息科技有限公司，
类型：发明
国别省市：上海;31