本发明专利技术公开了一种RPA定位控件元素的组合定位系统、方法、设备及介质，本方案通过第一级定位器和至少一个第二级定位器结合的方式以到达适应目标软件灵活多变的情况下仍能精准定位目标元素的功能，增加定位器定位功能的普遍适应性，通过灵活的组合方式能提高定位准确性、提高定位效率。而且本发明专利技术中的第二级定位器根据选取的已定位的参考控件元素和待定位的目标控件元素之间相对不变化的特征，然后基于已定位的参考控件元素和相对不变化的特征对待定位的目标控件元素进行定位，相较于相关的方案，在目标软件界面发生变化时，仍然能够达到准确的定位效果。达到准确的定位效果。达到准确的定位效果。
【技术实现步骤摘要】
RPA定位控件元素的组合定位系统、方法、设备及介质
[0001]本专利技术涉及RPA软件流程自动机器人
，特别涉及一种RPA定位控件元素的组合定位系统、方法、设备及介质。
技术介绍
[0002]RPA(Robotic Process Automation 机器人流程自动化)是一种新型的人工智能的虚拟流程自动化机器人，能够代替或者协助人类在计算机、手机等数字设备中完成重复性工作任务。VBA（Visual Basic for Applications，宏语言）是基于微软的软件开发平台Visual Basic产生的一种宏语言，是在Windows桌面应用程序中执行通用自动化（OLE）任务的一类编程语言。VBA是典型的宏编程语言应用。宏（英文为Macro）由一些独立命令组合在一起，解释器或编译器在遇到宏语言时会进行解析，将这些小命令或动作转化为一系列指令。Lisp（List Processing）类语言也具有非常精巧的宏系统，其构建的语法结构能够提供非常强大的抽象能力和自动化运行机制。
[0003]从一开始用于实现定时开关系统、日志处理、文档定时复制的批处理脚本和触发器形成了RPA的第一阶段。接着随Word、Excel等软件大量使用诞生了VBA，通过可视化的图形编程界面和面向对象的程序开发思路可以很方便地将重复性的动作自动化（如对Excel中每个单元格的数据进行转录和格式调整等操作）。从2015年开始RPA开始真正成型，多家RPA公司共同创新和努力形成了当前阶段RPA主要的产品形态，其核心创新形态为通过运用可视化流程拖拽设计以及操作记录等技术来构建流程的方式代替依赖编程构造的自动化流程的传统方式，对控件操作模块高度封装复用的同时大大降低了RPA软件用户操作门槛，可使得不具有IT行业背景的普通用户配置符合属于自己实际工作流程的RPA软件机器人，从而RPA在产业中大范围应用和落地。
[0004]现阶段的RPA定位器主要包括路径定位器，位置定位器和图像定位器；其中，1）路径定位器：在配置阶段根据将要操作的控件相对于其所在的目标软件界面层次结构作为定位信息，在运行阶段根据记录的定位信息从目标窗体结构中查找对应的控件；2）位置定位器：根据将要操作的控件相对于软件主界面左上角偏移位置（x,y）作为定位信息，在运行阶段获取目标软件界面该偏移位置的控件；3）图像定位器：对将要操作的控件进行截图保存作为定位信息，在运行阶段通过图像查找获取控件截图在目标软件界面的位置，从而获取该位置的控件。但在目标软件界面发生变化时，容易发生如下情况：1）路径定位器：当目标软件窗体层次结构因展示内容会更新发生变化后，导致目标控件在窗体结构中层次与设计器配置的路径层次不一致而无法对目标控件进行定位；2）位置定位器：当目标控件大小位置发生稍微变化后，导致该控件相对于软件窗体界面的位置与设计器阶段配置的相对位置不一致而无法对目标控件进行定位；3）图像定位器：当控件展示效果（颜色、大小、文字）发生变化后，导致该控件截图与设计器该控件截图不一致而无法对目标控件进行定位。
[0005]根据相关方案，现阶段的RPA定位器存在较大的局限性，通常在目标软件界面发生变化时无法达到准确的定位效果。而且现阶段的RPA定位器通常是单独实现定位功能，定位
效率和精确度较低。
技术实现思路
[0006]本专利技术旨在至少解决现有技术中存在的技术问题。为此，本专利技术提出一种RPA定位控件元素的组合定位系统、方法、设备及介质。
[0007]本专利技术的第一方面，提供了一种RPA定位控件元素的组合定位系统，所述组合定位系统包括：一个第一级定位器，用于定位出控件元素；至少一个第二级定位器，所述第二级定位器之间递进执行定位任务，每一个所述第二级定位器将所述第一级定位器或上一个所述第二级定位器定位出的控件元素作为已定位的参考控件元素，选取已定位的参考控件元素与待定位的目标控件元素之间相对不变化的特征，并根据已定位的参考控件元素和所述相对不变化的特征对待定位的目标控件元素进行定位;所述第二级定位器包括相对位置定位器、相对路径定位器和文本信息定位器中的至少一种，其中：所述相对位置定位器用于在第一时刻选取已定位的参考控件元素上的第一坐标点和待定位的目标控件元素的第二坐标点，计算所述第一坐标点与所述第二坐标点之间不变化的相对偏移位置，其中第一坐标点在所述已定位的参考控件元素上的位置与所述第二坐标点在所述待定位的目标控件元素上的位置相对应，并且根据所述第一坐标点和所述相对偏移位置对第二时刻的所述待定位的目标控件元素进行定位；所述相对路径定位器用于在第一时刻选取已定位的参考控件元素的第一路径和待定位的目标控件元素的第二路径，计算所述第一路径和所述第二路径之间不变化的最小父级窗体层次结构，根据所述第一路径和所述最小父级窗体层次结构对第二时刻的所述待定位的目标控件元素进行定位；所述文本信息定位器用于在第一时刻选取与已定位的参考控件元素的各子级控件元素唯一对应的第一本文信息和待定位的目标控件元素的第二文本信息，其中至少有一个所述第一本文信息中包含所述第二文本信息，并且根据包含所述第二文本信息的所述第一本文信息对第二时刻的所述待定位的目标控件元素进行定位。
[0008]本专利技术的第二方面，提供了一种RPA定位控件元素的组合定位方法，包括如下步骤：接收第一级定位器或上一个执行定位任务的第二级定位器定位的控件元素；将所述定位的控件元素作为已定位的参考控件元素，并选取所述已定位的参考控件元素与待定位的目标控件元素之间相对不变化的特征，根据已定位的参考控件元素和所述相对不变化的特征对待定位的目标控件元素进行定位；选取所述已定位的参考控件元素与待定位的目标控件元素之间相对不变化的特征，根据已定位的参考控件元素和所述相对不变化的特征对待定位的目标控件元素进行定位，包括如下至少之一：在第一时刻选取已定位的参考控件元素上的第一坐标点和待定位的目标控件元素的第二坐标点，计算所述第一坐标点与所述第二坐标点之间不变化的相对偏移位置，其中第一坐标点在所述已定位的参考控件元素上的位置与所述第二坐标点在所述待定位的目标控件元素上的位置相对应，并且根据所述第一坐标点和所述相对偏移位置对第二时刻
的所述待定位的目标控件元素进行定位；在第一时刻选取已定位的参考控件元素的第一路径和待定位的目标控件元素的第二路径，计算所述第一路径和所述第二路径之间不变化的最小父级窗体层次结构，根据所述第一路径和所述最小父级窗体层次结构对第二时刻的所述待定位的目标控件元素进行定位；在第一时刻选取与已定位的参考控件元素的各子级控件元素唯一对应的第一本文信息和待定位的目标控件元素的第二文本信息，其中至少有一个所述第一本文信息中包含所述第二文本信息，并且根据包含所述第二文本信息的所述第一本文信息对第二时刻的所述待定位的目标控件元素进行定位。
[0009]本专利技术的第三方面，提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现：如上述的RPA定位控件元素的组合定位方法。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种RPA定位控件元素的组合定位系统，其特征在于，所述组合定位系统包括：一个第一级定位器，用于定位出控件元素；至少一个第二级定位器，所述第二级定位器之间递进执行定位任务，每一个所述第二级定位器将所述第一级定位器或上一个所述第二级定位器定位出的控件元素作为已定位的参考控件元素，选取已定位的参考控件元素与待定位的目标控件元素之间相对不变化的特征，并根据已定位的参考控件元素和所述相对不变化的特征对待定位的目标控件元素进行定位；所述第二级定位器包括相对位置定位器、相对路径定位器和文本信息定位器中的至少一种，其中：所述相对位置定位器用于在第一时刻选取已定位的参考控件元素上的第一坐标点和待定位的目标控件元素的第二坐标点，计算所述第一坐标点与所述第二坐标点之间不变化的相对偏移位置，其中第一坐标点在所述已定位的参考控件元素上的位置与所述第二坐标点在所述待定位的目标控件元素上的位置相对应，并且根据所述第一坐标点和所述相对偏移位置对第二时刻的所述待定位的目标控件元素进行定位；所述相对路径定位器用于在第一时刻选取已定位的参考控件元素的第一路径和待定位的目标控件元素的第二路径，计算所述第一路径和所述第二路径之间不变化的最小父级窗体层次结构，根据所述第一路径和所述最小父级窗体层次结构对第二时刻的所述待定位的目标控件元素进行定位；所述文本信息定位器用于在第一时刻选取与已定位的参考控件元素的各子级控件元素唯一对应的第一本文信息和待定位的目标控件元素的第二文本信息，其中至少有一个所述第一本文信息中包含所述第二文本信息，并且根据包含所述第二文本信息的所述第一本文信息对第二时刻的所述待定位的目标控件元素进行定位。2.根据权利要求1所述的RPA定位控件元素的组合定位系统，其特征在于，所述第一坐标点包括所述参考控件元素的矩形边中点、矩形中点和矩形顶点中的其中一点。3.根据权利要求1所述的RPA定位控件元素的组合定位系统，其特征在于，所述第一本文信息中包括文字特征、字体特征、字号特征和颜色特征中的至少一种。4.一种RPA定位控件元素的组合定位方法，其特征在于，包括如下步骤：接收第一级定位器或上一个执行定位任务的第二级定位器定位的控件元素；将所述定位的控件...
【专利技术属性】
技术研发人员：梁威，匡雄峰，
申请(专利权)人：长沙博为软件技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。