RPA流程元素路径智能修复方法及系统技术方案

本发明专利技术涉及RPA技术领域，具体涉及RPA流程元素路径智能修复方法及系统。方法包括：S1，元素拾取阶段：用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；S2，智能修复阶段：在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。本发明专利技术具有能够保障流程对解析界面的适应能力，能够大大提升RPA自动化流程的执行稳定性和效率的特点。性和效率的特点。性和效率的特点。

【技术实现步骤摘要】
RPA流程元素路径智能修复方法及系统


[0001]本专利技术涉及RPA
，具体涉及RPA流程元素路径智能修复方法及系统。

技术介绍

[0002]机器人流程自动化技术（Robotic Process Automation, 后简称RPA）是一种用于企业规则化、重复性工作替代的有效技术，目前正广泛应用于各行各业的财务、税务、审批、风控、运营、物流、广告等业务中。RPA技术提供了可视化的流程编辑器，开发人员可以在流程编辑器上设计和配置出能够在企业业务系统中自动执行的流程脚本；在脚本执行过程中，则通过模拟键盘、鼠标操作、调用操作系统接口、分析网页结构等手段，来模拟人类的按钮点击、键盘输入、文件创建、网页跳转、逻辑判断等动作。
[0003]以网页元素为例，在流程编写时，会记录各元素的xpath路径（xpath(XML Path Language) 是一门在 XML 文档中查找信息的语言，基于元素的树形结构解析元素信息，可用来在XML文档中对元素和属性进行遍历），以便在执行阶段通过所记录的xpath路径进行目标元素定位从而进行点击等操作。但是，元素的xpath路径并不是一直不变的，当网页有更新时，可能会导致流程中某元素的xpath路径中的某一个节点甚至元素本身样式发生变化，此时再通过所记录的初始xpath路径去定位该元素时，就会导致元素定位失败。用户就不得不重新对该元素进行拾取，获取目标元素当前xpath路径，等到下次更新时，再出现由xpath路径更新导致的元素定位失败的情况，再去重新拾取，周而复始，严重影响了流程执行的稳定性，这样的RPA流程鲁棒性较差，难以长期持续稳定运行。
[0004]对于RPA流程元素路径智能修复方法及系统，目前主要涉及到以下技术：1.可底层解析场景的元素匹配技术在可底层解析的软件或网站场景下，元素匹配均是通过在拾取阶段所记录的元素xpath路径进行匹配（这种场景下所拾取的元素以下称为普通元素）。如中国专利申请号为CN202210737400.5描述的《基于RPA的网页元素定位方法、装置及存储介质》中提到的，拾取阶段获取目标元素的xpath路径，在执行阶段根据xpath路径定位目标元素并执行相应操作。
[0005]2.不可底层解析场景的元素匹配技术对于不可底层解析的软件或网页场景，需要首先借助计算机视觉技术对界面进行识别，然后选取目标元素进行拾取，最后保存所拾取元素的图像等相关信息，在执行阶段基于模版匹配技术或者计算机视觉技术进行目标元素的匹配（这种场景下所拾取的元素以下称为CV元素）。如中国专利申请号为CN202011206854.7描述的《一种RPA机器人智能元素定位拾取方法及系统》和中国专利申请号为CN202210944399.3描述的《用于支持跨分辨率的自迭代RPA界面元素匹配方法及系统》中提到的，在各种场景下基于计算机视觉技术的RPA元素匹配方案。
[0006]针对RPA流程执行中的元素匹配问题，现有技术将普通元素和CV元素匹配分开处理，具体来说：在元素拾取时，系统会为所拾取的元素打上标签以表明该元素属于普通元素
还是CV元素，并在执行时为前者基于xpath路径匹配，为后者基于计算机视觉技术匹配。这种方式能够有效为不同类型的元素使用不同的匹配方法，进而高效地完成元素匹配任务。但是对于普通元素来说，还存在以下问题亟待解决。
[0007]由于本专利技术所要解决的是可底层解析场景下由执行界面目标元素xpath路径变化导致的流程执行失败的问题，因此仅对可底层解析场景的元素匹配技术的局限性进行描述。
[0008]1.可底层解析场景的元素匹配技术的局限性对于可底层解析场景的元素匹配，需要基于所拾取的元素xpath路径进行元素定位。而元素的xpath路径并不是一直不变的，当网页或者软件有更新时，一方面可能会导致流程中某元素的xpath路径中的某一个节点发生变化，此时再通过所记录的初始xpath路径去定位该元素时，就会导致元素定位失败。另一方面还有可能会导致如图标元素样式也发生变化，同样会导致元素匹配失败。此时，用户就不得不重新对该元素进行拾取，获取目标元素当前的xpath路径；等到下次软件或网页更新时，依然会再次出现元素定位失败的情况，就需要再次去重新拾取，周而复始，严重影响了流程执行的稳定性。
[0009]因此，设计一种能够解决由目标元素在执行界面xpath路径或元素样式发生变化导致的元素匹配失败问题的RPA流程元素路径智能修复方法及系统，就显得十分重要。

技术实现思路

[0010]本专利技术是为了克服现有技术中，现有可底层解析场景下由执行界面目标元素xpath路径变化导致的流程执行失败的问题，提供了一种能够保障流程对解析界面的适应能力，能够大大提升RPA自动化流程的执行稳定性和效率的RPA流程元素路径智能修复方法及系统。
[0011]为了达到上述专利技术目的，本专利技术采用以下技术方案：RPA流程元素路径智能修复方法，包括如下步骤；S1，元素拾取阶段：在所述元素拾取阶段，用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；S2，智能修复阶段：在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。
[0012]作为优选，步骤S1中，所述元素拾取阶段具体包括如下步骤：S11，使用元素检测模型检测拾取界面各元素位置；S12，计算所拾取的目标元素中心点坐标，确认所述中心点具体落在的位置，并将落有目标元素中心点的CV元素作为候选元素；S13，对所述候选元素进行双向确认和二次校验。
[0013]作为优选，所述双向确认的过程如下：当目标元素中心点仅落在一个CV元素内时，则计算对应CV元素的中心点，同时计
算所述CV元素的中心点是否落在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。
[0014]作为优选，步骤S13中，所述二次校验的过程如下：当目标元素中心点落在多个CV元素内时，通过模版匹配的方式选择出与目标元素视觉特征最为相似的一个CV元素，再基于双向确认机制验证最为相似的CV元素的中心点是否在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。
[0015]作为优选，步骤S11中，所述元素检测模型为预先训练的识别界面元素位置的深度学习模型。
[0016]作为优选，步骤S1中，所述CV元素信息包括CV元素本身的图像信息以及为CV元素分配的锚点元素信息。
[0017]作为优选，步骤S2中，所述智能修复操作具体过程为：S21，获取目标元素对应的CV元素信息，使用模版匹配在执行界面进行目标元素匹配，若成功匹配到目标元素，则表示目标元素仅xpath路径变化，而视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.RPA流程元素路径智能修复方法，其特征在于，包括如下步骤；S1，元素拾取阶段：在所述元素拾取阶段，用户在可底层解析场景下拾取普通元素作为目标元素，系统为目标元素生成xpath路径并保存；同时，系统自动静默进行目标元素的CV元素拾取并保存对应的CV元素信息；S2，智能修复阶段：在目标元素匹配过程中，系统基于xpath路径在执行界面匹配目标元素；当匹配失败时，表示目标元素在执行界面的xpath路径节点发生变化，则使用目标元素的CV元素信息以及基于CV匹配的方式进行匹配，并执行智能修复操作。2.根据权利要求1所述的RPA流程元素路径智能修复方法，其特征在于，步骤S1中，所述元素拾取阶段具体包括如下步骤：S11，使用元素检测模型检测拾取界面各元素位置；S12，计算所拾取的目标元素中心点坐标，确认所述中心点具体落在的位置，并将落有目标元素中心点的CV元素作为候选元素；S13，对所述候选元素进行双向确认和二次校验。3.根据权利要求2所述的RPA流程元素路径智能修复方法，其特征在于，步骤S13中，所述双向确认的过程如下：当目标元素中心点仅落在一个CV元素内时，则计算对应CV元素的中心点，同时计算所述CV元素的中心点是否落在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。4.根据权利要求3所述的RPA流程元素路径智能修复方法，其特征在于，步骤S13中，所述二次校验的过程如下：当目标元素中心点落在多个CV元素内时，通过模版匹配的方式选择出与目标元素视觉特征最为相似的一个CV元素，再基于双向确认机制验证最为相似的CV元素的中心点是否在目标元素内；若是，则拾取对应CV元素，否则放弃为所述目标元素拾取CV元素，即放弃对应普通元素的智能修复。5.根据权利要求2所述的RPA流程元素路径智能修复方法...

【专利技术属性】
技术研发人员：宋志龙，周神特，
申请(专利权)人：杭州实在智能科技有限公司，
类型：发明
国别省市：