基于动态跳级匹配和CV技术的桌面元素定位方法及系统技术方案

本发明专利技术属于RPA技术领域，具体涉及基于动态跳级匹配和CV技术的桌面元素定位方法及系统。方法包括：S1，在使用RPA技术定位拾取元素结构信息时，同时捕获当前时间点应用的界面图像，并使用计算机视觉技术，提取用于定位元素位置的视觉数据信息；S2，在流程执行过程中，结合RPA技术和计算机视觉技术进行元素的定位和拾取，并提取出元素的结构信息；S3，引入跳级匹配机制，通过动态分析元素结构信息的变化，自动识别并设置跳级节点，实现目标元素定位。本发明专利技术具有能够解决传统RPA技术在动态环境中的局限性，还能够显著提升元素定位的鲁棒性和准确性，且具有高效和灵活的特点。

【技术实现步骤摘要】

本专利技术属于rpa，具体涉及基于动态跳级匹配和cv技术的桌面元素定位方法及系统。

技术介绍

1、rpa（robotic process automation，机器人流程自动化）是一种利用“数字员工”代替人进行业务操作的方式及其相关的技术。本质上，rpa是通过软件自动化技术，模拟人在计算机上对系统、软件、网页和文档等对象的操作，实现无人化操作，获取业务信息、执行业务动作，最终达到流程自动化处理、节约人力成本和提升处理效率的目的。

2、rpa的核心技术之一是操作元素的定位拾取。例如，当需要模拟人进行按钮点击动作时，必须先定位到按钮元素的位置。传统的元素定位技术通常通过api接口或页面源码解析的方式，将页面底层结构信息提取并保存到计算机中。在执行流程时，系统会按照保存的结构信息再次定位元素并进行模拟操作。

3、在rpa领域，cv（computer vision,计算机视觉）技术被广泛应用于元素定位和拾取。常见的方法包括目标检测和ocr（optical character recognition,光学字符识别）两种技术。

4、本文档来自技高网...

【技术保护点】

1.基于动态跳级匹配和CV技术的桌面元素定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于动态跳级匹配和CV技术的桌面元素定位方法，其特征在于，在步骤S1中，将提取到的视觉数据信息与RPA技术定位拾取到的元素结构信息做数据关联，并存储在计算机中。

3.根据权利要求2所述的基于动态跳级匹配和CV技术的桌面元素定位方法，其特征在于，步骤S2包括如下步骤：

4.根据权利要求3所述的基于动态跳级匹配和CV技术的桌面元素定位方法，其特征在于，步骤S3包括如下步骤：

5.根据权利要求4所述的基于动态跳级匹配和CV技术的桌面元素定位方法，...

【技术特征摘要】

1.基于动态跳级匹配和cv技术的桌面元素定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于动态跳级匹配和cv技术的桌面元素定位方法，其特征在于，在步骤s1中，将提取到的视觉数据信息与rpa技术定位拾取到的元素结构信息做数据关联，并存储在计算机中。

3.根据权利要求2所述的基于动态跳级匹配和cv技术的桌面元素定位方法，其特征在于，步骤s2包括如下步骤：

4.根据权利要求3所述的基于动态跳级匹配和cv技术的桌面元素定位方法，其特征在于，步骤s3包括如下步骤：

5.根据权利要求4所述的基于动态跳级匹配和cv技术的桌...

【专利技术属性】
技术研发人员：王宾同，欧阳小刚，王灿，陈佳伟，宋明黎，陈存，孙林君，孙跃刚，孙林春，高扬，
申请(专利权)人：浙江实在智能科技有限公司，
类型：发明
国别省市：