机器人流程自动化界面元素定位方法、装置和存储介质制造方法及图纸

本发明专利技术实施例涉及人工智能技术领域，公开了一种机器人流程自动化界面元素定位方法、装置和存储介质，通过将目标元素确定为各控件树中，包含当前鼠标坐标的元素中控件面积最小的元素，使得不管界面采用何种已知的界面绘制技术绘制，本实施例的方法都可以自动识别到包含当前鼠标坐标的元素，而不会出现无法抓取到目标元素的情况。通过按照对各界面交互技术通用的设定描述方式描述目标元素得到目标元素的描述字符串，使得定位目标元素时，可以根据目标元素所属控件树对应的界面交互技术的标签确定目标元素所属控件树对应的界面交互技术，进行目标元素的定位时，可以根据该描述路径中的元素属性的属性值来快速定位到目标元素。的元素属性的属性值来快速定位到目标元素。的元素属性的属性值来快速定位到目标元素。

【技术实现步骤摘要】
机器人流程自动化界面元素定位方法、装置和存储介质


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种机器人流程自动化界面元素定位方法、装置和存储介质。

技术介绍

[0002]机器人流程自动化(Robotic Process Automation，RPA)，又称数字化劳动力，可以通过用户界面使用和理解企业已有的应用，将基于规则的常规操作自动化，替代人在电脑前执行具有规律与重复性高的办公流程。
[0003]RPA通过模拟自然人在用户界面上的操作来完成办公流程的自动化，自然人在操作软件时，一般通过视觉识别界面上的元素，并操作鼠标、键盘等设备与之交互；但RPA在访问用户界面时，若通过计算机视觉识别界面元素，容易由于屏幕分辨率、窗体大小变动等原因造成识别错误，因此往往通过界面元素的名称、类型等属性查找并定位该元素。
[0004]然而由于目前存在多种主流的用户界面绘制技术，对于用户界面元素的属性定义各不相同，访问方式亦互不兼容，要求RPA的开发者在开发机器人时根据不同的用户界面绘制技术选择对应的元素抓取工具，增加了机器人的开发难本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人流程自动化界面元素定位方法，其特征在于，包括：根据至少两个控件树确定目标元素，其中，所述目标元素为各所述控件树中，包含当前鼠标坐标的元素中控件面积最小的元素；按照设定描述方式描述所述目标元素得到所述目标元素的描述字符串，其中所述描述字符串包括所述目标元素所属控件树对应的界面交互技术的标签和所述目标元素所属的所述控件树的树根到所述目标元素的描述路径；根据所述目标元素的描述字符串定位所述目标元素。2.根据权利要求1所述的方法，其特征在于，所述根据至少两个控件树确定目标元素，包括：获取当前鼠标位置对应的当前鼠标坐标；对每一所述控件树，从所述控件树根开始逐层搜索所述控件树的每一层，确定所述控件树中包含所述当前鼠标坐标的最底层元素；将各所述控件树中，包含所述当前鼠标坐标的最底层元素中控件面积最小的元素确定为所述目标元素。3.根据权利要求2所述的方法，其特征在于，所述对每一所述控件树，从所述控件树根开始逐层搜索所述控件树的每一层，确定所述控件树中包含所述当前鼠标坐标的最底层元素，包括：对每一所述控件树，将所述控件树的第一层加入第一待搜索列表，并记录待选元素为空；遍历所述第一待搜索列表，获取包含所述当前鼠标坐标的控件，并在获取到包含所述当前鼠标坐标的控件后，将包含所述当前鼠标坐标的控件设定为所述待选元素；清空所述第一待搜索列表；在所述待选元素中包含子元素时，将所述待选元素的子元素加入所述第一待搜索列表，并跳转至所述遍历所述第一待搜索列表，获取包含所述当前鼠标坐标的控件，并在获取到包含所述当前鼠标坐标的控件后，将包含所述当前鼠标坐标的控件设定为所述待选元素的步骤；在所述待选元素中不包含子元素时，将所述待选元素确定为包含所述当前鼠标坐标的最底层元素并结束查找。4.根据权利要求3所述的方法，其特征在于，还包括：遍历所述第一待搜索列表后，在所述第一待搜索列表中不存在包含所述当前鼠标坐标的控件时，将所述待选元素确定为包含所述当前鼠标坐标的最底层元素并结束查找。5.根据权利要求2所述的方法，其特征在于，所述将各所述控件树中，包含所述当前鼠标坐标的最底层元素中控件面积最小的元素确定为所述目标元素，包括：获取各所述控件树中，包含所述当前鼠标坐标的最底层元素的对应的控件的尺寸；根据所述控件树中，包含所述当前鼠标坐标的最底层元素的对应的控件的尺寸信息确定包含所述当前鼠标坐标的最底层元素的对应的控件的面积；将各所述控件树中，包含所述当前鼠标坐标的最底层元素中控件面积最小者作为所述目标元素。6.根据权利要求1所述的方法，其特征在于，所述按照设定描述方式描述所述目标元素
得到所述目标元素的描述字符串，包括：至少以属性名称
‑
属性值对的形式记录所述目标元素所属控件树的控件树根和所述目标元素得到所述目标元素的描述路径，其中所述目标元素的描述路径中相邻元素采用第一分割符分割；以第二分割符分割所述标签与所述目标元素的描述路径得到所述目标元素的描述字符串。7.根据权利要求6所述的方法，其特征在于，所述至少以属性名称
‑
属性值对的形式记录所述目标元素所属控件树的控件树根和所述目标元素得到所述目标元素的描述路径，包括：分别以属性名称
‑
属性值对的形式记录所述目标元素所属控件树的控件树根至所述目标元素的每一层元素得到所述目标元素的描述路径。8.根据权利要求1或6所述的方法，其特征在于，不同界面交互技术的标签不同。9.根据权利要求6所述的方法，其特征在于，所述目标元素所属控件树对应的界面交互技术不同时，所述属性名称
‑
属性值对中的所述属性名称的取值范围不完全相同。10.根据权利要求6所述的方法，其特征在于，所述根据所述目标元素的描述字符串定位所述目标元素，包括：根据所述第二分割符分割所述描述字符串，根据得到的界面交互技术对应的所述标签确定第二待搜索列表；根据第一...

【专利技术属性】
技术研发人员：徐立宇，孙歌睿，林震宇，林晨，陈佳雯，廖婉蓉，陈艺辉，王金哲，胡雪惠，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：