【技术实现步骤摘要】
机器人流程自动系统元素定位方法、装置、设备及介质
[0001]本专利技术涉及计算机
，特别涉及一种机器人流程自动系统元素定位方法、装置、设备及介质。
技术介绍
[0002]机器人流程自动化(Robotic process automation，即RPA)是一种软件应用程序，RPA通过模仿最终用户在电脑的操作方式，代替或者协助人类在计算机、RPA手机等数字化设备中完成重复性工作与任务。
[0003]RPA通过组件指定相应的元素实现流程自动化的开发。当前，在指定相应的元素，也即在对目标元素进行定位时，主要是依赖于RPA编辑器可识别目标元素并以高亮效果显示，选定目标元素后自动生成节点树信息并将选择器属性填充。但是对于节点信息不稳定的元素，在运行时难以保证百分百的准确率；并且当出现难以识别的元素时，无法指定目标元素。
[0004]综上，如何在RPA中扩大对界面图像中目标元素的识别覆盖率，并准确、稳定地对元素进行定位是目前有待解决的问题。
技术实现思路
[0005]有鉴于此，本专利技术的目的在于提...
【技术保护点】
【技术特征摘要】
1.一种机器人流程自动系统元素定位方法，其特征在于，包括：在机器人流程自动系统的当前界面图像上创建锚点；配置所述锚点所在区域与待定位的目标元素之间的区域位置关系，并基于所述区域位置关系构建相应的区域筛选规则；获取参照图像，然后对所述参照图像进行特征点提取以得到第一特征点集合，并基于所述第一特征点集合对所述当前界面图像进行特征匹配，以从所述当前界面图像中确定与所述参照图像相匹配的若干数量的屏幕区域图像；利用所述区域筛选规则从所述若干数量的屏幕区域图像中筛选出包含所述目标元素的屏幕区域图像，以完成对所述目标元素的定位。2.根据权利要求1所述的机器人流程自动系统元素定位方法，其特征在于，所述获取参照图像，包括：确定历史界面图像中所述目标元素所在的区域边界；将所述区域边界作为图像截取范围的边界，并根据所述图像截取范围对所述历史界面图像进行相应的图像截取，以得到参照图像。3.根据权利要求1所述的机器人流程自动系统元素定位方法，其特征在于，所述基于所述区域位置关系构建相应的区域筛选规则，包括：基于所述区域位置关系构建用于筛选屏幕区域图像的位置条件，并构建用于筛选屏幕区域图像的置信度条件，以得到包含所述位置条件和所述置信度条件的区域筛选规则；相应的，所述利用所述区域筛选规则从所述若干数量的屏幕区域图像中筛选出包含所述目标元素的屏幕区域图像，包括：基于所述位置条件对所述若干数量的屏幕区域图像进行筛选，以筛选出满足所述位置条件的屏幕区域图像；基于所述置信度条件对满足所述位置条件的屏幕区域图像进行筛选，以筛选出满足所述置信度条件的包含所述目标元素的屏幕区域图像。4.根据权利要求3所述的机器人流程自动系统元素定位方法，其特征在于，所述获取参照图像，包括：从历史界面图像中确定出具有唯一性特征的并且与所述目标元素之间具有固定的相对位置偏移量的辅助定位元素；构造包含所述辅助定位元素的图像截取范围，并根据所述图像截取范围对所述历史界面图像进行相应的图像截取，以得到参照图像。5.根据权利要求4所述的机器人流程自动系统元素定位方法，其特征在于，所述基于所述区域位置关系构建用于筛选屏幕区域图像的位置条件，包括：基于所述区域位置关系和所述相对位置偏移量构建用于筛选屏幕区域图像的位置条件。6.根据权利要求1至5任一项所述的机器人流程自动系统元素定位方法，其特征在于，所述对所述参照图像进行特征点提取以得到第一特征点集合，并基于所述第一特征点集合对所述当前界面图像进行特征匹配，以从所述当前界面图像中确定与所述参照图像相匹配的若干数量的屏幕区域图像，包括：...
【专利技术属性】
技术研发人员：李冠霖，陈丹扉，徐正一，谢翔，董知周，郑思源，姜达利，林世溪，陈显辉，刘嘉杰，董学平，缪竞雄，卢剑辉，谢华森，蓝天虹，郑源，李雁，
申请(专利权)人：国网浙江省电力有限公司温州供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。