界面信息处理方法、装置、设备、介质和计算机程序产品制造方法及图纸

技术编号:41295547 阅读:17 留言:0更新日期:2024-05-13 14:44
本申请涉及一种界面信息处理方法、装置、计算机设备、存储介质和计算机程序产品,涉及机器视觉以及流程自动化领域。方法包括:获取多个界面类型标识中每个界面类型标识对应的训练样本,针对每个界面类型标识,使用对应的训练样本训练得到该界面类型标识对应的元素识别模型;获取目标界面的图像信息,将其输入界面分类模型,得到由界面分类模型输出的界面类型标识;然后根据界面类型标识确定对应的元素识别模型,将图像信息输入该元素识别模型,得到由元素识别模型输出的目标元素在目标界面中的位置信息,然后可以根据该位置信息触发对目标界面中的目标元素的元素交互操作。本申请能够有效降低对机器人流程自动化应用的脚本进行开发和运维的成本。

【技术实现步骤摘要】

本申请涉及机器视觉以及流程自动化,特别是涉及一种界面信息处理方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着流程自动化技术的发展,出现了机器人流程自动化(robotic processautomation,rpa)等自动化工具,其能够按照设定的规则,模拟人类在计算机界面上进行操作,从而节省人力成本,提高生产效率。

2、其中,为了实现对计算机界面的操控,在机器人流程自动化的应用中,通常需要针对每个界面,分别开发对应的脚本,在脚本中预先设定界面上的各种输入框、按钮等界面元素的位置以及对每个元素的交互操作,然后机器人流程自动化应用可以根据脚本内容,在界面的对应位置上进行相应的交互操作。而当界面中元素的所在位置、排列顺序等发生变化时,原有的脚本将不再适用于在该界面中进行自动化处理,从而需要由运维人员对界面的元素变化进行分析并修改对应的脚本代码,才能使机器人流程自动化应用能够继续在该界面上进行操作。

3、然而,上述方法中脚本代码的开发和运维成本较高,而当界面频繁变动时,对其对应的脚本代码进行修改维护的成本更随之急剧升高,本文档来自技高网...

【技术保护点】

1.一种界面信息处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取多个界面类型标识中每个界面类型标识对应的训练样本,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述位置信息,触发对所述目标界面中的目标元素的元素交互操作之后,所述方法还包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.一种界面信息处理装置,其特征在于,所述装置包括:

7.根据权利要求6所述的装置,其特征在于,所...

【技术特征摘要】

1.一种界面信息处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取多个界面类型标识中每个界面类型标识对应的训练样本,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述位置信息,触发对所述目标界面中的目标元素的元素交互操作之后,所述方法还包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.一种界面信息处理装置,其特征在于,所述装置包括:

7.根据权利要求6所述的装置,其特征在于,所述样本获取模块,还用于:

8.根据权利要求6所...

【专利技术属性】
技术研发人员:林晨唐景峰陈宪廖鹭姗
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1