【技术实现步骤摘要】
本申请涉及机器视觉以及流程自动化，特别是涉及一种界面信息处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着流程自动化技术的发展，出现了机器人流程自动化（robotic processautomation，rpa）等自动化工具，其能够按照设定的规则，模拟人类在计算机界面上进行操作，从而节省人力成本，提高生产效率。
2、其中，为了实现对计算机界面的操控，在机器人流程自动化的应用中，通常需要针对每个界面，分别开发对应的脚本，在脚本中预先设定界面上的各种输入框、按钮等界面元素的位置以及对每个元素的交互操作，然后机器人流程自动化应用可以根据脚本内容，在界面的对应位置上进行相应的交互操作。而当界面中元素的所在位置、排列顺序等发生变化时，原有的脚本将不再适用于在该界面中进行自动化处理，从而需要由运维人员对界面的元素变化进行分析并修改对应的脚本代码，才能使机器人流程自动化应用能够继续在该界面上进行操作。
3、然而，上述方法中脚本代码的开发和运维成本较高，而当界面频繁变动时，对其对应的脚本代码进行修改维护的成本更随之急剧升高，甚至超过机器人流程自动化应用的开发投入。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种界面信息处理方法、装置、计算机设备、存储介质和计算机程序产品。
2、第一方面，本申请提供了一种界面信息处理方法。所述方法包括：
3、获取多个界面类型标识中每个界面类型标识对应的训练样本；所述每个界面类型标识对
4、针对每个所述界面类型标识，将对应的训练样本中多个样本界面的图像信息样本输入待训练的神经网络模型，根据所述待训练的神经网络模型输出的目标元素的位置信息识别结果与所述多个样本界面的目标元素位置样本的相似度，对所述待训练的神经网络模型进行训练，得到所述界面类型标识对应的元素识别模型；
5、获取目标界面的图像信息；
6、将所述目标界面的图像信息输入界面分类模型，得到由所述界面分类模型输出的界面类型标识；其中，所述界面分类模型用于从输入的图像信息中提取元素显示特征及根据所述元素显示特征对所述图像信息进行界面类型分类得到界面类型标识；
7、根据所述界面类型标识，确定所述界面类型标识对应的元素识别模型；
8、将所述目标界面的图像信息输入所述元素识别模型，得到由所述元素识别模型输出的目标元素在所述目标界面中的位置信息；
9、根据所述位置信息，触发对所述目标界面中的目标元素的元素交互操作。
10、在其中一个实施例中，所述获取多个界面类型标识中每个界面类型标识对应的训练样本，包括：获取多个界面类型标识中每个界面类型标识对应的多个样本界面的图像信息样本；根据所述界面类型标识，确定所述多个样本界面对应的目标元素信息；根据所述目标元素信息，确定各项目标元素在每个所述样本界面中的位置信息；根据所述目标元素信息和所述位置信息，得到每个所述样本界面的目标元素位置样本；根据每个界面类型对应的多个样本界面的图像信息样本和目标元素位置样本，得到所述界面类型标识对应的训练样本。
11、在其中一个实施例中，所述根据所述位置信息，触发对所述目标界面中的目标元素的元素交互操作之后，所述方法还包括：获取所述元素交互操作的操作结果；对指示所述元素交互操作失败的操作结果的数量进行统计，当所述数量符合预设条件时，调整所述元素识别模型的模型参数。
12、在其中一个实施例中，所述方法还包括：根据所述目标界面的界面类型标识，获取所述目标界面中各项目标元素对应的目标交互次序和目标交互动作；所述根据所述位置信息，触发对所述目标界面中的目标元素的元素交互操作，包括：根据所述目标界面中各项目标元素对应的位置信息，触发按照所述目标交互次序，在所述目标界面的对应位置上执行所述目标交互动作。
13、在其中一个实施例中，所述方法还包括：确定所述目标界面的界面类型标识是否与潜在目标元素之间存在关联关系；若存在，则检查对所述图像信息进行目标元素识别得到的识别结果是否包含所述潜在目标元素的位置信息；若包含，则根据所述界面类型标识，获取所述潜在目标元素对应的潜在交互次序和潜在交互动作；根据所述潜在交互次序，调整所述各项目标元素对应的目标交互次序；所述根据所述目标界面中各项目标元素对应的位置信息，触发按照所述目标交互次序，在所述目标界面的对应位置上执行所述目标交互动作，包括：根据所述目标界面中各项目标元素和潜在目标元素对应的位置信息，触发按照调整后的目标交互次序和潜在交互次序，在所述目标界面的对应位置上执行所述目标交互动作或所述潜在交互动作。
14、第二方面，本申请还提供了一种界面信息处理装置。所述装置包括：
15、样本获取模块，用于获取多个界面类型标识中每个界面类型标识对应的训练样本；所述每个界面类型标识对应的训练样本，包括多个样本界面的图像信息样本和目标元素位置样本；所述目标元素位置样本用于指示目标元素在所述样本界面中的位置；
16、训练模块，用于针对每个所述界面类型标识，将对应的训练样本中多个样本界面的图像信息样本输入待训练的神经网络模型，根据所述待训练的神经网络模型输出的目标元素的位置信息识别结果与所述多个样本界面的目标元素位置样本的相似度，对所述待训练的神经网络模型进行训练，得到所述界面类型标识对应的元素识别模型；
17、界面获取模块，用于获取目标界面的图像信息，将所述目标界面的图像信息输入界面分类模型，得到由所述界面分类模型输出的界面类型标识；其中，所述界面分类模型用于从输入的图像信息中提取元素显示特征及根据所述元素显示特征对所述图像信息进行界面类型分类得到界面类型标识；
18、识别模块，用于根据所述界面类型标识，确定所述界面类型标识对应的元素识别模型；将所述目标界面的图像信息输入所述元素识别模型，得到由所述元素识别模型输出的目标元素在所述目标界面中的位置信息；
19、交互模块，用于根据所述位置信息，触发对所述目标界面中的目标元素的元素交互操作。
20、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
21、获取多个界面类型标识中每个界面类型标识对应的训练样本；所述每个界面类型标识对应的训练样本，包括多个样本界面的图像信息样本和目标元素位置样本；所述目标元素位置样本用于指示目标元素在所述样本界面中的位置；针对每个所述界面类型标识，将对应的训练样本中多个样本界面的图像信息样本输入待训练的神经网络模型，根据所述待训练的神经网络模型输出的目标元素的位置信息识别结果与所述多个样本界面的目标元素位置样本的相似度，对所述待训练的神经网络模型进行训练，得到所述界面类型标识对应的元素识本文档来自技高网...
【技术保护点】
1.一种界面信息处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取多个界面类型标识中每个界面类型标识对应的训练样本，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息，触发对所述目标界面中的目标元素的元素交互操作之后，所述方法还包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.一种界面信息处理装置，其特征在于，所述装置包括：
7.根据权利要求6所述的装置，其特征在于，所述样本获取模块，还用于：
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种界面信息处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取多个界面类型标识中每个界面类型标识对应的训练样本，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息，触发对所述目标界面中的目标元素的元素交互操作之后，所述方法还包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.一种界面信息处理装置，其特征在于，所述装置包括：
7.根据权利要求6所述的装置，其特征在于，所述样本获取模块，还用于：
8.根据权利要求6所...
【专利技术属性】
技术研发人员：林晨，唐景峰，陈宪，廖鹭姗，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。