一种RPA流程处理分析方法及计算机设备技术

本申请提供一种RPA流程处理分析方法及计算机设备，获取待拾取RPA元素页面图像中的第一目标图像元素的多个关联图像元素，之后通过第一目标图像元素和其上下文图像元素，获取第一目标图像元素的知识表征，然后通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，将第一目标图像元素的知识表征与关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征，并基于其获取对应的目标元素拾取结果。依据关联图像元素对第一目标图像元素的知识表征中包含的语义信息进行完善，能更准确地表征第一目标图像元素在待拾取RPA元素页面图像中的语义信息，这样能增加通过整合知识表征获取的目标元素拾取结果的精确度。标元素拾取结果的精确度。标元素拾取结果的精确度。

【技术实现步骤摘要】
一种RPA流程处理分析方法及计算机设备


[0001]本申请涉及但不限于RPA、数据处理、机器学习等
，尤其涉及一种RPA流程处理分析方法及计算机设备。

技术介绍

[0002]RPA (Robotic Process Automation) 是指利用软件机器人或自动化工具来执行日常重复性任务的技术。它可以模拟人类的行为，自动化执行一系列规定的任务，从而提高工作效率、减少错误和减轻人员负担。RPA 可以应用于各种行业和部门，例如金融、保险、人力资源、客户服务等。它能够处理结构化数据和重复性任务，通过自动化处理来解放人力并提高工作效率。RPA 可以与现有的应用程序和系统集成，通过界面操作或API进行交互，实现自动化流程和任务的执行。这样可以节省时间和成本，并提供更高的准确性和一致性。但是，在特定场景中，如远程桌面、虚拟机、自定义软件等场景，无法进行API操作目标确定。在现有技术中，通过各类目标检测技术对上述场景中的RPA元素进行拾取，例如现有技术中有采用图像搜索、光学字符检测和模板匹配等联合识别的方式对RPA元素进行拾取，这样的方式复杂度较高，需要一种能保证拾取准确度、高效且简单的RPA流程中元素拾取的方式。

技术实现思路

[0003]有鉴于此，本申请实施例至少提供一种RPA流程处理分析方法及计算机设备，改善以上技术问题。
[0004]本申请实施例的技术方案是这样实现的：一方面，本申请实施例提供一种RPA流程处理分析方法，应用于计算机设备，所述方法包括：获取待拾取RPA元素页面图像中的第一目标图像元素的多个关联图像元素，所述多个关联图像元素用以表征所述第一目标图像元素包含的各种元素可能性；通过所述第一目标图像元素和所述待拾取RPA元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征；通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征；通过所述整合知识表征获取所述待拾取RPA元素页面图像对应的目标元素拾取结果。
[0005]在一些实施例中，所述通过所述第一目标图像元素和所述待拾取RPA元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征包括：将所述第一目标图像元素和所述上下文图像元素输入知识表征挖掘网络；通过所述知识表征挖掘网络对所述第一目标图像元素和所述上下文图像元素进
行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征。
[0006]在一些实施例中，所述对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征包括：获取所述第一目标图像元素的第一搜索数组、第一锚定数组和第一结果数组；获取所述上下文图像元素的第二锚定数组和第二结果数组；对所述第一搜索数组与所述第一锚定数组的相乘结果和所述第一搜索数组与所述第二锚定数组的相乘结果进行标准化操作，得到所述第一目标图像元素的第一显著性偏心因子和所述上下文图像元素对所述第一目标图像元素的第二显著性偏心因子；将所述第一显著性偏心因子与所述第一结果数组的相乘结果与所述第二显著性偏心因子与所述第二结果数组的相乘结果进行求和，得到所述第一目标图像元素的知识表征；所述通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过知识表征挖掘网络进行以下操作：通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，确定所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的多个第一相关性偏心因子，所述第一相关性偏心因子用以表征对应关联图像元素与所述第一目标图像元素的关联度；通过多个第一相关性偏心因子，将所述待拾取RPA元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征。
[0007]在一些实施例中，所述通过多个第一相关性偏心因子，将所述待拾取RPA元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过多个第一相关性偏心因子，将所述待拾取RPA元素页面图像的知识表征与所述多个关联图像元素的知识表征进行融合，得到所述第一目标图像元素的融合知识表征；对所述融合知识表征进行多头显著性特征嵌入映射，得到所述第一目标图像元素的多个显著性特征嵌入映射数组；将所述多个显著性特征嵌入映射数组进行组合，得到显著性特征嵌入映射张量；对所述显著性特征嵌入映射张量进行下采样操作，得到所述第一目标图像元素的整合知识表征。
[0008]在一些实施例中，所述知识表征挖掘网络的调试过程包括：获取调试学习样例，所述调试学习样例包括RPA元素页面图像学习样例、目标元素拾取结果样例和所述RPA元素页面图像学习样例与所述目标元素拾取结果样例之间的共性度量结果样例；将所述RPA元素页面图像学习样例和所述目标元素拾取结果样例输入到所述知识表征挖掘网络；通过所述知识表征挖掘网络提取所述RPA元素页面图像学习样例中的目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征；
通过所述目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征之间的共性度量结果与所述共性度量结果样例之间的损失，优化所述知识表征挖掘网络的网络内部配置变量。
[0009]在一些实施例中，所述获取待拾取RPA元素页面图像中的第一目标图像元素的多个关联图像元素包括：在关联图像元素集合中遍历和所述第一目标图像元素产生关联的目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素；将所述目标图像元素对应的多个关联图像元素确定为所述第一目标图像元素的多个关联图像元素；所述第一目标图像元素的获取过程包括：对所述待拾取RPA元素页面图像进行图像分割处理，得到所述待拾取RPA元素页面图像的多个对比图像元素；当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致时，将所述任一对比图像元素确定为所述第一目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素。
[0010]在一些实施例中，所述对所述待拾取RPA元素页面图像进行图像分割处理，得到所述待拾取RPA元素页面图像的多个对比图像元素包括：通过不同策略对所述待拾取RPA元素页面图像进行图像分割处理，得到所述不同策略分别对应的多个对比图像元素集合，每个对比图像元素集合包括所述待拾取RPA元素页面图像中的多个对比图像元素，同一对比图像元素集合中不同对比图像元素的图像块数目相同，同时不同对比图像元素集合中的对比图像元素的图像块数目不同；所述当所述多个对比图像元素中任一对比图像元素与关联图像元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种RPA流程处理分析方法，其特征在于，应用于计算机设备，所述方法包括：获取待拾取RPA元素页面图像中的第一目标图像元素的多个关联图像元素，所述多个关联图像元素用以表征所述第一目标图像元素包含的各种元素可能性；通过所述第一目标图像元素和所述待拾取RPA元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征；通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征；通过所述整合知识表征获取所述待拾取RPA元素页面图像对应的目标元素拾取结果。2.根据权利要求1所述的方法，其特征在于，所述通过所述第一目标图像元素和所述待拾取RPA元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征包括：将所述第一目标图像元素和所述上下文图像元素输入知识表征挖掘网络；通过所述知识表征挖掘网络对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征。3.根据权利要求2所述的方法，其特征在于，所述对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征包括：获取所述第一目标图像元素的第一搜索数组、第一锚定数组和第一结果数组；获取所述上下文图像元素的第二锚定数组和第二结果数组；对所述第一搜索数组与所述第一锚定数组的相乘结果和所述第一搜索数组与所述第二锚定数组的相乘结果进行标准化操作，得到所述第一目标图像元素的第一显著性偏心因子和所述上下文图像元素对所述第一目标图像元素的第二显著性偏心因子；将所述第一显著性偏心因子与所述第一结果数组的相乘结果与所述第二显著性偏心因子与所述第二结果数组的相乘结果进行求和，得到所述第一目标图像元素的知识表征；所述通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过知识表征挖掘网络进行以下操作：通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，确定所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的多个第一相关性偏心因子，所述第一相关性偏心因子用以表征对应关联图像元素与所述第一目标图像元素的关联度；通过多个第一相关性偏心因子，将所述待拾取RPA元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征。4.根据权利要求3所述的方法，其特征在于，所述通过多个第一相关性偏心因子，将所述待拾取RPA元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过多个第一相关性偏心因子，将所述待拾取RPA元素页面图像的知识表征与所述多个关联图像元素的知识表征进行融合，得到所述第一目标图像元素的融合知识表征；
对所述融合知识表征进行多头显著性特征嵌入映射，得到所述第一目标图像元素的多个显著性特征嵌入映射数组；将所述多个显著性特征嵌入映射数组进行组合，得到显著性特征嵌入映射张量；对所述显著性特征嵌入映射张量进行下采样操作，得到所述第一目标图像元素的整合知识表征。5.根据权利要求4所述的方法，其特征在于，所述知识表征挖掘网络的调试过程包括：获取调试学习样例，所述调试学习样例包括RPA元素页面图像学习样例、目标元素拾取结果样例和所述RPA元素页面图像学习样例与所述目标元素拾取结果样例之间的共性度量结果样例；将所述RPA元素页面图像学习样...

【专利技术属性】
技术研发人员：刘艳，
申请(专利权)人：富璟科技深圳有限公司，
类型：发明
国别省市：