基于多模态孪生神经网络的RPA流程推荐方法及系统技术方案

本发明专利技术提供一种基于多模态孪生神经网络的RPA流程推荐方法及系统，包括：S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E

【技术实现步骤摘要】
基于多模态孪生神经网络的RPA流程推荐方法及系统


[0001]本专利技术涉及RPA
，尤其涉及一种基于多模态孪生神经网络的RPA流程推荐方法及系统。

技术介绍

[0002]随着软件自动化等技术的迅速发展，RPA(Robotic Process Automation)已广泛应用于企业的自动化转型中。通过元素抓取和预先编制好的业务流程，RPA可以自动执行任务，取代人工操作，提高效率并降低成本。高效而精确的业务流程推荐是RPA应对频繁变更的业务需求时的必然要求，它有助于优化流程的设计，提高自动化生产的效率，并减少在RPA应用的开发成本。然而，RPA涉及到的业务流程往往具有高度复杂性，需要通过多模态信息进行综合分析和处理，因此RPA业务流程推荐更是一项极其复杂的任务。
[0003]现有的RPA业务流程推荐方法通常基于图结构，使用图挖掘和图匹配来推荐出最合适的候选节点。但是，业务流程通常会涉及到从不同的来源（例如文本、表格、图像等）获取数据，这些数据包含不同模态的信息，为RPA理解业务流程需求提供不同的视角和信息。仅基于图结构的方法无法全面建模业务领域知识图谱，整合当前流程片段的多模态信息，进而精确地推荐出符合实际业务需求的后续流程片段。因此，这类推荐方法的灵活性和扩展性有待提升。论文“On the Use of Knowledge Graph Completion Methods for ActivityRecommendation in Business Process Modeling”从流程间的逻辑关系出发，使用知识图谱进行业务流程建模。然而，业务流程描述中多模态数据的对齐还需进一步研究。在多模态知识图谱领域，有相当多的工作致力于实体对齐，然而现有方法直接合并单模态特征嵌入，很大程度上忽略了多模态实体对齐中的模态之间的交互效应，如何在多模态实体对齐的知识学习中融入模态之间的交互效应仍然是一个巨大的挑战。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种基于多模态孪生神经网络的RPA流程推荐方法，包括：S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E
’
，计算获得第一实体集的表征集和第二实体集的表征集；S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。
[0005]优选的，步骤S1具体为：S11：将RPA业务流程中的各流程作为实体，以实体
‑
关系
‑
实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E
’
；S12：获得实体集中各实体的关系三元组、实体
‑
图像对和属性三元组；
S13：通过实体
‑
图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；S16：重复步骤S12
‑
S15，获得第一实体集的表征集和第二实体集的表征集。
[0006]优选的：第一实体集E中的实体表示为e∈E；视觉模态表征表示为e
I
∈E
I
；关系模态表征表示为e
R
∈E
R
；属性模态表征表示为e
A
∈E
A
；全面表征表示为e
M
∈E
M
，，||表示拼接操作；第二实体集E
’
中的实体表示为e
’
∈E
’
；视觉模态表征表示为e
I
’
∈E
’
I
；关系模态表征表示为e
R
’
∈E
’
R
；属性模态表征表示为e
A
’
∈E
’
A
；全面表征表示为e
M
’
∈E
’
M
；第一实体集E和第二实体集E
’
的各表征的计算过程相同。
[0007]优选的，视觉模态表征的获得过程为：对于第一实体集E中的每个实体
‑
图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：其中，EfficientNet为特征提取函数，i为图像，e为实体，e
I
为实体e的视觉模态表征，E
I
为视觉模态表征集合，W1、b1均为嵌入操作的超参数。
[0008]优选的，属性模态表征的获得过程为：对于第一实体集E中的属性三元组的描述属性的词的集合，使用ELECTRA学习每个词的嵌入，求嵌入平均值后采用线性变换作为属性嵌入a，表达式为：其中，表示描述属性的词的集合，Aug()表示求平均，W3、b3均为嵌入操作的超参数；获取属性三元组中属性的值，采用sigmoid函数进行归一化来形成嵌入v；将属性嵌入a与值嵌入v拼接后进行线性变化得到总属性嵌入s，表达式为：获得属性三元组中各词的总属性嵌入s
j
，j为词的编号，W4、b4均为嵌入操作的超参数；计算获得各词的总属性嵌入的注意力权重，计算公式为：其中exp()表示自然指数函数，c为词的编号，k为词的总数；
实体e的属性模态表征的计算公式为：其中，为各词的总属性嵌入的注意力权重，s
j
为各词的总属性嵌入。
[0009]优选的，步骤S2具体为：S21：调节孪生神经网络的参数；S22：计算获得对比损失，表达式为：其中，n为实体的编号，N为实体的总数，y
n
是实体对的标签，1代表正例，0代表负例；是超参数，e
n
∈E和e
’
n
∈E
’
分别代表来自RPA知识图谱G和G
’
的实体，d为不同知识图谱的实体嵌入的余弦相似度；S23：计算获得全面表征对比损失，表达式为：，为损失计算函数；S24：计算获得单模态表征对比损失，表达式为：S25：计算获得孪生神经网络的总损失，表达式为：其中，为第一边缘损失，为第二边缘损失；S26：重复步骤S21
‑
S25直至总损失小于预设值，获得训练好的孪生神经网络。
[0010]优选的，步骤S3具体为：S31：通过训练好的孪生神经网络计算获得需求流程实体E*与知识图谱中各实体之间的余弦相似度，并将余弦相似度按从大到小的顺序排序，选择余弦相似度最大的前三个作为候选对齐实体；S32：将候选对齐实体在知识图谱中的连线作为三条候选推荐路径；S33：以候选对齐实体的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，包括：S1：构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E
’
，计算获得第一实体集的表征集和第二实体集的表征集；S2：构建孪生神经网络，通过第一实体集的表征集和第二实体集的表征集计算获得总损失，通过总损失循环训练孪生神经网络，获得训练好的孪生神经网络；S3：获取需求流程实体E*，通过训练好的孪生神经网络计算获得需求流程实体在知识图谱中的推荐路径，通过推荐路径获得RPA流程推荐方案。2.根据权利要求1所述的基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，步骤S1具体为：S11：将RPA业务流程中的各流程作为实体，以实体
‑
关系
‑
实体构建RPA业务流程的知识图谱，提取知识图谱中的第一实体集E和第二实体集E
’
；S12：获得实体集中各实体的关系三元组、实体
‑
图像对和属性三元组；S13：通过实体
‑
图像对获得实体的视觉模态表征，通过关系三元组获得实体的关系模态表征，通过属性三元组获得实体的属性模态表征；S14：将视觉模态表征、关系模态表征和属性模态表征进行拼接获得全面表征；S15：将视觉模态表征、关系模态表征、属性模态表征和全面表征作为实体的表征集；S16：重复步骤S12
‑
S15，获得第一实体集的表征集和第二实体集的表征集。3.根据权利要求2所述的基于多模态孪生神经网络的RPA流程推荐方法，其特征在于：第一实体集E中的实体表示为e∈E；视觉模态表征表示为e
I
∈E
I
；关系模态表征表示为e
R
∈E
R
；属性模态表征表示为e
A
∈E
A
；全面表征表示为e
M
∈E
M
，，||表示拼接操作；第二实体集E
’
中的实体表示为e
’
∈E
’
；视觉模态表征表示为e
I
’
∈E
’
I
；关系模态表征表示为e
R
’
∈E
’
R
；属性模态表征表示为e
A
’
∈E
’
A
；全面表征表示为e
M
’
∈E
’
M
；第一实体集E和第二实体集E
’
的各表征的计算过程相同。4.根据权利要求3所述的基于多模态孪生神经网络的RPA流程推荐方法，其特征在于，视觉模态表征的获得过程为：对于第一实体集E中的每个实体
‑
图像对(e,i)，通过线性变换得到实体的视觉模态表征，表达式为：其中，EfficientNet为特征提取函数，i为图像，e为实体，e
I

【专利技术属性】
技术研发人员：龚栎鑫，袁水平，王靖雄，李段腾川，
申请(专利权)人：安徽思高智能科技有限公司，
类型：发明
国别省市：