使用语义人工智能的源屏幕或源数据与目标屏幕的语义匹配制造技术

公开了使用用于机器人过程自动化(RPA)工作流的语义人工智能(AI)在源屏幕或源数据与目标屏幕之间的语义匹配。在匹配界面上选择源数据或源屏幕和目标屏幕，使用人工智能/机器学习(AI/ML)模型在源数据/屏幕和目标屏幕之间执行语义匹配，并且突出显示匹配的图形元素和不匹配的图形元素，允许开发人员看到哪些图形元素匹配，哪些不匹配。匹配界面还可以提供单独的匹配的置信度得分，提供总体映射得分，并且允许开发人员隐藏/取消隐藏匹配/不匹配的图形元素。RPA工作流的活动可以基于语义映射自动而被创建，该语义映射可以被执行以执行自动化。自动化。自动化。

【技术实现步骤摘要】
【国外来华专利技术】使用语义人工智能的源屏幕或源数据与目标屏幕的语义匹配
[0001]相关申请交叉引用
[0002]本申请要求2021年10月5日提交的美国非临时专利申请号17/494,744的权益。该较早提交的申请的主题通过引用整体并入本文。


[0003]本专利技术总体上涉及语义匹配，并且更具体地，涉及使用用于机器人过程自动化(RPA)工作流的语义人工智能(AI)在源屏幕或源数据与目标屏幕之间的语义匹配。

技术介绍

[0004]目前，开发人员需要使用活动，在RPA设计器应用中手动创建机器人过程自动化(RPA)工作流。在创建RPA工作流时，开发人员需要在屏幕上指示目标图形元素，这会导致RPA设计器应用自动生成与具有一组锚点的目标元素相对应的选择器。例如，尽管目前UiPath Studio
TM
中存在活动推荐和建议功能，但不支持完全自动化的工作流创建。在创建RPA工作流时手动指示所有目标图形元素非常耗时。因此，改进的创建RPA工作流的方法可以是有益的。

技术实现思路

[0005]本专利技术的某些实施例可以为本领域中尚未被当前RPA工作流生成技术完全标识、理解或解决的问题和需求提供解决方案。例如，本专利技术的一些实施例涉及使用RPA工作流的语义AI在源屏幕或源数据与目标屏幕之间的语义匹配。
[0006]在一个实施例中，一种非瞬态计算机可读介质存储计算机程序。该计算机程序被配置为使至少一个处理器接收对源屏幕或源数据的选择，以及接收对目标屏幕的选择。该计算机程序还被配置为使至少一个处理器调用一个或多个AI/ML模型，一个或多个AI/ML模型已经被训练为在源屏幕中的标签与目标屏幕中的标签之间、在源数据中的数据元素与目标屏幕中的标签之间执行语义匹配，或者两者。该计算机程序还被配置为使至少一个处理器从一个或多个AI/ML模型接收与目标屏幕中的语义匹配的标签相关联的图形元素的指示以及相应的置信度得分，以及在匹配界面中显示与目标屏幕上的语义匹配的标签相关联的图形元素。
[0007]在另一实施例中，一种用于执行用于RPA的语义AI的计算机实现的方法包括，由RPA设计器应用调用一个或多个AI/ML模型，一个或多个AI/ML模型已经被训练为在源屏幕中的标签与目标屏幕中的标签之间、在源数据中的数据元素与目标屏幕中的标签之间执行语义匹配，或者两者。该计算机实现的方法还包括，由所述RPA设计器应用从一个或多个AI/ML模型接收与目标屏幕中的语义匹配的标签相关联的图形元素的指示以及相应的置信度得分，以及由所述RPA设计器应用在匹配界面中显示与目标屏幕上的所述语义匹配的标签相关联的图形元素。该计算机实现的方法还包括，由所述RPA设计器应用在RPA工作流中自动生成一个或多个活动，所述一个或多个活动将来自源数屏幕的字段的数据或来自源数据
的数据元素复制到目标屏幕的字段内，目标屏幕具有由所述一个或多个AI/ML模型标识为与来自源屏幕的标签或来自源数据的数据元素的标签语义匹配的标签。
[0008]在又一实施例中，一种计算系统，包括存储器，存储用于执行用于RPA的语义AI的计算机程序指令，以及至少一个处理器，被配置为执行计算机程序指令。计算机程序指令被配置为使至少一个处理器以：从一个或多个AI/ML模型接收与目标屏幕中的语义匹配的标签相关联的图形元素的指示和相应的置信度得分，一个或多个AI/ML模型被已经训练为在源屏幕中的标签和目标屏幕中的标签之间、在源数据中的数据元素与目标屏幕中的标签之间执行语义匹配，或者两者。计算机程序指令还被配置为使至少一个处理器以：在匹配界面中显示与目标屏幕上的语义匹配的标签相关联的图形元素。计算机程序指令还被配置为使所述至少一个处理器以：接收对所述目标屏幕中由所述一个或多个AI/ML模型标识为具有相关联的语义匹配标签的图形元素的校正，接收所述目标屏幕中未被所述一个或多个AI/ML模型语义匹配到所述源屏幕中的标签的新元素的指示，或者两者。附加地，计算机程序指令被配置为使所述至少一个处理器以：收集与目标屏幕中的经校正的和/或新标记的图形元素以及相关联的标签有关的信息，以及直接地或间接地存储收集的信息以用于对所述一个或多个AI/ML模型的重新训练。
附图说明
[0009]为了便于理解本专利技术的某些实施例的优点，将通过参考附图中所示的具体实施例来呈现对上面简要描述的本专利技术的更详细的描述。虽然应当理解，这些附图仅描绘了本专利技术的典型实施例，因此不被认为是对其范围的限制，但是将通过使用附图对本专利技术进行附加的具体和详细的描述和解释，其中：
[0010]图1是示出了根据本专利技术实施例的RPA系统的架构图。
[0011]图2是示出了根据本专利技术实施例的部署的RPA系统的架构图。
[0012]图3是示出了根据本专利技术实施例的设计器、活动和驱动器之间关系的架构图。
[0013]图4是示出了根据本专利技术实施例的RPA系统的架构图。
[0014]图5是示出了根据本专利技术实施例的计算系统的架构图，该计算系统被配置为使用用于RPA工作流的语义AI执行源屏幕或源数据与目标屏幕之间的语义匹配。
[0015]图6是示出了根据本专利技术实施例的系统的架构图，该系统被配置为训练人工智能/机器学习(AI/ML)模型并且使用用于RPA工作流的语义AI在源屏幕或源数据与目标屏幕之间执行语义匹配。
[0016]图7A示出了根据本专利技术实施例的已经被训练为识别图像中的图形元素的神经网络的示例。
[0017]图7B示出了根据本专利技术实施例的神经元的示例。
[0018]图8是示出了根据本专利技术实施例的使用RPA工作流的语义AI来训练(多个)AI/ML模型以执行源屏幕或源数据与目标屏幕之间的语义匹配的过程的流程图。
[0019]图9A
‑
图9G示出了根据本专利技术实施例的RPA设计器应用的匹配界面。
[0020]图10示出了根据本专利技术实施例的具有自动生成的RPA工作流的RPA设计器应用。
[0021]图11A
‑
图11N示出了根据本专利技术实施例的示例语义复制和粘贴界面的屏幕。
[0022]图12是示出了根据本专利技术实施例的用于执行语义AI的AI/ML模型的架构的架构
图。
[0023]图13是示出了根据本专利技术实施例的使用RPA工作流的语义AI在源屏幕或源数据与目标屏幕之间执行语义匹配的过程的流程图。
[0024]图14是示出了根据本专利技术的实施例的用于使用有人值守的自动化界面、使用语义AI执行源屏幕或源数据与目标屏幕之间的语义匹配的过程的流程图。
[0025]除非另有指示，否则相似的附图标记在附图中始终表示相应的特征。
具体实施方式
[0026]一些实施例涉及使用RPA工作流的语义AI在源屏幕或源数据与目标屏幕之间的语义匹配。例如，在一些实施例中，在匹配界面上选择源数据或源屏幕和目标屏幕，使用人工智能/机器学习(AI/ML)模型在源数据/屏幕和目标屏幕之间执行语义匹配，并且使用不同的颜色(例如，分别是绿本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种存储计算机程序的非瞬态计算机可读介质，其中所述计算机程序被配置为使至少一个处理器：接收对源屏幕或源数据的选择；接收对目标屏幕的选择；调用一个或多个人工智能/机器学习(AI/ML)模型，所述一个或多个人工智能/机器学习模型已经被训练为在所述源屏幕中的标签与所述目标屏幕中的标签之间、在所述源数据中的数据元素与所述目标屏幕中的所述标签之间执行语义匹配，或者两者；从所述一个或多个AI/ML模型接收与所述目标屏幕中的语义匹配的标签相关联的图形元素的指示以及相应的置信度得分；以及在匹配界面中显示与所述目标屏幕上的所述语义匹配的标签相关联的所述图形元素。2.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序还被配置为使所述至少一个处理器：在所述匹配界面中显示针对由所述一个或多个AI/ML模型标识的潜在匹配图形元素的所述相应的置信度得分。3.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序还被配置为使所述至少一个处理器：接收对所述目标屏幕中由所述一个或多个AI/ML模型标识为具有相关联的语义匹配标签的图形元素的校正，接收所述目标屏幕中未被所述一个或多个AI/ML模型语义匹配到所述源屏幕中的标签的新元素的指示，或者两者；收集与所述目标屏幕中的经校正的和/或新标记的所述图形元素以及相关联的标签有关的信息；以及直接地或间接地存储收集的所述信息以用于对所述一个或多个AI/ML模型的重新训练。4.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序还被配置为使所述至少一个处理器：在机器人过程自动化(RPA)工作流中生成一个或多个活动，所述一个或多个活动复制来自所述源屏幕中的字段的数据，所述源屏幕具有由所述一个或多个AI/ML模型标识为与所述目标屏幕中的所述字段语义匹配的标签，将来自所述源数据的所述数据元素复制到所述目标屏幕的所述字段内，所述目标屏幕具有由所述一个或多个AI/ML模型标识为与来自所述源数据的所述数据元素语义匹配的标签，或者两者。5.根据权利要求4所述的非瞬态计算机可读介质，其中所述计算机程序还被配置为使所述至少一个处理器：生成在所述RPA工作流中实现所述一个或多个生成的所述活动的RPA机器人；以及在运行时环境中部署生成的所述RPA机器人。6.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序还被配置为使所述至少一个处理器：根据针对所述目标屏幕中与语义匹配的标签相关联的图形元素的置信度得分，生成合成置信度得分；以及在所述匹配界面中显示所述合成置信度得分。
7.根据权利要求1所述的非瞬态计算机可读介质，其中所述一个或多个AI/ML模型是通过以下方式而被训练的：提供具有所述单词和短语之间的语义关联的单词和短语，使得针对给定单词或短语的相似单词和短语能够被标识，并且提供上下文标签，所述上下文标签与所述单词和短语出现在所述上下文标签中的屏幕有关。8.根据权利要求1所述的非瞬态计算机可读介质，其中所述计算机程序是机器人过程自动化(RPA)设计器应用或者包括机器人过程自动化(RPA)设计器应用。9.根据权利要求1所述的非瞬态计算机可读介质，其中，所述一个或多个AI/ML模型包括计算机视觉(CV)模型、光学字符识别(OCR)模型、标签匹配模型和输入数据匹配模型，所述标签匹配模型将由所述OCR模型检测到的标签与由所述CV模型检测到的字段进行匹配，以及所述输入数据模型从所述标签匹配模型接收所述匹配标签，并且将来自所述数据源的所述数据元素或与来自所述源屏幕的所述标签相关联的所述字段的数据和与所述目标屏幕上的所述语义匹配的标签相关联的所述字段进行语义匹配。10.一种用于执行用于机器人过程自动化(RPA)的语义人工智能(AI)的计算机实现的方法，包括：由RPA设计器应用调用一个或多个人工智能/机器学习(AI/ML)模型，所述一个或多个人工智能/机器学习模型已经被训练为在源屏幕中的标签与目标屏幕中的标签之间、在所述源数据中的数据元素与所述目标屏幕中的所述标签之间执行语义匹配，或者两者；由所述RPA设计器应用从所述一个或多个AI/ML模型接收与所述目标屏幕中的语义匹配的标签相关联的图形元素的指示以及相应的置信度得分；由所述RPA设计器应用在匹配界面中显示与所述目标屏幕上的所述语义匹配的标签相关联的所述图形元素；以及由所述RPA设计器应用在RPA工作流中自动生成一个或多个活动，所述一个或多个活动将来自所述源数屏幕的字段的数据或来自所述源数据的所述数据元素复制到所述目标屏幕的字段内，所述目标屏幕具有由所述一个或多个AI/ML模型标识为与来自所述源屏幕的所述标签或来自所述源数据的所述数据元素的所述标签语义匹配的标签。11.根据权利要求10所述的计算机实现的方法，还包括：由RPA设计器应用在所述匹配界面中显示针对由所述一个或多个AI/ML模型标识的所述潜在匹配图形元素的所述相应的置信度得分。12.根据权利要求10所述的计算机实现的方法，还包括：由所述RPA设计器应用接收对所述目标屏幕中由所述一个或多个AI/ML模型标识为具有相关联的语义匹配标签的图形元素的校正，接收所述目标屏幕中未被所述一个或多个AI/ML模型语义匹配到所述源屏幕中的标签的新元素的指示，或者两者；由所述RPA设计器应用收集与所述目标屏幕中的经校正的和/或新标记的所述图形元素...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：