使用人工智能/机器学习模型确定交互的序列、流程提取和机器人生成制造技术

公开了使用人工智能(AI)/机器学习(ML)模型以确定与计算系统的用户交互的序列、提取公共流程并生成机器人流程自动化(RPA)机器人。AI/ML模型可以被训练以识别用户交互的匹配n元语法和/或有利的结束状态。所记录的真实用户交互可以被分析，并且匹配序列可以被实现为RPA工作流中的对应的活动。RPA工作流中的对应的活动。RPA工作流中的对应的活动。

【技术实现步骤摘要】
【国外来华专利技术】使用人工智能/机器学习模型确定交互的序列、流程提取和机器人生成
[0001]相关申请的交叉引用
[0002]本国际申请要求2020年10月14日提交的美国专利申请号17/070,168的权利和优先权。该先前提交的申请的主题在此全文引入作为参考。


[0003]本专利技术总体上涉及用户界面(UI)自动化，并且更具体地涉及使用人工智能(AI)/机器学习(ML)模型来确定与计算系统的用户交互的序列、提取公共流程以及生成机器人流程自动化(RPA)机器人。

技术介绍

[0004]为了执行UI自动化，RPA技术可以利用驱动程序和/或应用级交互以点击按钮、输入文本、以及执行与UI的其他交互。然而，在一些实施例中，在系统级或在构建新的UI自动化平台时，按键、鼠标点击和其他内核钩子信息可能不可用。实现这样的UI自动化平台通常要求大量的驱动程序级和应用级功能。此外，用户与其计算系统交互的方式可能无法被得知。因此，用于提供UI自动化的备选技术可以是有利的。

技术实现思路

[0005]本专利技术的某些实施例可以为现有技术中尚未被当前UI自动化技术完全标识、理解或解决的问题和需求提供解决方案。例如，本专利技术的一些实施例涉及使用AI/ML模型确定与计算系统的用户交互的序列、提取公共流程以及生成RPA机器人。
[0006]在一个实施例中，计算机实现的方法包括通过计算系统向人工智能(AI)/机器学习(ML)模型提供包括多个用户与相应用户计算系统的时间顺序的交互的数据。计算机实现的方法还包括由计算系统训练AI/ML模型通过以下来识别与用户交互的时间顺序的序列中的与任务相关的用户交互的相关序列：通过在滑动窗口上比较来自计算系统的所记录的数据中的用户交互的n元语法的序列以找到相关序列。n元语法包括两个或更多个n值。计算机实现的方法还包括部署经训练的AI/ML模型。
[0007]在另一实施例中，非暂态计算机可读介质存储计算机程序。计算机程序被配置为使得至少一个处理器通过AI/ML模型分析多个用户与相应计算系统的所记录的真实用户交互，并确定所记录的真实用户交互中的匹配序列集合。计算机程序还被配置为使得至少一个处理器生成一个或多个相应RPA工作流，其包括实现确定的匹配序列集合中的用户交互的活动。
[0008]在又一实施例中，系统包括存储计算机程序指令的存储器和至少一个被配置为执行计算机程序指令的处理器。计算机程序指令被配置为使得至少一个处理器由AI/ML模型分析多个用户与相应计算系统的所记录的真实用户交互，并确定所记录的真实用户交互中的匹配序列集合。计算机程序指令还被配置为使得至少一个处理器确定匹配序列中最高效
的序列。计算机程序指令还被配置为使得至少一个处理器生成一个或多个相应RPA工作流，其包括实现确定的最高效的匹配序列中的用户交互的活动。
附图说明
[0009]为了容易理解本专利技术的某些实施例的优点，通过参考附图中示出的具体实施例为参考对上文简要描述的本专利技术进行更具体的描述。尽管应当理解，这些附图仅描述了本专利技术的典型实施例，因此不应被认为是对本专利技术范围的限制，通过使用附图对本专利技术进行附加的具体内容和细节的描述和解释，其中：
[0010]图1是图示了根据本专利技术实施例的机器人流程自动化(RPA)系统的架构图。
[0011]图2是图示了根据本专利技术实施例的所部署的RPA系统的架构图。
[0012]图3是图示了根据本专利技术实施例的设计器、活动、以及驱动程序之间的关系的架构图。
[0013]图4是图示了根据本专利技术实施例的RPA系统的架构图。
[0014]图5是图示了根据本专利技术实施例的计算系统的架构图，该计算系统被配置为使用AI/ML模型以确定与计算系统的用户交互的序列、提取公共流程、以及生成RPA机器人。
[0015]图6是图示了根据本专利技术实施例的系统的架构图，该系统被配置为使用AI/ML模型以确定与计算系统的用户交互的序列、提取公共流程、以及生成RPA机器人。
[0016]图7是图示了根据本专利技术实施例的使用AI/ML模型以确定与计算系统的用户交互的序列、提取公共流程、以及生成RPA机器人的流程的流程图。
[0017]图8是图示了根据本专利技术实施例的基于期望结束状态使用AI/ML模型执行流程提取、以及生成RPA机器人的流程的流程图。
[0018]图9图示了根据本专利技术实施例的表示用户交互的序列的n元语法的比较。
[0019]除非另有说明，在所有附图中，类似的附图标记始终表示相应的特征。
具体实施方式
[0020]一些实施例涉及使用AI/ML模型确定与计算系统的用户交互的序列、提取公共流程、以及生成RPA机器人。用户交互可以由AI/ML模型确定，该AI/ML模型被训练为使用计算机视觉(CV)识别应用、屏幕和UI元素，并且识别与应用、屏幕和用户界面元素的用户交互。该AI/ML模型可以与之后搜索序列的AI/ML模型相同，也可以是不同的AI/ML模型。个人用户交互可包括但不限于用户点击按钮、在字段中输入文本、与菜单交互、关闭窗口、移动到应用的不同屏幕等。用户交互的序列的示例可以包括例如打开应用、在多个文本字段中键入信息、以及点击提交按钮。
[0021]用户交互可以从多个计算系统收集到的数据提取。例如，所收集的数据可以仅包括视频、和/或从计算系统收集的其他数据，例如浏览器历史、热图、文件信息、当前运行的应用和位置、系统级和/或应用级信息等。然后提取到的用户交互可以被组合为与例如书写和发送电子邮件、将信息输入表单并提交、基于从网站检索的信息修改电子表格等较大型的活动或任务相关联的交互序列中。
[0022]在一些实施例中，可以使用多大小(multiple size)的n元语法来搜索数据中的匹配序列。如果n的最小值太小，可能会找到太多要标识有意义的序列的匹配序列。相反，如果
n的最小值太大，小于n的有意义的匹配序列可能会被遗漏。在训练过程中，人工审查员可以审查某个起始大小n(例如2、3、7等)的已标识序列。如果该大小产生太多无用序列，最小序列大小可以被递增至n+1、n+2、n+3等。直到匹配序列趋向于有用。在最小有用的n被确定之后(例如，产生至少10％、至少30％、至少50％、至少90％等有用序列的最小n)，可以忽略或不再确定/考虑该n元语法大小或小于该n元语法大小的序列。在一些实施例中，AI/ML模型可以基于匹配序列的最大数目为n自动选择最小值。在某些实施例中，对于被考虑的某个n元语法大小的序列，可以要求某个数目的匹配。例如，在大型组织中，其可以要求存在数十个、数百个或数千个匹配以使序列自动化，因为这将趋向于意味着数个或很多用户执行该流程。
[0023]循环神经网络(RNN)可能尤其擅长确定n的值的有用范围。在一些实施例中，RNN可以通过试错(trail
‑
and
‑
error)流程确定最佳窗口阈值(即，n值的有用范围)，该试错流程涉及为有用序列清除不同大小的n元语法，并且在一些实施例中可能本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：由计算系统向人工智能(AI)/机器学习(ML)模型提供数据，所述数据包括多个用户与相应用户计算系统的时间顺序的交互；由所述计算系统训练所述AI/ML模型通过以下来识别与用户交互的所述时间顺序的序列中的与任务相关的用户交互的相关序列：通过在滑动窗口上比较来自所述计算系统的所记录的数据中的用户交互的n元语法的序列以找到所述相关序列，所述n元语法包括两个或更多个n值；以及部署经训练的所述AI/ML模型。2.根据权利要求1所述的计算机实现的方法，其中所部署的所述的AI/ML模型被配置为由一个或多个机器人流程自动化(RPA)机器人调用。3.根据权利要求1所述的计算机实现的方法，其中所述训练还包括：训练所述AI/ML模型来确定n的最小值，使得至少大小为n的大多数序列与由所述用户执行的任务相关。4.根据权利要求1所述的计算机实现的方法，其中所述AI/ML模型需要最小数目的相关序列来确定所述序列与任务相关。5.根据权利要求1所述的计算机实现的方法，其中所述训练还包括：训练所述AI/ML模型来确定n的最大值，使得大于所述n的所述最大值的n元语法不被考虑。6.根据权利要求1所述的计算机实现的方法，还包括：由所述计算系统训练所述AI/ML模型来在确定任务是否在所述相关序列中被找到时使用一个或多个重要性度量。7.根据权利要求6所述的计算机实现的方法，其中所述一个或多个重要性度量包括动作的相关序列是否产生至少一定量的收入、节省至少一定量的收入、将任务的效率和/或速度提高至少一定量、加快客户获取流程、减少所需的通信数目、或其组合。8.根据权利要求1所述的计算机实现的方法，还包括：训练所述AI/ML模型或机器人流程自动化(RPA)设计器应用来将用户交互与RPA活动相关联。9.根据权利要求8所述的计算机实现的方法，还包括：由所述AI/ML模型分析多个用户与相应计算系统的所记录的真实用户交互并且确定所述所记录的真实用户交互中的匹配序列集合；以及生成一个或多个相应机器人流程自动化(RPA)工作流，所述相应机器人流程自动化(RPA)工作流包括实现所确定的所述匹配序列集合中的用户交互的活动。10.根据权利要求9所述的计算机实现的方法，还包括：生成实现所生成的所述一个或多个RPA工作流的相应RPA机器人；以及将一个或多个所生成的所述RPA机器人部署到一个或多个用户计算系统。11.根据权利要求9所述的计算机实现的方法，还包括：使所生成的所述一个或多个RPA工作流对一个或多个RPA设计器应用可访问。12.根据权利要求9所述的计算机实现的方法，其中所述匹配序列集合的所述确定包括：由所述AI/ML模型生成包括用户交互的序列之间的关联的概率图；由所述AI/ML模型对所述概率图进行剪枝，以移除不相关的用户交互和序列；以及
由所述AI/ML模型基于经剪枝的所述概率图确定用户交互的序列匹配作为所述匹配序列集合中的集合的一部分。13.根据权利要求12所述的计算机实现的方法，其中所述序列是否匹配的所述确定使用Levenshtein距离、模糊匹配、或其组合而被执行。14.根据权利要求9所述的计算机实现的方法，还包括：确定匹配序列集合中的最高效的序列；以及使用所述最高效的序列生成所述相应RPA工作流。15.根据权利要求14所述的计算机实现的方法，其中所述最高效的序列的所述确定基于所述序列中的用户交互的数目、与所述序列中的用户交互相关联的时间、或其组合。16.一种非暂态计算机可读介质，存储计算机程序，所述计算机程序被配置为使至少一个处理器：由人工智能(AI)/机器学习(ML)模型分析多个用户与相应计算系统的所记录的真实用户交互并且确定所述所记录的真实用户交互中的匹配序列集合；以及生成一个或多个相应...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：