【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于确定终端用户装置的gui交互信息的系统和方法。
技术介绍
1、用于终端用户装置的图形用户界面(gui)允许操作者(即，人类操作者)使用终端用户装置来执行可能涉及复杂数据处理和/或系统控制任务的过程。然而，虽然gui允许操作者迅速地习惯于执行新的过程，但是由于从与gui交互的操作者的角度来看可以执行所述过程的非奇异和多样的性质，gui对所述过程的进一步自动化提出了挑战。
2、诸如“蓝棱镜捕捉(blue prism capture)”的智能过程捕捉和自动化平台提供了通过使用软件代理经由终端用户装置的现有gui与终端用户装置交互以执行给定过程来表示传统过程自动化方法的演进的系统。这样的软件代理能够为终端用户装置的gui生成适当的输入命令(到终端用户装置)，以使得给定的过程由终端用户装置执行，并且因此启动所述过程的自动化。为了能够为要自动执行的给定过程生成适当的输入命令，智能过程捕捉和自动化平台必须首先在操作者对过程的手动演示期间“捕捉”该过程。更具体地说，这需要智能过程捕捉和自动化平台在给定过程的手动演示期间分析终端用户装置状态，即gui状态和到终端用户装置的各种用户输入，以确定执行所述过程所发生的一系列gui交互。
3、这样的过程通常涉及经由多个用户输入与多个终端用户装置应用的操作者交互，每个应用具有其自己的gui元素以用于与其交互。诸如“蓝色棱镜捕捉”的智能过程捕捉和自动化平台依赖于gui“侦察模式”，即，监视终端用户装置的gui和gui元素交互的模式，以确定在过程的手动演示期间发生的gu
4、目前出现的问题在于，不知道哪个gui侦察模式将对于给定应用的给定gui元素工作得最好。例如，uia可以很好地用于某些windows应用，例如excel，但不一定适用于诸如pycharm或sap之类的应用，在这种情况下，可能需要退回基于计算机视觉的方法来确定gui交互信息。当gui侦察模式不工作时，取决于该模式，它可以返回错误，或者返回不准确的结果，例如，所返回的gui元素边界框对于与之交互的gui元素可能过大。
5、可以用于避免这个问题的一种方法是使人类操作者选择适当的gui侦察模式，同时使用智能过程捕捉和自动化平台来执行和捕捉过程的手动演示。这将责任从平台传递到人类操作者，但是以可用性为代价，因为准确地执行和捕捉过程的手动演示花费更长的时间。
6、因此，期望提供一种用于推断用于确定gui交互的最佳gui侦察模式并且从而允许更有效和准确地确定在过程的手动演示期间发生的gui交互的方法。
技术实现思路
1、本专利技术的实施例提供了一种用于确定终端用户装置的图形用户界面gui交互信息的计算机实现的方法，包括：
2、使用一个或多个gui侦察模式来分析装置状态信息，以估计所述一个或多个gui侦察模式的gui交互信息；
3、基于参考模型对所述一个或多个gui侦察模式的经估计的gui交互信息分类；以及
4、基于分类结果输出gui交互信息。
5、在公开的实施例中，所述一个或多个gui侦察模式包括计算机本地的应用编程接口api，并且通过从所述api访问gui交互信息来估计所述经估计的gui交互信息。
6、在进一步公开的实施例中，所述一个或多个gui侦察模式包括后处理方法。
7、在进一步公开的实施例中，所述后处理方法包括计算机视觉工具。
8、在进一步公开的实施例中，所述参考模型包括基于预定规则的启发式模型。
9、在进一步公开的实施例中，所述参考模型包括在历史数据上训练的多模态深度学习模型。
10、在进一步公开的实施例中，针对多个gui侦察模式串行地执行分析所述装置状态信息和对相应的经估计的gui交互信息分类。
11、在进一步公开的实施例中，针对多个gui侦察模式并行地执行分析所述装置状态信息和对相应的经估计的gui交互信息分类。
12、在进一步公开的实施例中，基于参考模型对所述经估计的gui交互信息分类包括将所述经估计的gui交互信息分类为真或假。
13、在进一步公开的实施例中，最后gui侦察模式是计算机视觉工具，并且其中所述相应的经估计的gui交互信息被分类为真。
14、在进一步公开的实施例中，当确定真分类时，终止对所述经估计的gui交互信息分类，并且其中，基于所述分类结果输出gui交互信息包括输出被分类为真的所述经估计的gui交互信息。
15、在进一步公开的实施例中，基于参考模型对所述经估计的gui交互信息分类包括基于所述参考模型将分数分配给所述经估计的gui交互信息的子集合。
16、在进一步公开的实施例中，基于所述分类结果输出gui交互信息包括输出具有最高分数的所述经分类的估计gui信息。
17、在进一步公开的实施例中，基于基于所述分类结果输出gui交互信息包括基于所述分数过滤和聚合所述经分类的经估计的gui交互信息。
18、在进一步公开的实施例中，过滤包括忽略所述经分类的经估计的gui交互信息的具有低于预定阈值的分数的子集合。
19、在进一步公开的实施例中，基于所述分类结果输出gui交互信息包括聚合具有高于预定阈值的分数的经分类的经估计的gui交互信息。
20、在进一步公开的实施例中，基于所述分类结果输出gui交互信息包括输出使用所述多个gui侦察模式中的一个或多个模式估计的经分类的经估计的gui交互信息的子集合。
21、在进一步公开的实施例中，使用一个或多个gui侦察模式来分析装置状态信息以估计gui交互信息发生在用户交互的每个实例处。
22、根据本专利技术的实施例，还提供了一种非暂时性的计算机可读介质，其包括指令，所述指令用于使计算机根据上述公开的方法的实施例执行指令。
23、根据本专利技术的实施例，还提供了一种系统，包括：
24、用于显示终端用户装置的gui的显示器；以及
25、耦合到所述显示器的至少一个处理器，所述至少一个处理器配置为根据上述公开的方法的实施例执行指令。
本文档来自技高网...【技术保护点】
1.一种用于确定终端用户装置的图形用户界面GUI交互信息的计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中所述一个或多个GUI侦察模式包括计算机本地的应用编程接口API，并且其中通过从所述API访问GUI交互信息来估计所述经估计的GUI交互信息。
3.根据任何前述权利要求所述的方法，其中所述一个或多个GUI侦察模式包括后处理方法。
4.根据权利要求3所述的方法，其中所述后处理方法包括计算机视觉工具。
5.根据任何前述权利要求所述的方法，其中所述参考模型包括基于预定规则的启发式模型。
6.根据权利要求1至4中任一项所述的方法，其中所述参考模型包括在历史数据上训练的多模态深度学习模型。
7.根据任何前述权利要求所述的方法，其中针对多个GUI侦察模式串行地执行分析所述装置状态信息和对相应的经估计的GUI交互信息分类。
8.根据权利要求1至6中任一项所述的方法，其中针对多个GUI侦察模式并行地执行分析所述装置状态信息和对相应的经估计的GUI交互信息分类。
9.根据任何前述权利要求所
10.根据权利要求9所述的方法，其中最后GUI侦察模式是计算机视觉工具，且其中所述相应的经估计的GUI交互信息被分类为真。
11.根据权利要求9所述的方法，其中，当确定真分类时，终止对所述经估计的GUI交互信息分类，并且其中，基于所述分类结果输出GUI交互信息包括输出被分类为真的所述经估计的GUI交互信息。
12.根据权利要求1到8中任一项所述的方法，其中基于参考模型对所述经估计的GUI交互信息分类包括基于所述参考模型将分数分配给所述经估计的GUI交互信息的子集合。
13.根据权利要求12所述的方法，其中基于所述分类结果输出GUI交互信息包括输出具有最高分数的所述经分类的估计GUI信息。
14.根据权利要求12所述的方法，其中基于所述分类结果输出GUI交互信息包括基于所述分数过滤和聚合所述经分类的经估计的GUI交互信息。
15.根据权利要求14所述的方法，其中过滤包括忽略所述经分类的经估计的GUI交互信息的具有低于预定阈值的分数的子集合。
16.根据权利要求12所述的方法，其中基于所述分类结果输出GUI交互信息包括聚合具有高于预定阈值的分数的经分类的经估计的GUI交互信息。
17.根据任何前述权利要求所述的方法，其中，基于所述分类结果输出GUI交互信息包括输出使用所述多个GUI侦察模式中的一个或多个模式估计的经分类的经估计的GUI交互信息的子集合。
18.根据任何前述权利要求所述的方法，其中使用一个或多个GUI侦察模式来分析装置状态信息以估计GUI交互信息发生在用户交互的每个实例处。
19.一种非暂时性的计算机可读介质，包括指令，所述指令用于使计算机根据权利要求1至18中任一项所述的方法执行指令。
20.一种系统，包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于确定终端用户装置的图形用户界面gui交互信息的计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中所述一个或多个gui侦察模式包括计算机本地的应用编程接口api，并且其中通过从所述api访问gui交互信息来估计所述经估计的gui交互信息。
3.根据任何前述权利要求所述的方法，其中所述一个或多个gui侦察模式包括后处理方法。
4.根据权利要求3所述的方法，其中所述后处理方法包括计算机视觉工具。
5.根据任何前述权利要求所述的方法，其中所述参考模型包括基于预定规则的启发式模型。
6.根据权利要求1至4中任一项所述的方法，其中所述参考模型包括在历史数据上训练的多模态深度学习模型。
7.根据任何前述权利要求所述的方法，其中针对多个gui侦察模式串行地执行分析所述装置状态信息和对相应的经估计的gui交互信息分类。
8.根据权利要求1至6中任一项所述的方法，其中针对多个gui侦察模式并行地执行分析所述装置状态信息和对相应的经估计的gui交互信息分类。
9.根据任何前述权利要求所述的方法，其中基于参考模型对所述经估计的gui交互信息分类包括将所述经估计的gui交互信息分类为真或假。
10.根据权利要求9所述的方法，其中最后gui侦察模式是计算机视觉工具，且其中所述相应的经估计的gui交互信息被分类为真。
11.根据权利要求9所述的方法，其中，当确定真分类时，终止对所述经估计的gui交互信息分类...
【专利技术属性】
技术研发人员：克里舍娜·桑迪普·雷迪·杜巴，本杰明·迈克·卡尔，乌米特·鲁森·阿克塔斯，托马斯·亚历山大·奇利斯，
申请(专利权)人：蓝色棱镜有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。