【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于确定终端用户装置的gui交互信息的系统和方法。
技术介绍
1、用于终端用户装置的图形用户界面(gui)允许操作者(即，人类操作者)使用终端用户装置来执行可能涉及复杂数据处理和/或系统控制任务的过程。然而，虽然gui允许操作者迅速地习惯于执行新的过程，但是由于从与gui交互的操作者的角度来看可以执行所述过程的非奇异和多样的性质，gui对所述过程的进一步自动化提出了挑战。
2、诸如“蓝棱镜捕捉(blue prism capture)”的智能过程捕捉和自动化平台提供了通过使用软件代理经由终端用户装置的现有gui与终端用户装置交互以执行给定过程来表示传统过程自动化方法的演进的系统。这样的软件代理能够为终端用户装置的gui生成适当的输入命令(到终端用户装置)，以使得给定的过程由终端用户装置执行，并且因此启动所述过程的自动化。为了能够为要自动执行的给定过程生成适当的输入命令，智能过程捕捉和自动化平台必须首先在操作者对过程的手动演示期间“捕捉”该过程。更具体地说，这需要智能过程捕捉和自动化平台在给定过程的手动演示期间分析...
【技术保护点】
1.一种用于确定终端用户装置的图形用户界面GUI交互信息的计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中所述一个或多个GUI侦察模式包括计算机本地的应用编程接口API，并且其中通过从所述API访问GUI交互信息来估计所述经估计的GUI交互信息。
3.根据任何前述权利要求所述的方法，其中所述一个或多个GUI侦察模式包括后处理方法。
4.根据权利要求3所述的方法，其中所述后处理方法包括计算机视觉工具。
5.根据任何前述权利要求所述的方法，其中所述参考模型包括基于预定规则的启发式模型。
6.根据权利要...
【技术特征摘要】
【国外来华专利技术】
1.一种用于确定终端用户装置的图形用户界面gui交互信息的计算机实现的方法，包括：
2.根据权利要求1所述的方法，其中所述一个或多个gui侦察模式包括计算机本地的应用编程接口api，并且其中通过从所述api访问gui交互信息来估计所述经估计的gui交互信息。
3.根据任何前述权利要求所述的方法，其中所述一个或多个gui侦察模式包括后处理方法。
4.根据权利要求3所述的方法，其中所述后处理方法包括计算机视觉工具。
5.根据任何前述权利要求所述的方法，其中所述参考模型包括基于预定规则的启发式模型。
6.根据权利要求1至4中任一项所述的方法，其中所述参考模型包括在历史数据上训练的多模态深度学习模型。
7.根据任何前述权利要求所述的方法，其中针对多个gui侦察模式串行地执行分析所述装置状态信息和对相应的经估计的gui交互信息分类。
8.根据权利要求1至6中任一项所述的方法，其中针对多个gui侦察模式并行地执行分析所述装置状态信息和对相应的经估计的gui交互信息分类。
9.根据任何前述权利要求所述的方法，其中基于参考模型对所述经估计的gui交互信息分类包括将所述经估计的gui交互信息分类为真或假。
10.根据权利要求9所述的方法，其中最后gui侦察模式是计算机视觉工具，且其中所述相应的经估计的gui交互信息被分类为真。
11.根据权利要求9所述的方法，其中，当确定真分类时，终止对所述经估计的gui交互信息分类...
【专利技术属性】
技术研发人员：克里舍娜·桑迪普·雷迪·杜巴，本杰明·迈克·卡尔，乌米特·鲁森·阿克塔斯，托马斯·亚历山大·奇利斯，
申请(专利权)人：蓝色棱镜有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。