用于自主执行计算机程序的系统和方法技术方案

本发明专利技术公开了替代或增强人类用户的用于计算机程序的自主计算的系统和方法，其中不使用对计算机程序内部操作的访问。使用所公开的实施例，应用控制器可以使用计算机程序的显示输出而确定计算机程序的当前状态。例如，计算机程序的菜单选项的标识可以根据从计算机程序的显示输出获取的图像帧而确定，并用于确定计算机程序的当前状态。应用控制器可以向计算机程序提供输入命令，以将计算机程序从当前状态执行到目标状态。态执行到目标状态。态执行到目标状态。

【技术实现步骤摘要】
【国外来华专利技术】用于自主执行计算机程序的系统和方法
[0001]对相关申请的交叉引用
[0002]本申请要求于2020年6月25日提交的美国申请第16/912,695号以及于2020年4月8日提交的专利技术名称为“Systems and Methods for Autono mous Computing(用于自主计算的系统和方法)”的美国临时申请第63/007,009号的优先权，所述申请的全部内容通过引用并入本文，并应被视为本说明书的一部分。


[0003]本专利技术总体上涉及人工智能的领域，更具体地涉及使用人工智能以及其他技术进行自主计算。

技术介绍

[0004]计算机在现代生活中扮演着越来越重要的角色。在大多数情况下，如今的计算机系统是由人类使用的。人类向计算机系统提供输入命令，观察输出，并可能根据他们希望计算机系统执行的任务而提供附加输入命令。随着各个领域中自动化的增加，以及人工智能技术贡献的增加，可以预期未来的计算机系统可能自主地管理其他计算系统。
[0005]目前存在提供自主计算的系统。例如，对于一些计算机游戏程序，程序能够以计算机自身对抗模式运行。人类用户可以观看游戏以进行娱乐或学习游戏。存在可以向用户提供子例程的其他应用，这些子例程使得计算机程序连续执行一系列命令，实际上是执行自主计算。然而，这种自主计算是由计算机程序的开发者提供的，开发者可以访问计算机程序的内部进程和操作。因此，需要能够进行自主计算而不必访问计算机程序内部操作的系统和方法。这种自主计算可以部署在更多的应用上，并且如自主计算系统的操作者所期望的那样，可以根据需要完成任务或目标。

技术实现思路

[0006]一方面，公开了一种用于自主执行计算机程序的方法。该方法包括：生成目标文件，目标文件包括多个映射，其中：每个映射包括将每个目标映射到与计算机程序的一个或多个输入命令；一个或多个输入命令与选择计算机程序的一个或多个菜单选项相对应，将计算机程序从开始状态导航到结束状态，；和结束状态包括计算机程序已经执行了目标的状态；从目标文件中选择目标；接收计算机程序的多个屏幕截图；注释多个屏幕截图，其中注释包括标注计算机程序的菜单选项；生成位置参考文件，位置参考文件包括计算机程序的菜单选项的标识以及计算机程序的菜单选项在计算机程序的输出显示的位置；使用注释过的屏幕截图对分类器进行训练，以接收屏幕截图并返回屏幕截图中的多个标签以及屏幕截图中的标签的位置；接收计算机程序的显示输出，其中显示输出包括图像帧；使用经训练的分类器，确定图像帧中的多个标签；基于图像帧中的多个标签以及位置参考文件而识别图像帧中的菜单选项；至少部分地基于图像帧中多个标签中的一个或多个以及识别出的菜单选项而确定计算机程序的当前状态；确定包括当前状态的目标文件中的开始状态；确定
目标文件中与所选目标和当前状态相对应的映射；和向计算机程序提供所确定的映射中的输入命令。
[0007]在一些实施例中，标签包括注释；和注释具有计算机程序菜单选项的标识的指示。
[0008]在一个实施例中，目标文件中的映射包括与每个图像帧相对应的导航输入。
[0009]在另一实施例中，识别图像帧中的菜单选项还包括使用光学字符识别。
[0010]在一些实施例中，分类器包括机器学习、深度学习、神经网络以及卷积神经网络中的一者或多者。
[0011]在另一实施例中，生成位置参考文件包括在多个屏幕截图中的菜单选项周围绘制规则或不规则的几何形状，并在位置参考文件中记录每个屏幕截图中形状的位置以及每个形状中菜单选项的标识。
[0012]在一些实施例中，菜单选项还包括子菜单菜单选项。
[0013]在一个实施例中，识别菜单选项还包括将经训练的分类器返回的标签位置与位置参考文件中的菜单选项位置进行比较，以确定图像帧中菜单选项的标识。
[0014]在一个实施例中，比较还包括确定位置参考文件中对应的边界框与图像帧中的标签位置之间的重叠超过预定阈值。
[0015]另一方面，公开了另一种用于自主执行计算机程序的方法。该方法包括：获取计算机程序的输出的屏幕截图；注释屏幕截图中与计算机程序中菜单选项相对应的显示元素；生成目标文件，目标文件包括输入命令到能由计算机程序执行的任务的映射；生成位置参考文件，位置参考文件包括屏幕截图中显示元素的位置并且还包括屏幕截图中显示元素的标识；使用注释过的显示元素对分类器进行训练，以确定从计算机程序接收的输出图像帧中的显示元素和显示元素位置；基于将经训练的分类器的输出与位置参考文件进行比较而确定计算机程序的当前状态；和生成输入命令，输入命令包括将计算机程序从当前状态转换到目标状态(destination state)的命令，其中目标状态包括将由计算机程序执行的选定任务。
[0016]在一些实施例中，注释显示元素包括标注屏幕截图中的菜单选项；和标签包括菜单选项的标识的指示。
[0017]在一个实施例中，将经训练的分类器的输出与位置参考文件进行比较包括确定位置参考文件中的边界框与经训练的分类器返回的显示元素位置之间的重叠超过预定阈值。
[0018]在另一实施例中，确定计算机程序的当前状态包括确定输出图像帧中的菜单选项的标识以及确定哪个菜单选项是输出图像帧中的活动菜单选项。
[0019]在一些实施例中，确定计算机程序的当前状态还包括识别输出图像帧中的活动菜单选项。
[0020]在另一实施例中，确定计算机程序的当前状态还包括使用光学字符识别确定一个或多个菜单选项的标识。
[0021]另一方面，公开了一种非暂时性计算机存储器。非暂时性计算机存储器存储可执行程序指令，可执行程序指令在由一个或多个计算装置执行时配置一个或多个计算装置执行操作，操作包括：获取计算机程序的输出的屏幕截图；注释与计算机程序中的菜单选项相对应的屏幕截图中的显示元素；生成目标文件，目标文件包括输入命令到能由计算机程序执行的任务的映射；生成位置参考文件，位置参考文件包括屏幕截图中显示元素的位置且
还包括屏幕截图中显示元素的标识；使用注释过的显示元素对分类器进行训练，确定从计算机程序接收的输出图像帧中的显示元素和显示元素位置；基于将经训练的分类器的输出与位置参考文件进行比较而确定计算机程序的当前状态；和生成输入命令，输入命令包括将计算机程序从当前状态转换到目标状态的命令，其中目标状态包括将由计算机程序执行的选定任务。
[0022]在一个实施例中，注释显示元素包括标注屏幕截图中的菜单选项；和标签包括菜单选项的标识的指示。
[0023]在另一实施例中，将经训练的分类器的输出与位置参考文件进行比较包括确定位置参考文件中的边界框与经训练的分类器返回的显示元素位置之间的重叠超过预定阈值。
[0024]在一些实施例中，确定计算机程序的当前状态包括确定输出图像帧中的菜单选项的标识以及确定哪个菜单选项是输出图像帧中的活动菜单选项。
[0025]在一个实施例中，确定计算机程序的当前状态还包括识别输出图像帧中的活动菜单选项。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于自主执行计算机程序的方法，包括：生成目标文件，所述目标文件包括多个映射，其中：每个映射包括将目标映射到所述计算机程序的一个或多个输入命令；所述一个或多个输入命令与选择所述计算机程序的一个或者多个菜单选项相对应，并且与将所述计算机程序从开始状态导航到结束状态相对应；和所述结束状态包括所述计算机程序已经执行了所述目标的状态；从所述目标文件中选择目标；接收所述计算机程序的多个屏幕截图；注释所述多个屏幕截图，其中注释包括标注所述计算机程序的菜单选项，在每个屏幕截图中生成多个标签；生成位置参考文件，所述位置参考文件包括预先记录的所述计算机程序的菜单选项的精确标识以及所述计算机程序的所述菜单选项在所述计算机程序的所述多个屏幕截图中的坐标；使用所述注释过的屏幕截图对分类器进行训练，以接收所述计算机程序的第一输出显示的第一图像帧并返回所述第一图像帧中的多个标签以及所述第一图像帧中的所述标签的坐标，其中所述多个标签包括所述计算机程序的所述菜单选项的一般标识；接收所述计算机程序的第二输出显示，其中所述第二输出显示包括第二图像帧；使用所述经训练的分类器，确定所述第二图像帧中的所述多个标签；基于与所确定的所述第二图像帧中的所述多个标签相对应的一般标识和所述位置参考文件中预先记录的所述精确标识，确定所述第二图像帧中的菜单选项的精确标识；至少部分地基于所述第二图像帧中的所述多个标签中的一个或多个以及所确定的所述第二图像帧中的所述菜单选项的精确标识而确定所述计算机程序的当前状态；确定包括所述当前状态的所述目标文件中的开始状态；确定所述目标文件中与所选目标和所述当前状态相对应的映射；和向所述计算机程序提供所确定的所述映射中的输入命令。2.根据权利要求1所述的方法，其中：所述标签包括所述注释；和所述注释具有所述计算机程序的菜单选项的一般标识的指示。3.根据权利要求1所述的方法，其中所述目标文件中的所述映射包括与所述第二图像帧相对应的导航输入。4.根据权利要求1所述的方法，其中确定所述第二图像帧中的所述菜单选项的所述精确标识还包括使用光学字符识别。5.根据权利要求1所述的方法，其中所述分类器包括机器学习、深度学习、神经网络以及卷积神经网络中的一者或多者。6.根据权利要求1所述的方法，其中生成所述位置参考文件包括在所述多个屏幕截图中的菜单选项周围绘制规则或不规则的几何形状，并在所述位置参考文件中记录每个屏幕截图中所述形状的坐标和每个形状中所述菜单选项的精确标识。7.根据权利要求1所述的方法，其中所述菜单选项还包括子菜单菜单选项。8.根据权利要求1所述的方法，其中确定所述菜单选项的所述精确标识还包括将所述
经训练的分类器返回的标签坐标与预先记录在所述位置参考文件中的菜单选项坐标进行匹配，以确定所述第二图像帧中的菜单选项的精确标识。9.根据权利要求8所述的方法，其中：所述位置参考文件包括将所述菜单选项的所述精确标识映射到所述菜单选项的坐标的表格；和匹配还包括搜索所述表格。10.一种用于自主执行计算机程序的方法，包括：获取所述计算机程序的输出的屏幕截图；注释所述屏幕截图中的显示元素，其中注释与所述显示元素中所述计算机程序的菜单选项的一般标识相对应；生成目标文件，所述目标文件包括一个或多个输入命令到能由所述计算机程序执行的任务的映射；生成位置参考文件，所述位置参考文件包括所述显示元素中所述菜单选项的位置并且还包括所述显示元素中所述菜单选...

【专利技术属性】
技术研发人员：小C，
申请(专利权)人：小C，
类型：发明
国别省市：