认知控制框架中的假设的结构性内容过滤制造技术

结构性内容过滤用于减少在由应用程序的图形用户界面（ＧＵＩ）产生的所记录图像中对于有效对象位置的假设的数量，其是通过以下实现的：变换所述所记录图像和相应的再现图像；从所述变换后的所记录图像中确定与在所述变换后的再现图像中要搜索的对象相对应的子图像；在所述变换后的再现图像上确定具有与所述子图像相匹配的适当值的一组点；以及在所述再现图像上过滤出与所述点子集中任意一点的距离大于所选定距离的假设。

【技术实现步骤摘要】
【国外来华专利技术】认知控制框架中的假设的结构性内容过滤
技术介绍
1. 领域本专利技术总体上涉及软件应用程序的自动控制和图像分析，更具体的，涉及分析由应用程序显示的图形用户界面(GUI)图像，用以应用程序随后执 行的自动控制。2. 说明通常的应用程序分析系统捕捉由用户输入的键盘输入数据和鼠标输入 数据。然后可以将所捕捉的输入数据用于重复执行应用程序。这些系统依 赖于应用程序在用于捕捉输入数据的同一计算机系统上的再现，从而不是 可移植的。一些现有的应用程序分析系统使用图像识别技术，其依赖于屏幕分辨 率和/或绘制方案，或者对所使用的底层操作系统(OS)有强烈的依赖性。这 种系统通常依赖于诸如Windows32或X-Windows应用编程接口(API)之类 的依附对象。这限制了它们的可移植性和实用性。因此，就希望获得用于分析应用程序的GUI的更好的技术。附图说明根据本专利技术以下的详细说明，本专利技术的特点和优点会变得显而易见， 其中图1是根据本专利技术的一个实施例的认知控制框架系统的框图； 图2是流程图，示出了根据本专利技术的一个实施例的认知控制框架中的 处理；图3是在记录阶段期间所捕捉并保存的应用程序的GUI的实例显示； 图4是在再现阶段期间捕捉的应用程序的GUI的实例显示； 图5是示出了在根据本专利技术的一个实施例的记录阶段的轮廓描绘操作 期间所识别的对象的一个实例图像；图6是示出了在根据本专利技术的一个实施例的记录阶段的活动对象的一 个实例图像；图7是示出了在根据本专利技术的一个实施例的再现阶段的轮廓描绘操作 期间所识别的对象的一个实例图像；图8是示出了在根据本专利技术的一个实施例的再现阶段期间的假设的一 个实例图像；图9是示出了在根据本专利技术的一个实施例的再现阶段期间GUI中的高 亮显示项的一个实例图像；图10是示出了在根据本专利技术的一个实施例的再现阶段期间GUI中没有 高亮显示项的一个实例图像；图11是示出了在根据本专利技术的一个实施例的再现阶段期间用于GUI 的项的复杂高亮显示的一个实例图像；图12是示出在根据本专利技术的一个实施例的再现阶段期间，对于GUI 的被搜索项的没有高亮显示的图像；图13是实例图像，示出了在根据本专利技术的一个实施例的再现阶段期间 GUI中的对象的轮廓；图14是示出了在根据本专利技术的一个实施例的再现阶段期间GUI中的对 象的轮廓的另一个实例图像；图15是示出了根据本专利技术的一个实施例的图11的变换的一个实例图像；图16是示出了根据本专利技术的一个实施例的图12的变换的一个实例图像；图17是示出了根据本专利技术的一个实施例，在识别了对于其他非文本对 象的全部假设的轮廓之后，且在呈现过滤结果之前，用于应用程序的GUI 的一个实例图像；以及图18是流程图，示出在根据本专利技术的一个实施例的再现阶段期间的对 于假设的结构性内容过滤。具体实施方式本专利技术的实施例包括认知控制框架(CCF)，用于具有图形用户界面(GUI)的软件应用程序的自动控制。这种应用程序的实例可以在当前操作系统上执行，例如，诸如Microsoft Windows⑤和Linux，以及其它操作系统。本发 明的一个实施例创建了一个系统，该系统模拟人类用户与应用程序的GUI 之间的交互，并使用GUI进行应用程序的自动控制，而无需依赖于诸如专 用图形库、窗口系统，或可视化控制界面或实现之类的依附对象 (dependency). CCF包括易用的跨平台工具，其可用于基于模式识别的GUI 测试。通过独立于任何OS专用的控制和图形库，CCF可以用于与非标准 的图形界面以及公知的界面进行交互。该系统用来记录用户在操作应用程 序的GUI时所执行的任何种类的键盘和鼠标动作，并随后提供对所记录的 场景(scenario)的再现。在本专利技术中，对所捕捉的显示数据(例如诸如屏幕截 图)执行图像分析，以识别与用户输入数据相对应的应用程序的动作。可以 将这些动作和输入数据进行存储，以便将来在相同用户场景的再现中使用， 用以自动与应用程序进行交互。本专利技术的实施例包括两个阶段的操作记录阶段和再现阶段。在记录 阶段期间，系统"学习"如何控制应用程序。系统登记并捕捉由用户提供 的输入动作(例如，诸如鼠标点击或经键盘的文本输入)，并显示图像数据(例 如屏幕截图)，该图像数据是由应用程序响应于这些动作而显示的。用户动 作、在动作之间的时间间隔、所产生的应用程序的GUI显示数据、以及可 能的其它数据和/或命令构成了执行场景。通过遵循执行场景，在再现阶段 期间系统提供对应用程序的相同的但完全自动的执行(模拟用户控制，但无 需用户的实际存在)。由于在记录和再现阶段期间将多个图像分析和结构性 技术相应地用于图像，因此使自动执行成为可能。图1是根据本专利技术的一个实施例的认知控制框架(CCF)系统100的框 图。图1显示了两个部件，记录部件102和再现部件104。这些部件可以实 现为软件、固件或硬件，或者软件、固件和硬件的组合。在记录部件中， CCF系统在块106登记并捕捉用户输入活动。例如，用户可以用鼠标、键 盘或其它输入设备，对由计算机系统执行的应用程序做出随着时间进展的 输入选择。该输入数据被CCF系统捕捉并存储。接下来，在块108，可以 捕捉显示数据(例如，进行屏幕截图)。在一个实施例中，当用户输入已经被 应用程序接收时，可以仅捕捉显示数据。显示数据也被保存。在块IIO，可以对在块106和108期间所捕捉的数据进行分析和保存。这些过程可以多 次重复。记录部件的处理结果包括用于由系统正在处理的应用程序的执行 场景112。在一个实施例中，执行场景包括含有可扩展标记语言(XML)标签 的脚本。该执行场景描述了对于应用程序的用户输入序列、在应用程序的 GUI上的相应的显示图像、以及指示应用程序执行一些动作的命令。在稍后的时间点，在再现阶段期间可以启动再现部件104。在块114， 可以基于所述执行场景产生模拟的用户活动。就是说，为了使用CCF系统 进行自动控制，可以将来自所述执行场景的所保存的输入和命令输入到应 用程序中。在应用程序处理该数据时，作为结果，在显示器上的显示数据 可能改变。在块116， CCF系统对当前作为应用程序处理的结果而显示的再 现显示数据和在记录阶段期间所捕捉的显示数据执行图像分析。在块118， 可以对所记录的时间状态进行检查，以考虑在再现中的可能变化。例如， 对象出现的时刻可以在基于所记录时间的时间间隔内。例如，在一个实施 例中，可以从执行场景中所保存的数据中提取下限时刻(开始搜索的时刻)， 上限时刻可以是下限时刻加上10%或者一些其它的适当值。块114、 116和 118的处理每一个都导致数据被存储在报告120中。在块119， CCF系统基 于图像分析的结果，控制应用程序的执行。可以对来自执行场景的用户输 入数据项的序列中的每一项重复块U4、 116和118。在连续动作之间的时间间隔是所捕捉的执行场景的一部分。然而，在 再现阶段中遵循执行方案时，不应期望在再现时的任何两个动作之间的时 间间隔会等于在记录阶段期间相同的两个动作之间的时间间隔。对于为何 该间隔在再现时会与在记录期间不同，存在多种客观原因。例如，记录和 再现期间的应用程序可能是在具有不同处理器速度的不同计算机系统上执 行的，或者由于对外部数据或资源的访问，因本文档来自技高网...

【技术保护点】
一种计算机实施的结构性内容过滤的方法，用以减少在由应用程序的图形用户界面（ＧＵＩ）产生的所记录图像中对于有效对象位置的假设的数量，所述方法包括以下步骤：变换所述所记录图像和相应的再现图像；从所述变换后的所记录图像中确定与在所 述变换后的再现图像中要搜索的对象相对应的子图像；在所述变换后的再现图像上确定具有与所述子图像相匹配的适当值的一组点；以及在所述再现图像上过滤出与所述点子集中任意一点的距离大于所选定距离的假设。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：DS米洛夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：US[美国]