应用软件画面元素识别方法、装置及计算机设备制造方法及图纸

技术编号:34440500 阅读:11 留言:0更新日期:2022-08-06 16:29
本申请涉及一种应用软件画面元素识别方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,属性信息包括类型和标题;根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。采用本方法能够可以淘汰无效画面元素,避免在手工录制过程中,由于无效画面元素的弹出而影响录制结果,从而保证录制结果的准确性。确性。确性。

【技术实现步骤摘要】
应用软件画面元素识别方法、装置及计算机设备


[0001]本申请涉及应用软件自动识别
,特别是涉及一种应用软件画面元素识别方法、装置及计算机设备。

技术介绍

[0002]在软件自动化测试领域,需要记录用户操作过程,并且可以编辑和修改用户的操作过程,同时需要可以满足用户的业务流程的控制需要,控制被测试系统的动作。因此需要自动识别被测试系统的窗口和画面控件,并且提供用户可以理解的画面控件的命名和定义,以及用户可以理解的操作过程,从而提高用户对业务操作流程的编辑和修改的可行性。在软件自动化控制和软件自动化测试中,对于画面控件的自动识别和查找定位,一直是最大的研究难点,而且没有成熟稳定的解决方案。

技术实现思路

[0003]基于此,有必要针对上述技术问题,提供一种应用软件画面元素识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0004]第一方面,本申请提供了一种应用软件画面元素识别方法。所述方法包括:
[0005]获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,其中,属性信息包括类型和标题;
[0006]根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。
[0007]在其中一个实施例中,画面元素为窗口,其中,属性信息包括窗口类型、窗口标题和窗口执行文件名;画面元素黑名单列表与画面元素白名单列表分别为窗口黑名单列表与窗口白名单列表;根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素,包括:
[0008]确定多个窗口中的活跃窗口;
[0009]根据活跃窗口的窗口类型、窗口标题和窗口执行文件名,判断活跃窗口是否属于窗口白名单列表;
[0010]若活跃窗口属于窗口白名单列表,则根据活跃窗口的窗口类型、窗口标题和窗口执行文件名,判断活跃窗口是否属于窗口黑名单列表;若活跃窗口不属于窗口黑名单列表,则确定活跃窗口为指定应用场景中有效窗口。
[0011]在其中一个实施例中,窗口白名单列表包括有效窗口标题集合、有效窗口类型集合和有效窗口执行文件名集合;根据活跃窗口的窗口类型、窗口标题和窗口执行文件名,判断活跃窗口是否属于窗口白名单列表,包括:
[0012]在不区分大小写的情况下,分别判断活跃窗口的窗口标题是否属于有效窗口标题集合、判断活跃窗口的窗口执行文件名是否属于有效窗口执行文件名集合以及判断活跃窗口的窗口类型是否属于有效窗口类型集合,得到三个判断结果;
[0013]若三个判断结果中存在一个判断结果为属于,则确定活跃窗口属于窗口白名单列表。
[0014]在其中一个实施例中,画面元素为控件,其中,属性信息包括控件类型以及控件标题;画面元素黑名单列表与画面元素白名单列表分别为控件黑名单列表与控件白名单列表;根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素,还包括:
[0015]确定多个控件中的活跃控件;
[0016]根据活跃控件的控件类型以及控件标题,判断活跃控件是否属于控件白名单列表;
[0017]若活跃控件属于控件白名单列表,则根据控件类型以及控件标题,判断所述活跃控件是否属于所述控件黑名单列表;若所述活跃控件不属于所述控件黑名单列表,则确定所述活跃控件为指定应用场景中有效控件。
[0018]在其中一个实施例中,控件白名单列表包括有效控件标题集合以及有效控件类型集合;所述根据所述活跃控件的控件类型以及控件标题,判断所述活跃控件是否属于所述控件白名单列表,包括:
[0019]在不区分大小写的情况下,分别判断活跃控件的控件标题是否属于有效控件标题集合以及判断活跃控件的控件类型是否属于有效控件类型集合,得到两个判断结果;
[0020]若两个判断结果中存在一个判断结果为属于,则确定活跃控件属于控件白名单列表。
[0021]在其中一个实施例中,所述方法还包括:
[0022]对于界面中的指定窗口,将指定窗口中每一控件均作为画面控件,将每一画面控件的位置坐标、控件内容和控件类型,作为对应画面控件的定义内容;
[0023]对于任一画面控件,判断任一画面控件是否为编辑控件,若否,则将任一画面控件的控件内容作为第一预选名称;
[0024]分别判断处于任一画面控件的每一预设方位上距离最近的相邻画面控件是否为编辑控件,得到每一预设方位对应的判断结果,将判断结果为否所对应的相邻画面控件的控件内容均作为第二预选名称;
[0025]根据第一预选名称以及第二预选名称,确定任一画面控件的预选名称。
[0026]第二方面,本申请还提供了一种应用软件画面元素识别装置。所述装置包括:
[0027]获取模块,用于获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,其中,属性信息包括类型和标题;
[0028]第一判断模块,用于根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。
[0029]第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0030]获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,其中,属性信息包括类型和标题;
[0031]根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。
[0032]第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0033]获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,其中,属性信息包括类型和标题;
[0034]根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。
[0035]第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
[0036]获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,其中,属性信息包括类型和标题;
[0037]根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。
[0038]上述应用软件画面元素识别方法、装置、计算机设备、存储介质和计算机程序产品,获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,其中,属性信息包括类型和标题;根据属性信息,画面元素黑名单列表与画面元素白名单列表,判断画面元素是否为指定应用场景中有效画面元素。可以避免无效画面元素的干扰,从而可以提高自动识别结果的精准率,以及为画面元素排除干本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种应用软件画面元素识别方法,其特征在于,所述方法包括:获取界面中画面元素的属性信息,获取画面元素黑名单列表与画面元素白名单列表,所述属性信息包括类型和标题;根据所述属性信息,所述画面元素黑名单列表与所述画面元素白名单列表,判断所述画面元素是否为指定应用场景中有效画面元素。2.根据权利要求1所述的方法,其特征在于,所述画面元素为窗口,所述属性信息包括窗口类型、窗口标题和窗口执行文件名;所述画面元素黑名单列表与所述画面元素白名单列表分别为窗口黑名单列表与窗口白名单列表;所述根据所述属性信息,所述画面元素黑名单列表与所述画面元素白名单列表,判断所述画面元素是否为指定应用场景中有效画面元素,包括:确定多个窗口中的活跃窗口;根据所述活跃窗口的窗口类型、窗口标题和窗口执行文件名,判断所述活跃窗口是否属于所述窗口白名单列表;若所述活跃窗口属于所述窗口白名单列表,则根据所述活跃窗口的窗口类型、窗口标题和窗口执行文件名,判断所述活跃窗口是否属于所述窗口黑名单列表;若所述活跃窗口不属于所述窗口黑名单列表,则确定所述活跃窗口为指定应用场景中有效窗口。3.根据权利要求2所述的方法,其特征在于,所述窗口白名单列表包括有效窗口标题集合、有效窗口类型集合和有效窗口执行文件名集合;所述根据所述活跃窗口的窗口类型、窗口标题和窗口执行文件名,判断所述活跃窗口是否属于所述窗口白名单列表,包括:在不区分大小写的情况下,分别判断所述活跃窗口的窗口标题是否属于所述有效窗口标题集合、判断所述活跃窗口的窗口执行文件名是否属于所述有效窗口执行文件名集合以及判断所述活跃窗口的窗口类型是否属于所述有效窗口类型集合,得到三个判断结果;若所述三个判断结果中存在一个判断结果为属于,则确定所述活跃窗口属于所述窗口白名单列表。4.根据权利要求1所述的方法,其特征在于,所述画面元素为控件,所述属性信息包括控件类型以及控件标题;所述画面元素黑名单列表与所述画面元素白名单列表分别为控件黑名单列表与控件白名单列表;所述根据所述属性信息,所述画面元素黑名单列表与所述画面元素白名单列表,判断所述画面元素是否为指定应用场景中有效画面元素,还包括:确定多个控件中的活跃控件;根据所述活跃控件的控件类型以及控件标题,判断所述活跃控件是否属于所述控件白名单列表;若所述活跃控件...

【专利技术属性】
技术研发人员:刘务杨春晖吴蕾徐巍袭安陈烨
申请(专利权)人:中国电子产品可靠性与环境试验研究所工业和信息化部电子第五研究所中国赛宝实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1