UI图片测试方法、装置、电子设备制造方法及图纸

本申请公开了一种UI图片测试方法，属于计算机技术领域，有助于提升UI图片测试的准确度和测试效率。所述方法包括：基于模版匹配方法，获取待测试UI图片的基准图与运行图的第一相似度；将第一相似度与预设第一阈值范围进行比较，确定模版匹配结果，其中，模版匹配结果用于指示基准图与运行图一致或不一致，或者，无法确定基准图与运行图是否一致：响应于模版匹配结果指示无法确定基准图与运行图是否一致，通过预设的神经网络模型对基准图和运行图进行特征匹配，确定基准图与运行图的第二相似度；根据第二相似度确定运行图与基准图是否一致。本方法通过融合模板匹配和神经网络网络匹配，提升了UI图片测试的准确度和测试效率。提升了UI图片测试的准确度和测试效率。提升了UI图片测试的准确度和测试效率。

【技术实现步骤摘要】
UI图片测试方法、装置、电子设备


[0001]本申请涉及计算机
，特别是涉及UI图片测试方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]现有技术中，在电子设备或应用软件的用户界面开发场景下，UI(User Interface,用户界面)图片测试是一个重要的研发环节。研发人员以设计人员输出的UI基准图为模板，在各种设备上实现出UI运行图，由于设备多种多样，不同型号设备之间硬件条件如屏幕类型(如刘海屏、水滴屏、曲面屏)、分辨率、操作系统(如苹果系统、安卓系统)等等存在差异，导致UI运行图与预想的UI基准图往往会存在差异。需要通过UI图片测试判断两张图之间是否存在差异，以及差异位置。现有技术中，由于自动UI图片测试技术准确度不高，并且无法测试不同分辨率图片之间的差异，因此，通常会通过测试人员肉眼判断两张图之间的差异位置，并反馈研发人员进行调整的测试手段。在用户界面更新频率高，用户界面众多的情况下，人工测试效率低，无法满足用户界面的更新和开发需求。
[0003]为此，迫切需要提供一种自动进行UI图片测试的方法，以提升UI图片测试的效率和准确度。

技术实现思路

[0004]本申请实施例提供一种自动进行UI图片测试方法，有助于提升UI图片测试的效率和准确度。
[0005]第一方面，本申请实施例提供了一种UI图片测试方法，包括：
[0006]基于模版匹配方法，获取待测试UI图片的基准图与运行图的第一相似度；
[0007]将所述第一相似度与预设第一阈值范围进行比较，确定模版匹配结果，其中，所述模版匹配结果用于指示所述基准图与所述运行图一致、所述基准图与所述运行图不一致，或者，无法确定所述基准图与所述运行图是否一致：
[0008]响应于所述模版匹配结果指示无法确定所述基准图与所述运行图是否一致，通过预设的神经网络模型对所述基准图和所述运行图进行特征匹配，确定所述基准图与所述运行图的第二相似度；
[0009]根据所述第二相似度确定所述运行图与所述基准图是否一致。
[0010]第二方面，本申请实施例提供了一种UI图片测试装置，包括：
[0011]第一相似度获取模块，用于基于模版匹配方法，获取待测试UI图片的基准图与运行图的第一相似度；
[0012]第一测试结果确定模块，用于将所述第一相似度与预设第一阈值范围进行比较，确定模版匹配结果，其中，所述模版匹配结果用于指示所述基准图与所述运行图一致、所述基准图与所述运行图不一致，或者，无法确定所述基准图与所述运行图是否一致：
[0013]第二相似度获取模块，用于响应于所述模版匹配结果指示无法确定所述基准图与
所述运行图是否一致，通过预设的神经网络模型对所述基准图和所述运行图进行特征匹配，确定所述基准图与所述运行图的第二相似度；
[0014]第二测试结果确定模块，用于根据所述第二相似度确定所述运行图与所述基准图是否一致。
[0015]第三方面，本申请实施例提供了一种UI图片测试方法，包括：
[0016]获取待测试UI图片的基准图和运行图中各自包含的控件区域；
[0017]通过光学字符识别算法对所述控件区域中的文本区域进行文字扫描识别，得到所述基准图和所述运行图中各自包含的各文本区域对应的文本内容；
[0018]通过预设的自然语言处理模型，对所述基准图中和所述运行图中相应文本区域各自对应的所述文本内容，进行文字语义相似度比对，获取所述基准图和所述运行图的语义相似度；
[0019]根据所述语义相似度，确定所述基准图与所述运行图是否一致。
[0020]第四方面，本申请实施例提供了一种UI图片测试装置，包括：
[0021]控件区域获取模块，用于获取待测试UI图片的基准图和运行图中各自包含的控件区域；
[0022]区域文本内容识别模块，用于通过光学字符识别算法对所述控件区域中的文本区域进行文字扫描识别，得到所述基准图和所述运行图中各自包含的各文本区域对应的文本内容；
[0023]语义相似度获取模块，用于通过预设的自然语言处理模型，对所述基准图中和所述运行图中相应文本区域各自对应的所述文本内容，进行文字语义相似度比对，获取所述基准图和所述运行图的语义相似度；
[0024]测试结果确定模块，用于根据所述语义相似度，确定所述基准图与所述运行图是否一致。
[0025]第五方面，本申请实施例提供了一种UI图片测试方法，包括：
[0026]获取待测试UI图片的基准图和运行图；
[0027]响应于所述基准图和所述运行图的分辨率相同，通过如实施例一所述的UI图片测试方法，确定所述基准图与所述运行图是否一致；
[0028]响应于所述基准图和所述运行图的分辨率不同，通过如实施例二所述的UI图片测试方法，确定所述基准图与所述运行图是否一致。
[0029]第六方面，本申请实施例提供了一种UI图片测试装置，包括：
[0030]基准图和运行图获取模块，用于获取待测试UI图片的基准图和运行图；
[0031]第一测试模块，用于响应于所述基准图和所述运行图的分辨率相同，通过如实施例一所述的UI图片测试方法，确定所述基准图与所述运行图是否一致；
[0032]第二测试模块，用于响应于所述基准图和所述运行图的分辨率不同，通过如实施例二所述的UI图片测试方法，确定所述基准图与所述运行图是否一致。
[0033]第七方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的UI图片测试方法。
[0034]第八方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程
序，该程序被处理器执行时本申请实施例公开的UI图片测试方法的步骤。
[0035]本申请实施例公开的UI图片测试方法，通过基于模版匹配方法，获取待测试UI图片的基准图与运行图的第一相似度；将所述第一相似度与预设第一阈值范围进行比较，确定模版匹配结果，其中，所述模版匹配结果用于指示所述基准图与所述运行图一致、所述基准图与所述运行图不一致，或者，无法确定所述基准图与所述运行图是否一致：响应于所述模版匹配结果指示无法确定所述基准图与所述运行图是否一致，通过预设的神经网络模型对所述基准图和所述运行图进行特征匹配，确定所述基准图与所述运行图的第二相似度；根据所述第二相似度确定所述运行图与所述基准图是否一致，有助于提升UI图片测试的准确度和测试效率。
[0036]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0037]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种UI图片测试方法，其特征在于，包括：基于模版匹配方法，获取待测试UI图片的基准图与运行图的第一相似度；将所述第一相似度与预设第一阈值范围进行比较，确定模版匹配结果，其中，所述模版匹配结果用于指示所述基准图与所述运行图一致、所述基准图与所述运行图不一致，或者，无法确定所述基准图与所述运行图是否一致：响应于所述模版匹配结果指示无法确定所述基准图与所述运行图是否一致，通过预设的神经网络模型对所述基准图和所述运行图进行特征匹配，确定所述基准图与所述运行图的第二相似度；根据所述第二相似度确定所述运行图与所述基准图是否一致。2.根据权利要求1所述的方法，其特征在于，所述通过预设的神经网络模型对所述基准图和所述运行图进行特征匹配，确定所述基准图与所述运行图的第二相似度的步骤，包括：对所述基准图和所述运行图分别进行图块切割处理，获取所述基准图和所述运行图中各自包括的至少一张局部图片；通过预设的第一神经网络模型，对所述基准图中和所述运行图中对应位置的各所述局部图片进行图像特征比对，获取所述基准图和所述运行图中所述对应位置的局部图片的视觉相似度；和/或，通过预设的第二神经网络模型，对所述基准图中和所述运行图中对应位置的各所述局部图片进行文本语义特征比对，获取所述基准图和所述运行图中所述对应位置的局部图片的语义相似度；根据所述基准图中和所述运行图中各相应位置所述局部图片的所述视觉相似度和/或所述语义相似度，得到所述基准图与所述运行图的第二相似度。3.根据权利要求2所述的方法，其特征在于，所述预设的第一神经网络模型为预先训练的孪生神经网络模型，所述通过预设的第一神经网络模型，对所述基准图中和所述运行图中对应位置的各所述局部图片进行图像特征比对，获取所述基准图和所述运行图中所述对应位置的局部图片的视觉相似度的步骤，包括：将所述基准图中任意位置的所述局部图片和所述运行图中对应位置的所述局部图片，作为所述孪生神经网络模型的一组输入图像，通过所述孪生神经网络模型获取所述基准图和所述运行图中所述任意位置的所述局部图片之间的视觉相似度。4.根据权利要求2所述的方法，其特征在于，所述第二神经网络模型为自然语言处理模型，所述通过预设的第二神经网络模型，对所述基准图中和所述运行图中对应位置的各所述局部图片进行文本语义特征比对，获取所述基准图和所述运行图中所述对应位置的局部图片的语义相似度，包括：对于所述基准图中任意位置的所述局部图片和所述运行图中对应位置的所述局部图片，通过预设光学字符识别算法对该两张局部图片分别进行文字扫描识别，获取该两张局部图片各自对应的文本块文字识别结果；通过所述自然语言处理模型对两张局部图片各自对应的所述文本块文字识别结果进行文字语义相似度比对，得到该两张局部图片对应的语义相似度，作为所述基准图和所述运行图中所述任意位置的局部图片的语义相似度。5.根据权利要求2所述的方法，其特征在于，所述对所述基准图和所述运行图分别进行图块切割处理，获取所述基准图和所述运行图中各自包括的至少一张局部图片的步骤，包
括：对所述基准图和所述运行图，分别进行控件检测；基于所述进行控件检测得到的控件信息，对所述基准图和所述运行图分别进行图块切割处理，获取所述基准图和所述运行图中各自包括的至少一个控件对应的局部图片。6.一种UI图片测试方法，其特征在于，包括：获取待测试UI图片的基准图和运行图中各自包含的控件区域；通过光学字符识别算法对所述控件区域中的文本区域进行文字扫描识别，得到所述基准图和所述运行图中各自包含的各文本区域对应的文本内容；通过预设的自然语言处理模型，对所述基准图中和所述运行图中相应文本区域各自对应的所述文本内容，进行文字语义相似度比对，获取所述基准图和所述运行图的语义相似度；根据所述语义相似度，确定所述基准图与所述运行图是否一致。7.根据权利要求6所述的方法，其特征在于，所述通过预设的自然语言处理模型，对所述基准图中和所述运行图中相应文本区域各自对应的所述文本内容，进行文字语义相似度比对，获取所述基准图和所述运行图的语义相似度的步骤，包括：通过预设的自然语言处理模型，对所述基准图中和所述运行图中各对应位置的所述文本区域各自对应的文本内容分别进行文字语义相似度比对，获取所述基准图和所述运行图的至少一个局部语义相似度；根...

【专利技术属性】
技术研发人员：周高景，刘曦，张睿，张杰，杨刚，孙义彬，谢永瑞，魏晓林，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：