用户界面显示识别方法及终端设备技术

本发明专利技术适用于移动终端技术领域，提供了一种用户界面显示识别方法及终端设备。该方法包括：获取待检测用户界面的目标界面截图，提取目标界面截图的特征向量；获取预存的正常用户界面的正常界面截图，提取正常界面截图的特征向量；根据目标界面截图的特征向量和正常界面截图的特征向量，确定目标界面截图与正常界面截图的余弦距离；判断余弦距离是否超过预设阈值；若判定超过预设阈值，则获取待检测用户界面的各个元素控件的层级及位置；检测各个元素控件的层级及位置是否异常；若检测到各个元素控件的层级及位置均正常，则判定待检测用户界面显示正常，解决现有用户界面显示检测方法存在的脚本维护效率低的问题。

User interface display identification method and terminal device

The invention is applicable to the field of mobile terminal technology, and provides a user interface display identification method and a terminal device. The method includes: obtaining the target interface screenshot of the user interface to be detected, extracting the feature vector of the target interface screenshot, obtaining the normal interface screenshot of the pre stored normal user interface, extracting the feature vector of the normal interface screenshot, and determining the target according to the feature vector of the target interface and the feature vector of the normal interface screenshot. The distance between the standard interface and the cosine of the normal interface; determine whether the cosine distance is more than the preset threshold; if the predefined threshold is exceeded, the level and position of each element control in the user interface to be detected is obtained; the level and position of the element controls are detected or not; if the level of each element control is detected, the level of the element control is detected. If both the location and the user interface are normal, it is determined that the user interface to be tested is normal, which solves the problem of inefficient script maintenance existing in the existing user interface display detection methods.

【技术实现步骤摘要】
用户界面显示识别方法及终端设备
本专利技术属于移动终端
，尤其涉及一种用户界面显示识别方法及终端设备。
技术介绍
目前，手机等移动终端上可以应用多种操作系统，例如Android操作系统，由于不同机型的手机分辨率不同，多种操作系统应用于不同分辨率的手机，必须与不同分辨率的手机相适配，才能使用户界面正常显示。现有检测用户界面显示是通过测试脚本进行检测，即执行整个测试脚本，测试完成后将测试结果与设定的固定值进行比较，如果两者一致，测试用户界面显示正常，否则，测试用户界面显示不正常。但是现有检测方法存在脚本维护效率低的问题，如果用户界面有调整，需要重写整个测试case，同时也需要重新设定固定值，测试成本高，不适合实际应用。
技术实现思路
本专利技术实施例提供一种用户界面显示识别方法及终端设备，以解决现有用户界面显示检测方法存在的脚本维护效率低的问题。本专利技术实施例的第一方面提供了一种用户界面显示识别方法，包括：获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；判断所述余弦距离是否超过预设阈值；若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；检测各个所述元素控件的层级及位置是否异常；若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。可选的，所述提取所述目标界面截图的特征向量包括：从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。可选的，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。可选的，所述获取所述待检测用户界面的各个元素控件的层级及位置包括：通过软件开发工具包(SoftwareDevelopmentKit，SDK)生成运行状态获取命令；根据所述运行状态获取命令实时获取所述待检测用户界面的各个元素控件的层级及位置。可选的，所述检测各个所述元素控件的层级及位置是否异常包括：根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。本专利技术实施例的第二方面提供了一种用户界面显示识别终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；判断所述余弦距离是否超过预设阈值；若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；检测各个所述元素控件的层级及位置是否异常；若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。可选的，所述提取所述目标界面截图的特征向量包括：从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。可选的，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。可选的，所述检测各个所述元素控件的层级及位置是否异常包括：根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。本专利技术实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述用户界面显示识别方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术实施例通过获取待检测用户界面的目标界面截图，确定目标界面截图与正常界面截图的余弦距离，在判定该余弦距离超过预设阈值时，检测待检测用户界面的各个元素控件的层级及位置是否异常，在检测都正常时，判定待检测用户界面显示正常，解决现有用户界面显示检测方法存在的脚本维护效率低的问题，同时结合待检测用户界面的截图和待检测用户界面的各个元素控件的层级及位置，检测用户界面是否异常显示，提高用户界面显示识别准确率，降低测试成本，适合实际应用。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种用户界面显示识别方法的示意流程图；图2是本专利技术另一实施例提供的一种用户界面显示识别方法的示意流程图；图3是本专利技术再一实施例提供的一种用户界面显示识别方法的示意流程图；图4是本专利技术又一实施例提供的一种用户界面显示识别方法的示意流程图；图5是本专利技术又一实施例提供的一种用户界面显示识别方法的示意流程图；图6是本专利技术实施例提供的一种用户界面显示识别程序的示意性框图；图7是本专利技术实施例提供的一种用户界面显示识别终端设备的示意性框图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的本文档来自技高网...

【技术保护点】
1.一种用户界面显示识别方法，其特征在于，包括：获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；判断所述余弦距离是否超过预设阈值；若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；检测各个所述元素控件的层级及位置是否异常；若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。

【技术特征摘要】
1.一种用户界面显示识别方法，其特征在于，包括：获取待检测用户界面的目标界面截图，提取所述目标界面截图的特征向量；获取预存的正常用户界面的正常界面截图，提取所述正常界面截图的特征向量；根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离；判断所述余弦距离是否超过预设阈值；若判定所述余弦距离超过所述预设阈值，则获取所述待检测用户界面的各个元素控件的层级及位置；检测各个所述元素控件的层级及位置是否异常；若检测到各个所述元素控件的层级及位置均正常，则判定所述待检测用户界面显示正常。2.如权利要求1所述的用户界面显示识别方法，其特征在于，所述提取所述目标界面截图的特征向量包括：从所述目标界面截图中选取第一预设数目个样本，每个样本提取第二预设数目个特征；根据所述第一预设数目个样本和每个样本提取的第二预设数目个特征，构成第一矩阵；根据所述第一矩阵和所述第一矩阵的转置矩阵获得第二矩阵；计算所述第二矩阵的特征向量，根据所述第二矩阵的特征向量确定所述目标界面截图的特征向量。3.如权利要求1所述的用户界面显示识别方法，其特征在于，所述根据所述目标界面截图的特征向量和所述正常界面截图的特征向量，确定所述目标界面截图与所述正常界面截图的余弦距离包括：分别计算所述目标界面截图的特征向量和所述正常界面截图的特征向量的长度；获得所述目标界面截图的特征向量和所述正常界面截图的特征向量的内积；根据所述目标界面截图的特征向量的长度、所述正常界面截图的特征向量的长度和所述内积，确定所述目标界面截图与所述正常界面截图的余弦距离。4.如权利要求1所述的用户界面显示识别方法，其特征在于，所述获取所述待检测用户界面的各个元素控件的层级及位置包括：通过软件开发工具包SDK生成运行状态获取命令；根据所述运行状态获取命令实时获取所述待检测用户界面的各个元素控件的层级及位置。5.如权利要求1所述的用户界面显示识别方法，其特征在于，所述检测各个所述元素控件的层级及位置是否异常包括：根据各个所述元素控件的层级确定各个所述元素控件中的子控件，以及子控件对应的母控件；检测目标子控件的位置是否设置在所述目标子控件对应的目标母控件的前端，并检测所述目标子控件所占范围是否超出所述目标母控件所占范围，所述目标子控件为确定的各个所述元素控件中的子控件中任意一个子控件。6.一种用户界面显示识别终端设...

【专利技术属性】
技术研发人员：彭远杰，刘慧众，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44