本发明专利技术公开了一种用户界面识别智能化测试方法、装置、终端及存储介质，该测试方法包括获取应用软件的用户界面截图；获取差异性阈值；通过差分测试技术结合图像识别技术，对用户界面截图进行界面特征提取和界面相似性度量，通过界面相似性与差异性阈值的比较，判断同一款应用软件在不同设备上是否存在显示差异，将测试结果生成差分测试报告。上述方法解决了现有技术的软件测试领域对于用户界面的测试方法依然不足，其基于用户界面的多维度特征，借鉴现有的成熟的图像处理技术，实现对用户界面的特征识别和提取，提高精确度，摆脱对于人工鉴别的依赖，并且自定义差分检测方法，满足复杂的用户界面的检测，最终根据相似度提供差分测试报告。供差分测试报告。供差分测试报告。
【技术实现步骤摘要】
用户界面识别智能化测试方法、装置、终端及存储介质
[0001]本专利技术涉及软件测试
，尤其适用于具有用户界面的应用软件测试领域，特别涉及一种更快地检测出相同软件部署在不同硬件设备显示的用户界面差异且帮助软件测试人员提高软件测试效率、保障软件质量的用户界面识别智能化测试方法、装置、终端及存储介质。
技术介绍
[0002]近年来，互联网行业发展迅猛，各式各样的应用涌现出来，关系到社会生活的方方面面，与此同时，对于软件应用的测试技术也随之有着越发重要的地位。目前很多行业因为保密的原因，在测试方面并不会有源码的提供，测试者需要对软件的特性进行黑盒测试，针对服务端返回的数据进行测试用例的编写。然而，在用户界面方面，目前不管是在Web开发还是客户端开发，市面上绘图软件（例如CAD制图软件）种类繁多，数据格式无法统一。并且因为用户界面数据的特殊性，测试者很难单纯通过数据测试出用户界面的具体状态，仅可以判断数据的正确性，并不能保证最后显示的合理性。因此，针对用户界面特征的新的测试技术在学术界和工业界成为了一个重要的热点问题。
[0003]在涉及交互界面的应用程序的测试中，用户界面识别技术已经成为了主流方法，这是因为用户界面的特殊性，从数据层面很难进行真正有效地测试，测试者们于是更加关注通过图像识别，针对软件的用户界面进行理解测试。目前大部分的用户界面测试技术都是图像识别和机器学习结合进行的测试，通过人的参与进行标注，结合机器学习，最终将训练出来的模型用于用户界面中的图形的识别处理。但是，因为机器学习需要大量的数据，所以在这方面人工的投入非常高。同时，人存在主观判断问题，如角度的细微偏差，可能会因为人的观察问题，将普通三角形标注为直角三角形；又比如两条线段的平行关系，当线段相差较远时，人很容易主观将不平行的线段视为平行线段。于是，人的主观问题会导致在某些相似度很高的图形类别上出现问题，最常见的是直角、平行关系、长短关系判断的偏差。人的偏差会导致训练数据出现问题，影响模型，最后平面几何的测试结果会出现问题，尤其是在不同类型图形的临界点上，如等边三角形和等腰三角形等。因此，我们希望能够研究一种方法，尽量摆脱人的参与，提高测试的客观性，从而达到提高准确度的目的。
[0004]在差分测试方面，已经有一些学者做出了一些初步的工作，但是很少有人将其应用到用户界面显示测试上，仅有少数学者提出将差分测试用于编译器的测试。但是上述差分测试无法满足复杂用户界面差异性的检测。
技术实现思路
[0005]为了克服现有技术的软件测试领域对于用户界面的测试方法依然不足，本专利技术的目的提供一种用户界面识别智能化测试方法、装置、终端及存储介质，其基于用户界面的多维度特征，借鉴现有的成熟的图像处理技术，实现对用户界面的特征识别和提取，提高精确度，摆脱对于人工鉴别的依赖，并且自定义差分检测方法，满足复杂的用户界面的检测，最
终根据相似度提供差分测试报告。
[0006]本专利技术采用如下技术方案实现：一种用户界面识别智能化测试方法，包括：获取应用软件的用户界面截图；获取差异性阈值；通过差分测试技术结合图像识别技术，对用户界面截图进行界面特征提取和界面相似性度量，通过界面相似性与差异性阈值的比较，判断同一款应用软件在不同设备上是否存在显示差异，将测试结果生成差分测试报告。
[0007]可选地，所述界面特征提取包括如下步骤：对用户界面截图进行区块分割，获取区块集合；根据区块堆叠关系构建区块关联关系图；根据边缘检测获取所有区块中的控件；根据图像理解和意图识别技术识别控件意图。
[0008]进一步可选地，在对用户界面截图进行区块分割，获取区块集合的步骤中，具体包括：首先应用高斯滤波来平滑图像，去除部分噪声，然后寻找图像的强度梯度，应用非最大抑制技术消除边的误检，接着用双阈值来决定可能的边界，根据同一分区中的控件类型的相关性对分区进行分割，分割后得到的每一个分区中的控件是同一类型，而不同分区中的控件是不同类型。
[0009]可选地，所述区块关联关系图中的点表示一个分区，边表示两个分区之间的关联关系。
[0010]可选地，在根据边缘检测获取所有区块中的控件的步骤中，具体包括：采用图形边缘检测技术检测每个控件的边界，然后统计控件的种类和数量。
[0011]可选地，所述界面相似性度量包括如下步骤：根据用户界面不同维度特征设计对应的相似性度量方法；使用融合算法将多个维度的相似度融合为单一值，用于表示用户界面的相似度。
[0012]进一步可选地，所述融合算法采用如下公式：其中，表示界面1和界面2，表示两个用户界面的相似度，表示控件的相似度，表示控件意图的相似度，表示关联关系图的相似度，表示融合函数。
[0013]此外，为实现上述目的，本专利技术还提供一种用户界面识别智能化测试装置包括：上传模块，用于获取应用软件的用户界面截图；设定模块，用于获取差异性阈值；差分测试模块，用于通过差分测试技术结合图像识别技术，对用户界面截图进行界面特征提取和界面相似性度量，通过界面相似性与差异性阈值的比较，判断同一款应用软件在不同设备上是否存在显示差异，将测试结果生成差分测试报告。
[0014]此外，为实现上述目的，本专利技术还提供一种终端，所述终端包括存储器、处理器及
存储在所述存储器上并可在所述处理器上运行的用户界面识别智能化测试程序，其中：所述用户界面识别智能化测试程序被所述处理器执行时实现上述所述的用户界面识别智能化测试方法的步骤。
[0015]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有用户界面识别智能化测试程序，所述用户界面识别智能化测试程序被处理器执行时实现上述所述的用户界面识别智能化测试方法的步骤。
[0016]相比现有技术，本专利技术的有益效果在于：本专利技术的用户界面识别智能化测试方法、装置、终端及存储介质，解决了现有技术的软件测试领域对于用户界面的测试方法依然不足，其基于用户界面的多维度特征，借鉴现有的成熟的图像处理技术，实现对用户界面的特征识别和提取，提高精确度，摆脱对于人工鉴别的依赖，并且自定义差分检测方法，满足复杂的用户界面的检测，最终根据相似度提供差分测试报告。
[0017]本专利技术的用户界面识别智能化测试方法首次将差分测试引入用户界面显示测试领域，首次将图像处理技术与差分测试结合，完成用户界面识别智能化测试，首次使得用户界面显示错误检测摆脱对人为判断的依赖，提高测试的客观性，从而达到提高准确度的目的。
附图说明
[0018]图1为本专利技术的用户界面识别智能化测试方法的实施流程图；图2为图1所示的用户界面特征提取模块的流程图；图3为图1所示的用户界面特征相似性计算模块流程图。
具体实施方式
[0019]下面，结合具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
[0020]图1是本专利技术的用户界面识别智能化测试方法的实施流程图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用户界面识别智能化测试方法，其特征在于，包括：获取应用软件的用户界面截图；获取差异性阈值；通过差分测试技术结合图像识别技术，对用户界面截图进行界面特征提取和界面相似性度量，通过界面相似性与差异性阈值的比较，判断同一款应用软件在不同设备上是否存在显示差异，将测试结果生成差分测试报告。2.根据权利要求1所述的用户界面识别智能化测试方法，其特征在于，所述界面特征提取包括如下步骤：对用户界面截图进行区块分割，获取区块集合；根据区块堆叠关系构建区块关联关系图；根据边缘检测获取所有区块中的控件；根据图像理解和意图识别技术识别控件意图。3.根据权利要求2所述的用户界面识别智能化测试方法，其特征在于，在对用户界面截图进行区块分割，获取区块集合的步骤中，具体包括：首先应用高斯滤波来平滑图像，去除部分噪声，然后寻找图像的强度梯度，应用非最大抑制技术消除边的误检，接着用双阈值来决定可能的边界，根据同一分区中的控件类型的相关性对分区进行分割，分割后得到的每一个分区中的控件是同一类型，而不同分区中的控件是不同类型。4.根据权利要求2所述的用户界面识别智能化测试方法，其特征在于，所述区块关联关系图中的点表示一个分区，边表示两个分区之间的关联关系。5.根据权利要求2所述的用户界面识别智能化测试方法，其特征在于，在根据边缘检测获取所有区块中的控件的步骤中，具体包括：采用图形边缘检测技术检测每个控件的边界，然后统计控件的种类和数量。6.根据权利要...
【专利技术属性】
技术研发人员：吴锐，郑铭涵，林静敏，郑奕玲，钟槟蔚，杨鹏，
申请(专利权)人：广州番禺职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。