控件测试方法及装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种控件测试方法及装置、设备及存储介质。所述方法包括：获取待测试控件页面的页面图像的多个页面分块图像；根据各页面分块图像的语义识别结果，确定待测试控件页面对应的控件信息；根据控件信息，对待测试控件页面进行控件测试。本发明专利技术实施例的技术方案解决了现有技术中需要开发不同的程序，以获取不同场景下的页面的控件信息，增加了应用程序的开发成本，浪费大量的人力物力的技术缺陷，实现了使用相同的方式获取不同场景下页面的控件信息，简化了应用程序的测试过程，同时降低了应用程序的开发成本，节省了大量的人力物力。

【技术实现步骤摘要】
控件测试方法及装置、设备及存储介质
本专利技术实施例涉及应用程度的控件测试技术，尤其涉及一种控件测试方法及装置、设备及存储介质。
技术介绍
随着智能移动终端的功能不断发展，配套的应用程序层出不穷。为了使应用程序在使用的过程中具有良好的性能，应用程序的开发人员会在将应用程序提供给用户使用之前，对应用程序中各UI(UserInterface，用户界面)中的控件进行遍历测试。现有技术中，针对不同的UI遍历场景，需要开发不同的程序获取该场景下各UI页面的控件树，以进行控件测试。具体来说，在对Native场景、WebView场景以及小程序场景进行UI遍历时，就需要开发三种不同的程序以获取对应场景下的UI页面的控件树。在对AR(AugmentedReality，增强现实技术)场景以及游戏场景进行UI遍历时，就需要针对不同的引擎(例如Cocoas、Unity3D等)适配不同的程序，以获取该引擎对应画面的控件树。专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：UI遍历测试程序的开发成本较高，浪费了大量的人力、物力。且对于同时包含了Native场景、WebView场景以及小程序场景等多种场景的超级应用程序来说，进行UI遍历测试的过程较为繁琐。
技术实现思路
本专利技术实施例提供了一种控件测试方法及装置、设备及存储介质，以实现使用相同的方式获取不同场景下页面的控件信息，简化了应用程序的测试过程，同时降低了应用程序的开发成本，节省了大量的人力物力。第一方面，本专利技术实施例提供了一种控件测试方法，包括：获取待测试控件页面的页面图像的多个页面分块图像；根据各所述页面分块图像的语义识别结果，确定所述待测试控件页面对应的控件信息；根据所述控件信息，对所述待测试控件页面进行控件测试。第二方面，本专利技术实施例提供了一种控件测试装置，包括：页面分块图像获取模块，用于获取待测试控件页面的页面图像的多个页面分块图像；控件信息确定模块，用于根据各所述页面分块图像的语义识别结果，确定所述待测试控件页面对应的控件信息；控件测试模块，用于根据所述控件信息，对所述待测试控件页面进行控件测试。第三方面，本专利技术实施例提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所述的控件测试方法。第四方面，本专利技术实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术任意实施例所述的控件测试方法。本专利技术实施例提供了一种控件测试方法及装置、设备及存储介质，通过根据待测试控件页面图像的多个页面分块图像的语义识别结果，确定该待测试控件页面对应的控件信息，解决了现有技术中需要开发不同的程序，以获取不同场景下的页面的控件信息，增加了应用程序的开发成本，浪费大量的人力物力的技术缺陷，实现了使用相同的方式获取不同场景下页面的控件信息，简化了应用程序的测试过程，同时降低了应用程序的开发成本，节省了大量的人力物力。附图说明图1是本专利技术实施例一提供的一种控件测试方法的流程图；图2是本专利技术实施例二提供的一种控件测试方法的流程图；图3是本专利技术实施例三提供的一种控件测试方法的流程图；图4是本专利技术实施例四提供的一种控件测试装置的结构图；图5是本专利技术实施例五提供的一种设备的结构图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种控件测试方法的流程图，本实施例可适用于对应用程序中的各UI界面进行控件测试的情况，该方法可以由控件测试装置来执行，该装置可以通过软件和/或硬件实现，该装置可集成在服务器等设备中。如图1所示，该方法具体包括如下步骤：S110、获取待测试控件页面的页面图像的多个页面分块图像。在本实施例中，待测试控件页面具体可以是包括有一个或多个控件的人机交互界面，例如应用程序的UI界面等。页面分块图像具体是指包括有待测试控件页面中的不同页面内容的图像。具体来说，页面分块图像具体可以是通过对待测试控件页面的页面图像进行划分、切割等操作获取，还可以是通过对待测试控件页面的页面图像进行滑窗操作获取。进一步地，由于在本实施例中，待测试控件页面的控件信息是根据页面分块图像的语义识别结果所确定，因此，页面分块图像的获取方法应尽量使所获取的页面分块图像中包括有具体的图像内容。也就是说，应尽量避免出现仅包括有待测试控件页面的背景色的页面分块图像。S120、根据各页面分块图像的语义识别结果，确定待测试控件页面对应的控件信息。在本实施例中，在获取待测试控件页面的页面图像的多个页面分块图像之后，会对各页面分块图像进行语义识别操作，得到各页面分块图像的语义识别结果。可以理解的是，不同的待测试控件页面中的控件的位置、控件图标的尺寸、是不尽相同的。如果对各待测试控件页面分别设置不同的页面分块图像的获取规则，会使得控件测试的过程过于繁琐；如果对各待测试控件页面使用相同的页面分块图像的获取规则，那么可能会使得一幅页面分块图像中包括有多个控件的图像，或仅包括一个控件的不完整图像。因此，在获取页面分块图像之后，还需要依据页面分块图像中的内容，确定页面分块图像对应的控件信息，进而确定待测试控件页面对应的控件信息。因此，在本实施例中，通过使用各页面分块图像的语义识别结果，来确定各页面分块图像对应的控件信息。具体可以是：首先，根据页面分块图像的语义识别结果，确定该页面分块图像中所包括的控件图像的数量。示例性地，如果页面分块图像中包括有语义不相关的三段语句，则确定该页面分块图像中包括有3个控件的图像，然后，确定这三段语句的语义是否完整。将语义完整的语句对应的图像信息作为一条控件信息。将语义不完整的语句，与相邻的页面分块图像的语义识别结果比对，如果可以与相邻的页面分块图像中的语句组成一条完整的语句，则根据该语义不完整的语句的图像信息，以及与其相邻的页面分块图像的图像信息，确定一条控件信息；如果不能与相邻的页面分块图像中的语句组成一条完整的语句，则经该语义不完整的语句对应的图像信息作为一条控件信息。在本实施例中，控件信息具体可以包括控件在待测试控件页面中对应的图像范围、控件对应的图像内容等。S130、根据控件信息，对待测试控件页面进行控件测试。在本实施例中，在获取待测试控件页面对应的控件信息之后，会根据控件信息对待测试控件页面进行控件测试。具体可以是，根据控件信息确定控件操作方式(例如点击、填写文字后点击等)，以及图像操作范围，然后，在待测试控件页面中的图像操作范围内执行对应的控件操作，进而实现对控件的测试。本专利技术实施例提供了一种控件测试方法，通过根据待测试控件页面图像的多个页面分块图像的语义识别结果，确定该待测试控件页面对应的控件信息，解决了现有技术中需要开发不同的程序，以获取不同场景下的页面的控件信息，增加了应用程序的开发成本，浪费大量的人力物力的技术缺陷，实现了使用相同的方式获取不同场景下页面的控件信息，简化了应用程序的测试过程，同时降低了应用程序的开发本文档来自技高网...

【技术保护点】
1.一种控件测试方法，其特征在于，包括：获取待测试控件页面的页面图像的多个页面分块图像；根据各所述页面分块图像的语义识别结果，确定所述待测试控件页面对应的控件信息；根据所述控件信息，对所述待测试控件页面进行控件测试。

【技术特征摘要】
1.一种控件测试方法，其特征在于，包括：获取待测试控件页面的页面图像的多个页面分块图像；根据各所述页面分块图像的语义识别结果，确定所述待测试控件页面对应的控件信息；根据所述控件信息，对所述待测试控件页面进行控件测试。2.根据权利要求1所述的方法，其特征在于，根据各所述页面分块图像的语义识别结果，确定所述待测试控件页面对应的控件信息，包括：根据各所述页面分块图像的语义识别结果，对语义相关的所述页面分块图像进行聚合，以形成新的页面分块图像；根据各所述页面分块图像，确定所述待测试控件页面的控件信息。3.根据权利要求2所述的方法，其特征在于，根据各所述页面分块图像的语义识别结果，对语义相关的所述页面分块图像进行聚合，以形成新的页面分块图像，具体包括：根据各所述页面分块图像的语义识别结果，以及所述页面分块图像间的相邻图像区域的区域特征，对语义相关的页面分块图像进行聚合，以形成新的页面分块图像。4.根据权利要求3所述的方法，其特征在于，根据各所述页面分块图像的语义识别结果，以及所述页面分块图像间的相邻图像区域的区域特征，对语义相关的页面分块图像进行聚合，以形成新的页面分块图像，包括：根据各所述页面分块图像的语义识别结果，将语义相关度大于设定阈值的相邻页面分块图像确定为一个待聚合图像组；如果待聚合图像组中的页面分块图像的相邻区域的主颜色相同，则将该待聚合图像组中的页面分块图像进行聚合，以形成新的页面分块图像。5.根据权利要求2所述的方法，其特征在于，根据各所述页面分块图像，确...

【专利技术属性】
技术研发人员：汪世涛，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11