一种网络模型训练方法、应用程序测试方法及装置制造方法及图纸

本发明专利技术实施例提供了一种网络模型训练方法、应用程序测试方法及装置，获取包含待测试应用程序的目标显示界面的待处理图像；将待处理图像输入至目标元素预测网络模型，得到目标显示界面中包含元素的第一区域的区域位置和第一区域包含的元素的元素类型；目标元素预测网络模型为基于包含样本应用程序的样本显示界面的样本图像、样本显示界面中包含元素的样本区域的区域位置和样本区域包含的元素的元素类型进行训练得到的；按照第一区域中的每一第二区域包含的元素的元素类型对应的测试方式，在目标显示界面中该第二区域的区域位置处，对该第二区域包含的元素进行测试，得到该第二区域包含的元素的测试结果，基于此，可以提高应用程序测试的效率。提高应用程序测试的效率。提高应用程序测试的效率。

【技术实现步骤摘要】
一种网络模型训练方法、应用程序测试方法及装置


[0001]本专利技术涉及计算机
，特别是涉及一种网络模型训练方法、应用程序测试方法及装置。

技术介绍

[0002]随着计算机技术的发展，APP(Application，应用程序)为用户提供的功能日益丰富，不同功能在应用程序的显示界面中对应不同的页面。在开发过程中，可以对应用程序提供的功能对应的页面进行测试，并根据测试结果进行相应的调整。
[0003]相关技术中，针对应用程序的每一页面，由人工标注该页面中的元素的位置和元素类型，该页面中的元素可以包括操作按钮、提示窗口等。相应的，在测试过程中，针对该页面中的每一元素，按照该元素的元素类型对应的测试方式，在该页面中该元素所在的位置处对该元素进行测试，得到对应的测试结果。
[0004]然而，由人工标注应用程序的页面中元素的位置和元素类型，需要较大的时间成本和人工成本，导致应用程序测试的效率较低。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种网络模型训练方法、应用程序测试方法及装置，以提高应用程序的测试效率。具体技术方案如下：
[0006]在本专利技术实施的第一方面，首先提供了一种网络模型训练方法，所述方法包括：
[0007]获取包含样本应用程序的样本显示界面的样本图像，所述样本显示界面中包含有元素的样本区域的区域位置，以及所述样本区域包含的元素的元素类型；
[0008]将所述样本图像输入至初始结构的元素预测网络模型，得到所述样本显示界面的样本预测结果，所述样本预测结果表示：所述样本显示界面中包含有元素的预测区域的区域位置，以及所述预测区域包含的元素的元素类型；
[0009]基于所述样本区域的区域位置、所述样本区域包含的元素的元素类型、所述预测区域的区域位置和所述预测区域包含的元素的元素类型，计算预设损失函数的函数值；其中，所述预设损失函数的函数值表示所述样本区域的区域位置与所述预测区域的区域位置之间的差异，以及所述样本区域包含的元素的元素类型与所述预测区域包含的元素的元素类型之间的差异；
[0010]基于所述预设损失函数的函数值，对初始结构的元素预测网络模型的模型参数进行调整，直至达到预设收敛条件，得到训练好的目标元素预测网络模型。
[0011]可选的，所述获取包含样本应用程序的样本显示界面的样本图像，包括：
[0012]获取所述样本应用程序安装于不同屏幕分辨率的设备时，包含所述样本应用程序的样本显示界面的图像，作为样本图像。
[0013]可选的，在所述基于所述预设损失函数的函数值，对初始结构的元素预测网络模型的模型参数进行调整，直至达到预设收敛条件，得到训练好的目标元素预测网络模型之
后，所述方法还包括：
[0014]获取包含待测试应用程序的目标显示界面的图像，作为待处理图像；
[0015]将所述待处理图像输入至所述目标元素预测网络模型，得到所述目标显示界面的目标预测结果；其中，所述目标预测结果表示：所述目标显示界面中包含有元素的第一区域的区域位置，以及所述第一区域包含的元素的元素类型；
[0016]针对每一第二区域，按照该第二区域包含的元素的元素类型对应的测试方式，在所述目标显示界面中该第二区域的区域位置处，对该第二区域包含的元素进行测试，得到该第二区域包含的元素的测试结果；其中，所述第二区域包含于所述第一区域。
[0017]可选的，在所述将所述待处理图像输入至所述目标元素预测网络模型，得到所述目标显示界面的目标预测结果之后，所述方法还包括：
[0018]如果所述目标显示界面的目标预测结果为错误结果，获取预先标注的所述目标显示界面中包含有元素的第三区域的区域位置，以及所述第三区域包含的元素的元素类型；
[0019]基于所述第一区域的区域位置、所述第三区域的区域位置、所述第一区域包含的元素的元素类型和所述第三区域包含的元素的元素类型，对所述目标元素预测网络模型的模型参数进行调整，以更新所述目标元素预测网络模型。
[0020]可选的，在所述将所述待处理图像输入至所述目标元素预测网络模型，得到所述目标显示界面的目标预测结果之后，所述方法还包括：
[0021]基于目标图像和所述目标预测结果，对文本识别网络模型进行训练，其中，所述目标图像为：按照所述目标预测结果在所述待处理图像中进行标注得到的；
[0022]和/或，
[0023]基于所述待处理图像和所述待处理图像包含的子图像，对图像切割网络模型进行训练；其中，所述待处理图像包含的子图像为：基于所述第一区域的区域位置得到的；
[0024]和/或，
[0025]基于所述待处理图像和所述第一区域所属的区域组，对元素布局网络模型进行训练；其中，所述第一区域所属的区域组为：基于所述第一区域的区域位置，以及所述第一区域中包含的元素的元素类型确定的。
[0026]在本专利技术实施的第二方面，还提供了一种应用程序测试方法，所述方法包括：
[0027]获取包含待测试应用程序的目标显示界面的图像，作为待处理图像；
[0028]将所述待处理图像输入至目标元素预测网络模型，得到所述目标显示界面的目标预测结果；其中，所述目标预测结果表示：所述目标显示界面中包含有元素的第一区域的区域位置，以及所述第一区域包含的元素的元素类型；所述目标元素预测网络模型为：基于上述第一方面任一所述的网络模型训练方法得到的；
[0029]针对每一第二区域，按照该第二区域包含的元素的元素类型对应的测试方式，在所述目标显示界面中该第二区域的区域位置处，对该第二区域包含的元素进行测试，得到该第二区域包含的元素的测试结果；其中，所述第二区域包含于所述第一区域。
[0030]可选的，在所述针对每一第二区域，按照该第二区域包含的元素的元素类型对应的测试方式，在所述目标显示界面中该第二区域的区域位置处，对该第二区域包含的元素进行测试，得到该第二区域包含的元素的测试结果之前，所述方法还包括：
[0031]基于所述第一区域的区域位置和所述第一区域包含的元素的元素类型，确定每一
第一区域所属的区域组；
[0032]在接收到区域选择指令时，确定所述区域选择指令携带的区域组标识对应的区域组；
[0033]从确定出的区域组中，确定所述区域选择指令所指示的第二区域。
[0034]可选的，所述目标显示界面包含的元素包括以下至少一项：图片、文本、视频、操作按钮、提示窗口、对话框和滚动条。
[0035]在本专利技术实施的第三方面，还提供了一种网络模型训练装置，所述装置包括：
[0036]第一获取模块，用于获取包含样本应用程序的样本显示界面的样本图像，所述样本显示界面中包含有元素的样本区域的区域位置，以及所述样本区域包含的元素的元素类型；
[0037]第一预测模块，用于将所述样本图像输入至初始结构的元素预测网络模型，得到所述样本显示界面的样本预测结果，所述样本预测结果表示：所述样本显示界面中包含有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型训练方法，其特征在于，所述方法包括：获取包含样本应用程序的样本显示界面的样本图像，所述样本显示界面中包含有元素的样本区域的区域位置，以及所述样本区域包含的元素的元素类型；将所述样本图像输入至初始结构的元素预测网络模型，得到所述样本显示界面的样本预测结果，所述样本预测结果表示：所述样本显示界面中包含有元素的预测区域的区域位置，以及所述预测区域包含的元素的元素类型；基于所述样本区域的区域位置、所述样本区域包含的元素的元素类型、所述预测区域的区域位置和所述预测区域包含的元素的元素类型，计算预设损失函数的函数值；其中，所述预设损失函数的函数值表示所述样本区域的区域位置与所述预测区域的区域位置之间的差异，以及所述样本区域包含的元素的元素类型与所述预测区域包含的元素的元素类型之间的差异；基于所述预设损失函数的函数值，对初始结构的元素预测网络模型的模型参数进行调整，直至达到预设收敛条件，得到训练好的目标元素预测网络模型。2.根据权利要求1所述的方法，其特征在于，所述获取包含样本应用程序的样本显示界面的样本图像，包括：获取所述样本应用程序安装于不同屏幕分辨率的设备时，包含所述样本应用程序的样本显示界面的图像，作为样本图像。3.根据权利要求1所述的方法，其特征在于，在所述基于所述预设损失函数的函数值，对初始结构的元素预测网络模型的模型参数进行调整，直至达到预设收敛条件，得到训练好的目标元素预测网络模型之后，所述方法还包括：获取包含待测试应用程序的目标显示界面的图像，作为待处理图像；将所述待处理图像输入至所述目标元素预测网络模型，得到所述目标显示界面的目标预测结果；其中，所述目标预测结果表示：所述目标显示界面中包含有元素的第一区域的区域位置，以及所述第一区域包含的元素的元素类型；针对每一第二区域，按照该第二区域包含的元素的元素类型对应的测试方式，在所述目标显示界面中该第二区域的区域位置处，对该第二区域包含的元素进行测试，得到该第二区域包含的元素的测试结果；其中，所述第二区域包含于所述第一区域。4.根据权利要求3所述方法，其特征在于，在所述将所述待处理图像输入至所述目标元素预测网络模型，得到所述目标显示界面的目标预测结果之后，所述方法还包括：如果所述目标显示界面的目标预测结果为错误结果，获取预先标注的所述目标显示界面中包含有元素的第三区域的区域位置，以及所述第三区域包含的元素的元素类型；基于所述第一区域的区域位置、所述第三区域的区域位置、所述第一区域包含的元素的元素类型和所述第三区域包含的元素的元素类型，对所述目标元素预测网络模型的模型参数进行调整，以更新所述目标元素预测网络模型。5.根据权利要求3所述的方法，其特征在于，在所述将所述待处理图像输入至所述目标元素预测网络模型，得到所述目标显示界面的目标预测结果之后，所述方法还包括：基于目标图像和所述目标预测结果，对文本识别网络模型进行训练，其中，所述目标图像为：按照所述目标预测结果在所述待处理图像中进行标注得到的；和/或，
基于所述待处理图像和所述待处理图像包含的子图像，对图像切割网络模型进行训练；其中，所述待处理图像包含的子图像为：基于所述第一区域的区域位置得到的；和/或，基于所述待处理图像和所述第一区域所属的区域组，对元素布局网络模型进行训练；其中，所述第一区域所属的区域组为：基于所述第一区域的区域位置，以及所述第一区域中包含的元素的元素类型确定的。6.一种应用程序测试方法，其特征在于，所述方法包括：获取包含待测试应用程序的目标显示界面的图像，作为待处理图像；将所述待处理图像输入至目标元素预测网络模型，得到所述目标显示界面的目标预测结果；其中，所述目标预测结果表示：所述目标显示界面中包...

【专利技术属性】
技术研发人员：奚燕，余华欢，孙健，曹菁，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：