图标识别方法和装置制造方法及图纸

本发明专利技术公开了一种图标识别方法，方法包括：获取待识别的第一图标；基于预训练的图标识别模型，提取所述第一图标的第一特征向量；查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配；若否，则确定所述第一图标的第一标注信息，所述第一标注信息用于描述所述第一图标的图标类型；基于所述第一图标和所述第一图标的图标类型，优化所述图标识别模型，以供基于优化完成的图标识别模型，识别第二图标。采用本发明专利技术实施例，能够提高图标识别的灵活性。

Icon Recognition Method and Device

The invention discloses an icon recognition method, which includes: acquiring the first icon to be recognized; extracting the first feature vector of the first icon based on the pre-trained icon recognition model; querying whether there is a target feature vector in the pre-established database, and matching the target feature vector with the first feature vector of the first icon; and determining whether or not the target feature vector matches the first feature vector of the first icon. The first annotation information of an icon is used to describe the icon type of the first icon; based on the icon type of the first icon and the first icon, the icon recognition model is optimized for identifying the second icon based on the optimized icon recognition model. An embodiment of the present invention can improve the flexibility of icon recognition.

【技术实现步骤摘要】
图标识别方法和装置
本专利技术涉及终端领域，尤其涉及一种图标识别方法和装置。
技术介绍
随着通信技术的发展，移动终端越来越普及，移动终端上的应用程序也越来越丰富多彩，应用程序的图标也更加多样化，一般采用基于机器学习算法的图标识别模型来识别应用程序的图标。然而由于图标的多样性，在模型训练时，无法预先将所有样式的图标收集到模型的数据库中，因此在图标识别过程中，会遇到没有收集到数据库中的图标，导致图标无法被识别。因此，需要一种更加可靠的图标识别方案。
技术实现思路
本专利技术实施例提供一种图标识别方法，以解决图标无法被识别的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，提供了一种图标识别方法，该方法包括：获取待识别的第一图标；基于预训练的图标识别模型，提取所述第一图标的第一特征向量；查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配；若否，则确定所述第一图标的第一标注信息，所述第一标注信息用于描述所述第一图标的图标类型；基于所述第一图标和所述第一图标的图标类型，优化所述图标识别模型，以供基于优化完成的图标识别模型，识别第二图标。第二方面，提供了一种图标识别装置，该装置包括：获取模块，用于获取待识别的第一图标；提取模块，用于基于预训练的图标识别模型，提取所述第一图标的第一特征向量；查询模块，用于查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配；第一确定模块，用于若否，则确定所述第一图标的第一标注信息，所述第一标注信息用于描述所述第一图标的图标类型；优化模块，用于基于所述第一图标和所述第一图标的图标类型，优化所述图标识别模型，以供基于优化完成的图标识别模型，识别第二图标。第三方面，提供了一种终端设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。在本专利技术实施例中，通过获取待识别的第一图标；基于预训练的图标识别模型，提取所述第一图标的第一特征向量；查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配；若否，则确定所述第一图标的第一标注信息，所述第一标注信息用于描述所述第一图标的图标类型；基于所述第一图标和所述第一图标的图标类型，优化所述图标识别模型，以供基于优化完成的图标识别模型，识别第二图标，能够提高图标识别模型的更新优化速度，提高了图标识别的灵活性。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术的一个实施例提供的一种应用场景的示意图；图2是本专利技术的一个实施例提供的一种图标识别方法的流程示意图；图3是本专利技术的一个实施例提供的一种通过VGG图标识别模型进行图标识别的示意图；图4是本专利技术的另一个实施例提供的一种图标识别方法的流程示意图；图5是本专利技术的一个实施例提供的一种图标识别装置的结构示意图；图6是本专利技术的一个实施例提供的一种终端设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面参见图1对本专利技术的应用场景进行示例性说明。本应用场景中包括：测试平台和承载测试对象的终端设备102，终端设备102上安装有应用程序104，应用程序104的一用户界面上显示有第一图标106和第二图标108，其中：在自动化测试过程中，测试平台获取该用户界面的界面图像，并采用图标识别模块对其中的图标进行识别，若识别出其中的第一图标106的图标类型，则对第一图标106执行相应的测试步骤；若未识别出其中的第一图标106，则采用人为或机器标注的方式，标注第一图标106的图标类型，并对第一图标执行相关的测试步骤。进一步地，在得到对第一图标标注的图标类型时，测试平台可基于第一图标及其图标类型，优化该图标识别模型，并基于优化完成的图标识别模型识别下一个图标(例如：第二图标108)。由此，可在自动化测试的过程中，不断识别图标并不断优化图标识别模块，达到持续优化图标识别准确度的目的。其中，自动化测试一般是指软件测试的自动化，软件测试就是在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件；图标类型是可以是返回、搜索和关闭等。以下结合附图，详细说明本申请各实施例提供的技术方案。图2是本专利技术的一个实施例提供的一种图标识别方法的流程示意图，该方法可由图1对应的应用场景中的测试平台基于图标识别模型执行，参见图2，该方法具体可以包括如下步骤：步骤202、获取待识别的第一图标。其中，第一图标可以是在自动化测试过程中待识别的图标，可以是终端设备上显示的某个应用程序的图标，例如：相机图标、QQ图标，也可以是应用程序的某个用户界面上显示的图标，例如：相机浏览界面上的搜索图标、返回图标和关闭图标等。步骤204、基于预训练的图标识别模型，提取所述第一图标的第一特征向量。其中，图标识别模型可以是VGG(VisualGeometryGroupNetwork，视觉几何群网络)图标识别模型，还可以是CNN(ConvolutionalNeuralNetworks，卷积神经网络)图标识别模型或RNN(RecurrentNeuralNetwork，循环神经网络)图标识别模型等图标识别模型；预训练的图标识别模型为经过预先收集预设数量的图标和相对应的图标类型训练后得到的图标识别模型；图标识别模型包括多层网络，第一特征向量为图标识别模型的最后一层网络对应的向量。图3为一种通过VGG图标识别模型进行图标识别的示意图，参见图3所示，获取待识别图标“<”，经过VGG模型的多层网络后，可以得到各个图标类型的分类概率，例如待识别图标为返回(Back)图标的概率为89％，待识别图标为关闭(Close)图标的概率为8％，待识别图标为搜索(Search)图标的概率为1％，待识别图标为其他(Other)图标的概率为0.1％，则待识别图标为返回(Back)图标；提取VGG图标识别模型的最后一层网络对应的向量，并将该向量作为图标“<”的特征向量。基于此，提高了图标识别的准确度，使得图标识别更加便捷。步骤206、查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配。需要说明的是，步骤206的一种实现方式可以为：步骤S1、确定所述数据库中的各个特征向量与所述第一特征向量的相似度；步骤S1的实现方式具体可以示例为：采用相似度算法确定数据库中的各个特征向量与所述第一特征向量的相似度，相似度算法可以是最小二乘法。步骤S2、根据所述相似度，确定所述数据库中是否存在目标特征向量。基于此，能够使得目标特征向量是否存在本文档来自技高网...

【技术保护点】
1.一种图标识别方法，其特征在于，包括：获取待识别的第一图标；基于预训练的图标识别模型，提取所述第一图标的第一特征向量；查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配；若否，则确定所述第一图标的第一标注信息，所述第一标注信息用于描述所述第一图标的图标类型；基于所述第一图标和所述第一图标的图标类型，优化所述图标识别模型，以供基于优化完成的图标识别模型，识别第二图标。

【技术特征摘要】
1.一种图标识别方法，其特征在于，包括：获取待识别的第一图标；基于预训练的图标识别模型，提取所述第一图标的第一特征向量；查询预建立的数据库中是否存在目标特征向量，所述目标特征向量与所述第一图标的第一特征向量相匹配；若否，则确定所述第一图标的第一标注信息，所述第一标注信息用于描述所述第一图标的图标类型；基于所述第一图标和所述第一图标的图标类型，优化所述图标识别模型，以供基于优化完成的图标识别模型，识别第二图标。2.根据权利要求1所述的方法，其特征在于，所述查询预建立的数据库中是否存在目标特征向量，包括：确定所述数据库中的各个特征向量与所述第一特征向量的相似度；根据所述相似度，确定所述数据库中是否存在目标特征向量。3.根据权利要求2所述的方法，其特征在于，根据所述相似度，确定所述数据库中是否存在目标特征向量，包括：若存在相似度大于或等于预设相似度阈值的特征向量，则确定所述数据库中存在目标特征向量；否则，确定不存在目标特征向量；其中，目标特征向量为相似度大于或等于预设相似度阈值的特征向量。4.根据权利要求3所述的方法，其特征在于，所述数据库中存有特征向量和图标类型之间的对应关系；所述方法还包括：确定目标特征向量中相似度最高的特征向量对应的图标类型，并将该图标类型作为所述第一图标的图标类型。5.根据权利要求1所述的方法，其特征在于，还包括：将所述第一特征向量和所述第一图标的图标类型，存入所述数据库中，以供更新所述数据库。6.根据权利要求5所述的方法，其特征在于，还包括：基于...

【专利技术属性】
技术研发人员：戴亦斌，贾志凯，
申请(专利权)人：广州云测信息技术有限公司，
类型：发明
国别省市：广东,44