UI资源缺失区域识别方法、装置、设备及存储介质制造方法及图纸

本公开实施例提供一种UI资源缺失区域识别方法、装置、设备及存储介质，首先获取待处理图像中灰度值大于灰度阈值的区域为目标区域；再基于图像识别模型，识别所述目标区域是否为UI资源缺失区域。相比人工识别，本公开实施例的自动化程度更高，可以提升识别游戏界面中UI资源缺失区域的效率和准确性，从而避免由于游戏界面中出现UI资源缺失而降低用户体验的问题。题。题。

【技术实现步骤摘要】
UI资源缺失区域识别方法、装置、设备及存储介质


[0001]本公开实施例涉及图像处理
，尤其涉及一种UI资源缺失区域识别方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机科学技术的日益发展，应用程序中用户界面(User Interface，UI)的流畅性和完整性逐渐成为评价其质量的重要标准，例如，在基于Unity的游戏应用中，游戏界面通常会包含多且复杂的UI资源，若出现某一个UI资源缺失的情况，将会使得游戏画面显示错误，从而严重影响用户的游戏体验，导致用户流失。因此，对基于Unity的游戏界面的UI资源缺失区域识别显得尤为重要。
[0003]相关技术中，通常依赖人工经验来检测游戏界面的图像中是否有异常区域，从而识别界面中是否出现UI资源缺失的情况，但此方法的效率较低，且容易遗漏。

技术实现思路

[0004]本公开实施例提供一种UI资源缺失区域识别方法、装置、设备及存储介质，以克服依赖人工经验识别基于Unity的游戏界面中UI资源缺失区域时，识别效率低，且容易遗漏的问题。
[0005]第一方面，本公开实施例提供一种UI资源缺失区域识别方法，包括：获取待处理图像中灰度值大于灰度阈值的区域为目标区域，待处理图像为基于Unity的游戏的界面图像；基于图像识别模型，识别目标区域是否为UI资源缺失区域，图像识别模型为基于UI资源缺失区域的样本图像对初始图像识别模型进行训练得到的，初始图像识别模型为支持向量机模型。
[0006]第二方面，本公开实施例提供一种图像识别模型的训练方法，包括：获取样本图像中灰度值大于灰度阈值的区域为样本区域，样本图像包括UI资源缺失的样本图像；根据样本区域，对初始图像识别模型进行训练，得到图像识别模型，图像识别模型用于识别基于Unity的游戏界面图像中的区域是否为UI资源缺失区域，初始图像识别模型为支持向量机模型。
[0007]第三方面，本公开实施例提供一种UI资源缺失区域识别装置，包括：获取模块，用于获取待处理图像中灰度值大于灰度阈值的区域为目标区域，待处理图像为基于Unity的游戏的界面图像；识别模块，用于基于图像识别模型，识别目标区域是否为UI资源缺失区域，图像识别模型为基于UI资源缺失区域的样本图像对初始图像识别模型进行训练得到的，初始图像识别模型为支持向量机模型。
[0008]第四方面，本公开实施例提供一种图像识别装置的训练装置，包括：获取模块，用于获取样本图像中灰度值大于灰度阈值的区域为样本区域，样本图像包括UI资源缺失的样本图像；训练模块，用于根据样本区域，对初始图像识别模型进行训练，得到图像识别模型，图像识别模型用于识别基于Unity的游戏界面图像中的区域是否为UI资源缺失区域，初始
图像识别模型为支持向量机模型。
[0009]第五方面，本公开实施例提供一种电子设备，该电子设备包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面的UI资源缺失区域识别方法，和/或，执行如第二方面的图像识别模型的训练方法。
[0010]第六方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面的UI资源缺失区域识别方法，和/或，实现如第二方面的图像识别模型的训练方法。
[0011]第七方面，本公开实施例提供一种计算机程序产品，计算机程序产品包含计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面的UI资源缺失区域识别方法，和/或，实现如第二方面的图像识别模型的训练方法。
[0012]本公开实施例提供的UI资源缺失区域识别方法、装置、设备及存储介质，首先获取待处理图像中灰度值大于灰度阈值的区域为目标区域，待处理图像为基于Unity的游戏的界面图像；再基于图像识别模型，识别目标区域是否为UI资源缺失区域。相比人工识别，本公开实施例的自动化程度更高，可以提升识别游戏界面中UI资源缺失区域的效率和准确性，从而避免由于游戏界面中出现UI资源缺失而降低用户体验的问题。
附图说明
[0013]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本公开实施例提供的UI资源缺失区域识别过程的应用场景示意图；
[0015]图2为本公开实施例提供的UI资源缺失区域识别方法的流程示意图一；
[0016]图3为本公开实施例提供的目标区域确定过程的示意图一；
[0017]图4为本公开实施例提供的UI资源缺失区域识别方法的流程示意图二；
[0018]图5为本公开实施例提供的UI资源缺失区域识别方法的流程示意图三；
[0019]图6为本公开实施例提供的目标区域确定过程的示意图二；
[0020]图7为本公开实施例提供的目标区域确定过程的示意图四；
[0021]图8为本公开实施例提供的目标区域确定过程的示意图五；
[0022]图9为本公开实施例提供的目标区域的近似矩形的获取过程示意图；
[0023]图10为本公开实施例提供的目标区域确定过程的示意图六；
[0024]图11为本公开实施例提供的图像识别模型的训练方法的流程示意图一；
[0025]图12为本公开实施例提供的图像识别模型的训练方法的流程示意图二；
[0026]图13为本公开实施例提供的UI资源缺失区域识别装置的结构示意图；
[0027]图14为本公开实施例提供的图像识别模型的训练装置的结构示意图；
[0028]图15为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0029]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0030]首先，对本公开实施例中的相关术语进行解释：
[0031]拟合多边形函数(approxPolyDP)：是opencv中利用来对指定的点集进行逼近的函数，主要用于把一个连续光滑曲线折线化，对图像轮廓点进行多边形拟合。
[0032]轮廓判别函数(findContour)：用于实现对于数字图像的轮廓查找，将查找到的点通过点向量的形式保存在了contour(为findcontour的第二个函数参数)中，然后通过drawcontour将查找到的轮廓描出来。
[0033]支持向量机(support vector machines,SVM)：一种二分类模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种UI资源缺失区域识别方法，其特征在于，包括：获取待处理图像中灰度值大于灰度阈值的区域为目标区域，所述待处理图像为基于Unity的游戏的界面图像；基于图像识别模型，识别所述目标区域是否为UI资源缺失区域，所述图像识别模型为基于UI资源缺失区域的样本图像对初始图像识别模型进行训练得到的，所述初始图像识别模型为支持向量机模型。2.根据权利要求1所述的UI资源缺失区域识别方法，其特征在于，所述基于图像识别模型，识别所述目标区域是否为UI资源缺失区域，包括：获取所述目标区域对应的颜色直方图；对所述颜色直方图进行归一化处理，获得目标颜色直方图；将所述目标颜色直方图作为所述图像识别模型的输入，输出所述目标区域是否为UI资源缺失区域的识别结果。3.根据权利要求1或2所述的UI资源缺失区域识别方法，其特征在于，在所述基于图像识别模型，识别所述目标区域是否为UI资源缺失区域之前，还包括：过滤所述目标区域中面积小于第一预设面积的区域。4.根据权利要求1或2所述的UI资源缺失区域识别方法，其特征在于，在所述基于图像识别模型，识别所述目标区域是否为UI资源缺失区域之前，还包括：获取所述目标区域的轮廓对应的最小外接矩形；过滤面积小于第二预设面积的最小矩形框对应的目标区域。5.根据权利要求1或2所述的UI资源缺失区域识别方法，其特征在于，在所述基于图像识别模型，识别所述目标区域是否为UI资源缺失区域之前，还包括：获取所述目标区域的近似矩形；过滤满足如下至少一项的近似矩形对应的目标区域：长宽比大于预设长宽比的近似矩形；面积小于第三预设面积的近似矩形；面积大于第四预设面积的近似矩形，其中，所述第三预设面积小于所述第四预设面积。6.根据权利要求1或2所述的UI资源缺失区域识别方法，其特征在于，在基于图像识别模型，识别所述目标区域是否为UI资源缺失区域之前，还包括：获取所述目标区域的近似矩形；获取所述近似矩形的像素均值；过滤像素均值小于预设像素均值的近似矩形对应的目标区域。7.一种图像识别模型的训练方法，其特征在于，包括：获取样本图像中灰度值大于灰度阈值的区域为样本区域，所述样本图像包括UI资源缺失的样本图像；根据所述样本区域，对初始图像识别模型进行训练，得到所述图像识别模型，所述图像识别模型用于识别基于Unity的游戏界面图像中的区域是否为UI资...

【专利技术属性】
技术研发人员：戚嘉懿，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：