一种控件识别的方法、相关装置、设备及存储介质制造方法及图纸

本申请公开了一种基于人工智能的控件识别方法、相关装置、设备及存储介质，包括：获取待识别图像；从待识别图像中获取原始控件图像；对原始控件图像进行缩放处理，得到控件图像集合；将控件图像集合中的每个控件图像与控件模板图像进行匹配，得到N个置信度分值；根据N个置信度分值确定目标控件图像；若目标控件图像所对应的置信度分值大于或等于置信度阈值，且，原始控件图像满足控件图像输出条件，则根据原始控件图像生成控件识别结果。本申请不但避免了预先训练深度学习模型的过程，节省训练成本，而且能够削弱模板匹配算法对尺寸的敏感度，从而有效地提升识别准确率。

【技术实现步骤摘要】
一种控件识别的方法、相关装置、设备及存储介质
本申请涉及计算机视觉
，尤其涉一种控件识别的方法、相关装置、设备及存储介质。
技术介绍
计算机视觉(ComputerVision，CV)技术在现实世界的应用相对比较成功，如日常生活中的人脸识别、车牌识别、指纹比对、电子稳像以及车辆跟踪等。如今，CV技术也广泛地应用于游戏测试场景，比如，在游戏场景中对游戏控件的位置和类型进行检测。目前，在视频理解平台中可以实现对人脸、文本和关键物体进行识别。具体地，将视频输入至视频理解平台，通过视频理解平台进行智能识别，由此输出识别结果，例如，识别结果包括“交警服”，“交警服”在视频中出现的位置以及匹配相似度等。然而，现有方案中往往采用深度学习算法，需要预先标注大量的图像来进行训练，造成训练成本较高。如果待识别对象是未经过训练的，那么基于深度学习的识别方法可能会识别出不准确的结果，导致识别准确度较低。
技术实现思路
本申请实施例提供了一种控件识别的方法、相关装置、设备及存储介质，采用模板匹配算法即可实现对控件图像的匹配，由此避免了预先训练深度学习模型的过程，达到节省训练成本的目的。此外，本申请将原始控件图像缩放为多个尺度的控件图像后进行匹配，还能够削弱模板匹配算法对尺寸的敏感度，从而有效地提升识别准确率。有鉴于此，本申请一方面提供一种控件识别的方法，包括：获取待识别图像；从待识别图像中获取原始控件图像，其中，原始控件图像为原始尺寸大小；对原始控件图像进行缩放处理，得到控件图像集合，其中，控件图像集合包括N个控件图像，N个控件图像中的每个控件图像对应一个尺寸，且N个控件图像中的每个控件图像所对应的尺寸不相等，N为大于1的整数；将控件图像集合中的每个控件图像与控件模板图像进行匹配，得到N个置信度分值，其中，N个置信度分值中的每个置信度分值与每个控件图像具有一一对应的关系；根据N个置信度分值，从控件图像集合中确定目标控件图像，其中，目标控件图像所对应的置信度分值为N个置信度分值中的最大值；若目标控件图像所对应的置信度分值大于或等于置信度阈值，且，原始控件图像满足控件图像输出条件，则根据原始控件图像生成控件识别结果，其中，控件识别结果包括原始控件图像在待识别图像中的位置信息。本申请另一方面提供一种控件识别装置，包括：获取模块，用于获取待识别图像；获取模块，还用于从待识别图像中获取原始控件图像，其中，原始控件图像为原始尺寸大小；处理模块，用于对原始控件图像进行缩放处理，得到控件图像集合，其中，控件图像集合包括N个控件图像，N个控件图像中的每个控件图像对应一个尺寸，且N个控件图像中的每个控件图像所对应的尺寸不相等，N为大于1的整数；匹配模块，用于将控件图像集合中的每个控件图像与控件模板图像进行匹配，得到N个置信度分值，其中，N个置信度分值中的每个置信度分值与每个控件图像具有一一对应的关系；确定模块，用于根据N个置信度分值，从控件图像集合中确定目标控件图像，其中，目标控件图像所对应的置信度分值为N个置信度分值中的最大值；生成模块，用于若目标控件图像所对应的置信度分值大于或等于置信度阈值，且，原始控件图像满足控件图像输出条件，则根据原始控件图像生成控件识别结果，其中，控件识别结果包括原始控件图像在待识别图像中的位置信息。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，匹配模块，具体用于启动第一进程和第二进程，其中，第一进程和第二进程均属于N个进程；当通过第一进程对第一控件图像与控件模板图像进行匹配时，通过第二进程对第二控件图像与控件模板图像进行匹配，其中，第一控件图像与第二控件图像均属于控件图像集合；根据控件图像集合中每个控件图像与控件模板图像的匹配结果，获取N个置信度分值，其中，N个置信度分值至少包括第一控件图像所对应的置信度分值，以及第二控件图像所对应的置信度分值。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，获取模块，还用于获取待识别图像之后，根据待识别图像获取概率图以及阈值图；获取模块，还用于根据所述概率图以及所述阈值图获取二值化图像；获取模块，还用于根据二值化图像获取检测结果，其中，所述检测结果包括文本区域；获取模块，还用于基于文本区域，通过文本识别模型获取文本识别结果。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，确定模块，还用于基于文本区域，通过文本识别模型获取文本识别结果之后，若文本识别结果与控件模板图像所对应的文本一致，则确定原始控件图像满足控件图像输出条件；确定模块，还用于若文本识别结果与控件模板图像所对应的文本不一致，则确定原始控件图像不满足控件图像输出条件，并滤除原始控件图像。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，获取模块，还用于从待识别图像中获取P个控件图像，其中，P为大于或等于1的整数，P个控件图像包括原始控件图像；确定模块，还用于根据P个控件图像确定待识别图像所对应的目标场景；确定模块，还用于若原始控件图像与目标场景匹配成功，则确定原始控件图像满足控件图像输出条件；确定模块，还用于若原始控件图像与目标场景匹配失败，则确定原始控件图像不满足控件图像输出条件，并滤除原始控件图像。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，生成模块，还用于根据原始控件图像生成第一待处理控件图像，其中，第一待处理控件图像属于色调亮度HSV图像，HSV图像包括亮度通道；获取模块，还用于根据第一待处理控件图像，获取亮度通道所对应的目标亮度值；确定模块，还用于若目标亮度值大于或等于亮度值阈值，则确定原始控件图像满足控件图像输出条件；确定模块，还用于若目标亮度值小于亮度值阈值，则确定原始控件图像不满足控件图像输出条件，并滤除原始控件图像。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，确定模块，还用于根据原始控件图像以及控件模板图像确定颜色直方图相似度；确定模块，还用于根据原始控件图像以及控件模板图像确定哈希相似度；确定模块，还用于根据原始控件图像以及控件模板图像确定结构相似度；确定模块，还用于若颜色直方图相似度大于或等于颜色直方图相似度阈值，哈希相似度大于或等于哈希相似度阈值，且结构相似度大于或等于结构相似度阈值，则确定原始控件图像满足控件图像输出条件；确定模块，还用于若颜色直方图相似度小于颜色直方图相似度阈值，或，哈希相似度小于哈希相似度阈值，或，结构相似度小于结构相似度阈值，则确定原始控件图像不满足控件图像输出条件，并滤除原始控件图像。在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，确定模块，具体用于根据原始控件图像生成第一直方图数据，其中，第一直方图数据包括K个颜色等级，K为本文档来自技高网...

【技术保护点】
1.一种控件识别的方法，其特征在于，包括：/n获取待识别图像；/n从所述待识别图像中获取原始控件图像，其中，所述原始控件图像为原始尺寸大小；/n对所述原始控件图像进行缩放处理，得到控件图像集合，其中，所述控件图像集合包括N个控件图像，所述N个控件图像中的每个控件图像对应一个尺寸，且所述N个控件图像中的每个控件图像所对应的尺寸不相等，所述N为大于1的整数；/n将所述控件图像集合中的所述每个控件图像与控件模板图像进行匹配，得到N个置信度分值，其中，所述N个置信度分值中的每个置信度分值与所述每个控件图像具有一一对应的关系；/n根据所述N个置信度分值，从所述控件图像集合中确定目标控件图像，其中，所述目标控件图像所对应的置信度分值为所述N个置信度分值中的最大值；/n若所述目标控件图像所对应的置信度分值大于或等于置信度阈值，且，所述原始控件图像满足控件图像输出条件，则根据所述原始控件图像生成控件识别结果，其中，所述控件识别结果包括所述原始控件图像在待识别图像中的位置信息。/n

【技术特征摘要】
1.一种控件识别的方法，其特征在于，包括：
获取待识别图像；
从所述待识别图像中获取原始控件图像，其中，所述原始控件图像为原始尺寸大小；
对所述原始控件图像进行缩放处理，得到控件图像集合，其中，所述控件图像集合包括N个控件图像，所述N个控件图像中的每个控件图像对应一个尺寸，且所述N个控件图像中的每个控件图像所对应的尺寸不相等，所述N为大于1的整数；
将所述控件图像集合中的所述每个控件图像与控件模板图像进行匹配，得到N个置信度分值，其中，所述N个置信度分值中的每个置信度分值与所述每个控件图像具有一一对应的关系；
根据所述N个置信度分值，从所述控件图像集合中确定目标控件图像，其中，所述目标控件图像所对应的置信度分值为所述N个置信度分值中的最大值；
若所述目标控件图像所对应的置信度分值大于或等于置信度阈值，且，所述原始控件图像满足控件图像输出条件，则根据所述原始控件图像生成控件识别结果，其中，所述控件识别结果包括所述原始控件图像在待识别图像中的位置信息。


2.根据权利要求1所述的方法，其特征在于，所述将所述控件图像集合中的所述每个控件图像与控件模板图像进行匹配，得到N个置信度分值，包括：
启动第一进程和第二进程，其中，所述第一进程和所述第二进程均属于所述N个进程；
当通过所述第一进程对第一控件图像与控件模板图像进行匹配时，通过所述第二进程对第二控件图像与控件模板图像进行匹配，其中，所述第一控件图像与所述第二控件图像均属于所述控件图像集合；
根据所述控件图像集合中每个控件图像与所述控件模板图像的匹配结果，获取所述N个置信度分值，其中，所述N个置信度分值至少包括所述第一控件图像所对应的置信度分值，以及所述第二控件图像所对应的置信度分值。


3.根据权利要求1所述的方法，其特征在于，所述获取待识别图像之后，所述方法还包括：
根据所述待识别图像获取概率图以及阈值图；
根据所述概率图以及所述阈值图获取二值化图像；
根据二值化图像获取检测结果，其中，所述检测结果包括文本区域；
基于所述文本区域，通过文本识别模型获取文本识别结果。


4.根据权利要求3所述的方法，其特征在于，所述基于所述文本区域，通过文本识别模型获取文本识别结果之后，所述方法还包括：
若所述文本识别结果与所述控件模板图像所对应的文本一致，则确定所述原始控件图像满足所述控件图像输出条件；
若所述文本识别结果与所述控件模板图像所对应的文本不一致，则确定所述原始控件图像不满足所述控件图像输出条件，并滤除所述原始控件图像。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述待识别图像中获取P个控件图像，其中，所述P为大于或等于1的整数，所述P个控件图像包括所述原始控件图像；
根据所述P个控件图像确定所述待识别图像所对应的目标场景；
若所述原始控件图像与所述目标场景匹配成功，则确定所述原始控件图像满足所述控件图像输出条件；
若所述原始控件图像与所述目标场景匹配失败，则确定所述原始控件图像不满足所述控件图像输出条件，并滤除所述原始控件图像。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述原始控件图像生成第一待处理控件图像，其中，所述第一待处理控件图像属于色调亮度HSV图像，所述HSV图像包括亮度通道；
根据所述第一待处理控件图像，获取所述亮度通道所对应的目标亮度值；
若所述目标亮度值大于或等于亮度值阈值，则确定所述原始控件图像满足所述控件图像输出条件；
若所述目标亮度值小于所述亮度值阈值，则确定所述原始控件图像不满足所述控件图像输出条件，并滤除所述原始控件图像。


7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述原始控件图像以及所述控件模板图像确定颜色直方图相似度；
根据所述原始控件图像以及所述控件模板图像确定哈希相似度；
根据所述原始控件图像以及所述控件模板图像确定结构相似度；
若所述颜色直方图相似度大于或等于颜色直方图相似度阈值，所述哈希相似度大于或等于哈希相似度阈值，且所述结构相似度大于或等于结构相似度阈值，则确定所述原始控件图像满足所述控件图像输出条件；
若所述颜色直方图相似度小于所述颜色直方图相似度阈值，或，所述哈希相似度小于所述哈希相似度阈值，或，所述结构相似度小于所述结构相似度阈值，则确定所述原始控件图像不满足所述控件图像输出条件，并滤除所述原始控件图像。


8.根据权利要求7所述的方法，其特征在...

【专利技术属性】
技术研发人员：任旭华，张昊若，李廷天，孙子荀，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44