【技术实现步骤摘要】
控件识别方法、装置、电子设备及存储介质
[0001]本申请属于机器学习
，具体涉及一种控件识别方法、装置、电子设备及存储介质。
技术介绍
[0002]在用户与终端设备的交互过程中，常常会通过用户界面(userinterface，UI)进行交互操作，其中交互操作是基于UI控件实现的，如按钮、文本字段、定位栏、复选框、缩放按钮、切换按钮等，在交互过程中，需要对UI控件进行识别。但相关的控件识别方法对控件进行识别时，准确率还有待提高。
技术实现思路
[0003]鉴于上述问题，本申请提出了一种控件识别方法、装置、电子设备以及存储介质，以实现改善上述问题。
[0004]第一方面，本申请实施例提供了一种控件识别方法，所述方法包括：获取待识别控件；将所述待识别控件的图像输入到控件识别模型中的深度学习分类模块，获取所述深度学习分类模块输出的所述待识别控件对应的特征向量；将所述特征向量输入到所述控件识别模型中的机器学习分类模块中，获取所述机器学习分类模块输出的所述待识别控件的控件识别结果。
[0005]第...
【技术保护点】
【技术特征摘要】
1.一种控件识别方法，其特征在于，所述方法包括：获取待识别控件；将所述待识别控件的图像输入到控件识别模型中的深度学习分类模块，获取所述深度学习分类模块输出的所述待识别控件对应的特征向量；将所述特征向量输入到所述控件识别模型中的机器学习分类模块中，获取所述机器学习分类模块输出的所述待识别控件的控件识别结果。2.根据权利要求1所述的方法，其特征在于，所述获取待识别控件，包括：获取当前用户界面对应的控件树；遍历所述控件树，以获取所述控件树对应的所有控件的控件信息；基于所述控件信息对所述控件树对应的所有控件进行筛选，得到待识别控件。3.根据权利要求2所述的方法，其特征在于，所述基于所述控件信息对所述控件树对应的所有控件进行筛选，得到待识别控件，包括：基于所述控件信息，对所述控件树对应的所有控件进行筛选，得到参考控件；获取所述参考控件和控件模板库中所包括的控件的相似度；基于所述相似度对所述参考控件进行筛选，得到所述待识别控件。4.根据权利要求3所述的方法，其特征在于，所述获取所述参考控件和控件模板库中所包括的控件的相似度，包括：将所述参考控件的图像输入到特征提取模型中，获取所述特征提取模型输出的所述参考控件各自对应的特征向量；将所述控件模板库中所包括的控件的图像输入到所述特征提取模型中，获取所述特征提取模型输出的所述控件模板库中所包括的控件各自对应的特征向量；基于所述参考控件各自对应的特征向量和所述控件模板库中所包括的控件各自对应的特征向量，确定所述参考控件和控件模板库中所包括的控件的相似度。5.根据权利要求4所述的方法，其特征在于，所述特征向量为图像对应的纹理特征和图像对应的形状特征进行拼接后得到。6.根据权利要求3所述的方法，其特征在于，所述基于所述相似度，对所述参考控件进行筛选，得到所述待识别控件，包括：将相似度大于或等于预设相似度的参考控件，确定为所述待识别控件。7.根据权利要求3所述的方法，其特征在于，所述基于所述控件信息，对所述控件树对应的所有控件进行筛选，得到参考控件，包括以下方式中的至少一种：基于所述控件信息确定对应的控件为用户可交互控件，且所述用户可交互控件以及所述用户可交互控件的子控件的文本信息为空，将所述用户可交互控件作为参考控件；基于所述控件信息确定对应的控件的父控件以及兄弟控件未包括文本信息，将所述控件信息对应的控件作为参考控件；基于所述控件信息确定对应的控件的文本信息或属性信息缺失，则将所述控件信息对应的控件作为参考控件；基于所述控件信息确定对应的控件的尺寸比例满足预设尺寸比例，则将所述控件信息对应的控件作为参考控件；基于所述控件信息确定对应的控件的控件类型为预设控件类型，则将所述控件信息对
应的控件作为参考控件；以及基于所述控件信息确定对应的控件对应有重叠的控件，则将所述对应的控...
【专利技术属性】
技术研发人员：陈科鑫，陈明，张晓帆，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。