界面图片的识别方法及装置制造方法及图纸

本发明专利技术公开了一种界面图片的识别方法及装置，涉及电子信息领域，该方法包括：获取待识别的界面图片；根据预设的对象识别规则，确定所述界面图片中包含的界面对象的对象属性信息；根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象；根据所述界面图片中包含的界面对象识别所述界面图片。该方式能够将存在关联关系的图片元素和文本元素作为一个整体性对象进行识别，使一个对象内部的图片识别结果以及文本识别结果高度关联，进而提升了界面图片的识别效率和准确性，避免了现有技术中无法对已经处于分离状态的图片识别结果以及文本识别结果进行无缝拼接的问题。

【技术实现步骤摘要】
界面图片的识别方法及装置
本专利技术涉及电子信息领域，具体涉及一种界面图片的识别方法及装置。
技术介绍
目前，在许多应用场景中，都需要对应用界面、用户界面或软件界面中包含的界面图片进行识别，以确定界面图片中包含的具体信息，进而实现针对该界面图片进行测试或编程等目的。在现有技术中，针对界面图片进行识别时，由于一张界面图片通常由多个界面元素组成(例如，包括文本元素、图片元素等各类元素)，因此，大多采用如下方式实现：首先，识别界面图片中包含的各个元素；然后，针对识别出的各个元素进行组装，以得到完整的界面图片。但是，专利技术人在实现本专利技术的过程中，发现上述方式至少存在如下问题：当界面图片中同时包含图片元素以及文本元素时，上述方案将分别针对图片元素和文本元素进行识别，从而导致图片识别结果与文本识别结果相互割裂，从而处于分离状态。然而，当图片元素与文本元素之间存在关联关系时，则无法对已经处于分离状态的图片识别结果以及文本识别结果进行无缝拼接。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种界面图片的识别方法及装置。根据本专利技术的一个方面，提本文档来自技高网...

【技术保护点】
1.一种界面图片的识别方法，包括：获取待识别的界面图片；根据预设的对象识别规则，确定所述界面图片中包含的界面对象的对象属性信息；根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象；根据所述界面图片中包含的界面对象识别所述界面图片。

【技术特征摘要】
1.一种界面图片的识别方法，包括：获取待识别的界面图片；根据预设的对象识别规则，确定所述界面图片中包含的界面对象的对象属性信息；根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象；根据所述界面图片中包含的界面对象识别所述界面图片。2.根据权利要求1所述的方法，其中，所述对象识别规则包括：根据预设的对象识别模型进行识别的规则；则所述方法执行之前，进一步包括：获取样本图片以及与所述样本图片相对应的样本标注信息，根据预设的机器学习算法对所述样本图片以及与所述样本图片相对应的样本标注信息进行训练，以得到所述预设的对象识别模型。3.根据权利要求2所述的方法，其中，所述样本标注信息包括：所述样本图片中包含的样本对象的对象属性信息；其中，所述样本对象的对象属性信息和/或所述界面对象的对象属性信息包括以下中的至少一个：对象位置、对象尺寸、对象形状、对象名称、对象类型、以及对象结构；其中，所述界面对象包括：组件、和/或控件。4.根据权利要求3所述的方法，其中，所述对象类型包括以下中的至少一个：按钮类型、输入框类型、文本类型以及复合类型；所述对象结构包括：对象中包含的元素数量以及各个元素之间的关系；其中，所述各个元素之间的关系包括：父子关系、兄弟关系、和/或相对位置关系。5.根据权利要求1-4任一所述的方法，其中，所述根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象包括：根据所述界面图片中包含的界面对象的对象属性信息，确定所述界面图片中包含的界...

【专利技术属性】
技术研发人员：贺三元，
申请(专利权)人：浙江口碑网络技术有限公司，
类型：发明
国别省市：浙江,33