【技术实现步骤摘要】
本专利技术涉及移动应用的gui页面组件识别，特别涉及一种基于sam大模型的移动应用gui页面布局结构生成方法。
技术介绍
1、移动应用的gui布局理解对于对许多gui自动化和gui测试任务至关重要，获取图形用户界面元素的准确位置和类别也是进行图形用户界面逆向工程或图形用户界面测试的第一步。移动应用的gui界面与一颗布局树一一对应，树中的节点对应gui界面中的一个组件，节点中标识了gui组件的类别、位置等属性，树中的节点的父子关系反应了gui界面组件的嵌套关系，及父节点在位置坐标上包含子节点。
2、理解完整的移动应用的gui界面对许多的下游任务具有重要的意义，目前的gui界面理解技术可以分为基于深度学习的方法和基于传统图像处理的方法两类。基于深度学习的方法在一个标注的数据集上训练一个识别模型，之后利用该模型来对新的数据进行识别，然而该方案依赖于数据集的质量和数量，而数据标注的成本十分高，数据集的不足会严重影响所训练的模型的效果。基于传统图像处理的方法利用传统的边缘检测、洪水覆盖等算法，对gui页面的组件进行识别，然而传统的图像...
【技术保护点】
1.一种基于SAM大模型的移动应用GUI页面布局结构生成方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于SAM大模型的移动应用GUI页面布局结构生成方法，其特征在于，所述步骤1)使用OCR模型预处理GUI页面截图包括以下步骤：
3.根据权利要求1所述的基于SAM大模型的移动应用GUI页面布局结构生成方法，其特征在于，所述步骤2)使用SAM分割模型对GUI区域进行像素级分割的过程包括以下步骤：
4.根据权利要求1所述的基于SAM大模型的移动应用GUI页面布局结构生成方法，其特征在于，所述步骤3)设计形状识别算法，识...
【技术特征摘要】
1.一种基于sam大模型的移动应用gui页面布局结构生成方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于sam大模型的移动应用gui页面布局结构生成方法，其特征在于，所述步骤1)使用ocr模型预处理gui页面截图包括以下步骤：
3.根据权利要求1所述的基于sam大模型的移动应用gui页面布局结构生成方法，其特征在于，所述步骤2)使用sam分割模型对gui区域进行像素级分割的过程包括以下步骤：
4.根据权利要求1所述的基于sam大模型的移动应用gui页面布局结构生成方法，其特征在于，所述步骤3)设计形状识别算法，识别界面中的矩形和非矩形区域的具体实现过程包括以下...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。