基于多模态大模型对比及双重校验的界面异常检测方法技术

技术编号:46094888 阅读:8 留言:0更新日期:2025-08-12 18:13
本发明专利技术涉及大模型技术领域,公开了基于多模态大模型对比及双重校验的界面异常检测方法,包括:部署若干图像对比专用的大模型;获取UI样式图集和程序界面截图集,筛选出相似性低于第一预设阈值的样本对组成第一样本对集;利用多个大模型分别对第一样本对集中的样本对进行图像对比,将对比结果为不一致的数量超过大模型数量一半的样本对组成第二样本对集;通过像素级对比定位第二样本对集中的样本对的错误像素点,绘制第一错误框;通过各UI样式的各层级的样式信息对比定位第二样本对集中的样本对的错误像素点,绘制第二错误框;融合第一错误框和第二错误框,获得错误标注图片并上报。本发明专利技术有效解决了现有技术在UI一致性自动化测试中的痛点。

【技术实现步骤摘要】

本专利技术涉及大模型,尤其涉及基于多模态大模型对比及双重校验的界面异常检测方法


技术介绍

1、用户界面(ui)是用户与软件应用程序交互的门户,其设计质量和一致性直接影响用户体验、品牌形象乃至产品的市场竞争力。在软件开发和迭代过程中,确保实际的程序界面严格遵循预先设定的ui样式规范(通常由ui设计师提供,体现为ui样式图集或设计稿)是一项至关重要的任务。

2、传统的ui样式一致性检测方法主要依赖人工视觉比对。测试人员或设计师需要逐个界面、逐个元素地将实际运行的程序界面与设计稿进行比较,找出颜色、字体、大小、间距、对齐等方面的差异。这种方式不仅耗时耗力,极易因人为疏忽、视觉疲劳或主观判断差异而导致漏检或误判,尤其是在面对大量界面和频繁迭代的敏捷开发环境中,其效率和可靠性都难以满足需求。例如,一个细微的颜色代码偏差或几像素的位移,在长时间的人工检查中很容易被忽略。

3、因此,本领域迫切需要一种能够克服现有技术缺陷,更智能、更精准地自动化检测ui样式异常的技术方案。


技术实现思路p>

1、为了解本文档来自技高网...

【技术保护点】

1.基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,包括步骤:

2.如权利要求1所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,步骤S2还包括预处理步骤:确保所述UI样式图集和程序界面截图集中的图像具有相同的像素尺寸和像素分辨率。

3.如权利要求1所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,所述结构相似性对比的方法包括:

4.如权利要求1所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,步骤S41包括:

5.如权利要求4所述的基于多模态大模型对比及双重校验的界面异常...

【技术特征摘要】

1.基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,包括步骤:

2.如权利要求1所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,步骤s2还包括预处理步骤:确保所述ui样式图集和程序界面截图集中的图像具有相同的像素尺寸和像素分辨率。

3.如权利要求1所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,所述结构相似性对比的方法包括:

4.如权利要求1所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,步骤s41包括:

5.如权利要求4所述的基于多模态大模型对比及双重校验的界面异常检测方法,其特征在于,步...

【专利技术属性】
技术研发人员:唐林李吴柯沈复民申恒涛
申请(专利权)人:成都考拉悠然科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1