【技术实现步骤摘要】
一种基于机器学习的外观异常GUI控件检测方法
本专利技术涉及软件异常检测
，尤其涉及一种基于机器学习的外观异常GUI控件检测方法。
技术介绍
在日常生活中使用一些具有图形界面应用的过程中(比如Android系统应用，Windows桌面应用等)，经常会有一些被我们称为外观具有异常性或者对用户具有误导性的GUI控件。这些控件对应的图标在用户看来要么难以想象与它互动到底会发生什么，要么看起来和用户认为它应具有的功能不匹配。这种被我们称为外观异常(Abnormal-looking)或具有误导性(Misleading)的控件可能是一种图标的误用。由于开发者的随意或者对图标本身的误会，将该控件误用于应用中的某些操作，因此用户从视觉角度并不明白或误解了该控件的含义。所以需要一种工具可以帮助开发者辨别出这种具有外观异常的控件，从而减少这种控件使用的错误，更好地提升用户体验。API(ApplicationProgrammingInterface，应用程序接口)是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。它是用来提供...
【技术保护点】
1.一种基于机器学习的外观异常GUI控件检测方法，其特征在于，包括以下步骤：/n步骤1：获取所要检测的所有图标控件的图标和与其对应的API调用，并记录它们之间的对应关系，形成数据集；/n步骤2：对获取到的成对的图标和API调用数据集进行数据清洗和数据转换；/n步骤3：对API数据集提取层次上和语义上的融合特征进行向量化；/n步骤4：使用融合后的特征向量对API进行聚类或直接将相同API的控件划为同簇；/n步骤5：对图标数据依次提取图像特征，并将提取后的图像特征与聚类中的每个控件API信息保持联系；/n步骤6：根据步骤4中聚类得到的簇以及图标与API的对应关系，为每个图标数据...
【技术特征摘要】
1.一种基于机器学习的外观异常GUI控件检测方法，其特征在于，包括以下步骤：
步骤1：获取所要检测的所有图标控件的图标和与其对应的API调用，并记录它们之间的对应关系，形成数据集；
步骤2：对获取到的成对的图标和API调用数据集进行数据清洗和数据转换；
步骤3：对API数据集提取层次上和语义上的融合特征进行向量化；
步骤4：使用融合后的特征向量对API进行聚类或直接将相同API的控件划为同簇；
步骤5：对图标数据依次提取图像特征，并将提取后的图像特征与聚类中的每个控件API信息保持联系；
步骤6：根据步骤4中聚类得到的簇以及图标与API的对应关系，为每个图标数据集中的图像记录其对应的API调用集合所属的簇；
步骤7：分别基于图像相似度和API相似度使用异常检测算法对簇内所有图标进行异常检测。
2.根据权利要求1所述一种基于机器学习的外观异常GUI控件检测方法，其特征在于，所述对获取到的数据集进行数据清洗和数据转换，包括如下步骤：
步骤2.1：从3个角度删除掉外观不合适的控件图标，包括：尺寸大小，尺寸纵横比和是否为纯色或接近纯色；
步骤2.2：删除包含文本的控件，采用多个OCR工具共同投票以决定控件上是否存在文本；
步骤2.3：人工检查经上述步骤2.1和步骤2.2处理完成的控件图标，检查剩余的图标数据集中是否还存在有不符合标准的图标；
步骤2.4：去除不需要的API调用以提高算法效率和准确率。
3.根据权利要求2所述的一种基于机器学习的外观异常GUI控件检测方法，其特征在于，所述纯色或接近纯色的图片判断方法如下：
使用CIELAB色空间的色差公式近似计算图片中的颜色相似度；在计算出颜色相似度后判断其值的大小是否小于某个阈值，从而检出纯色的图片。
4.根据权利要求2所述的一种基于机器学习的外观异常GUI控件检测方法，其特征在于，所述采用多个OCR工具共同投票以决定控件上是否存在文本的过程如下：
如果多个OCR检测出某个控件图标中的文字内容相同，则认为该控件图标是文字图标，...
【专利技术属性】
技术研发人员：王睿锋，王莹，于海，朱志良，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。