一种用于APP无障碍智能检测的功能图标智能导航方法技术

一种用于APP无障碍智能检测的功能图标智能导航方法，首先是将获得的APP屏幕截图按照设定比例切分为上中下三部分，其次是对切分后的图像与标准库中的图标图像进行灰度与二值化的处理，然后分别对处理后的切分图像与标准库图标图像进行SIFT与ORB算子的特征值提取，之后使用Flann算法进行特征的匹配，得到切分图像中功能图标的一系列可能位置，最后K

【技术实现步骤摘要】
一种用于APP无障碍智能检测的功能图标智能导航方法

：
[0001]本专利技术属于信息无障碍领域，具体涉及运用于无障碍智能检测时的智能导航 方法。

技术介绍
：
[0002]十年来互联网的发展突飞猛进，互联网上的APP产量与使用量呈指数的态势 在增长，然而几乎所有的APP在设计与后期维护中都将用户假设为了正常的用户， 而没有去考虑社会中的弱势群体：障碍人士与老年人士。
[0003][0004]无障碍建设的前提是需要一套高效率的自动检测系统，自动监测系统需要模 拟人的点击操作如返回(back)或者关闭(close)去在一个个APP页面间跳转， 然后由相关的挂件程序去检测每个APP页面的无障碍适配，从而检测APP的所有 页面。然而作为一个第三方检测工具，是无法接触到页面的源码，如何在不接触 源码的情况下获得功能按键的定位就变成了一个技术难题，因此现在急需要一种 能够为智能无障碍检测导航的方法

技术实现思路
：
[0005]针对现有的无障碍智能检测的现实问题，本专利技术提出了一种适用于APP无障 碍智能检测过程中功能图标智能导航的方法，使用本专利技术的方法可以协助检测程 序快速、准确的找到页面跳转的关键功能按钮，导航生成的位置有很好的实际表 现，可提高整个无障碍智能检测的效率，大幅减少漏检测页面与检测时间，具有 较好的实用性。
[0006]一种用于APP无障碍智能检测的功能图标智能导航方法，具体步骤如下：
[0007]S1：首先读取获得的APP页面截图，并根据预设的经验比例数据进行上中下 的图片切割；
[0008]S2：对步骤S1中获得的三个位置的截图，根据由于位置的不同所带来的复 杂性的不同，使用特定化的参数以及不同的位置置信度限制，然后根据针对不同 位置的图像处理方案依次进行特征匹配得到一系列匹配点；
[0009]S3：对在步骤S2中得到的一系列匹配点，使用K
‑
means聚类方法，聚类得 到最终的定位点，同时排除噪声匹配点集，并以其为圆心做出功能图标的可能位 置范围。
[0010]优选地，步骤S1所述的的预设的经验比例数据是：1:5:4。
[0011]步骤S2所述的使用特定化的参数以及不同的位置置信度限制，具体包括：
[0012]S21：对于切割下来的上部分的图片，我们设置的Flann特征值差异阈值为 0.4，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.4， 同时我们设置位置限制，更加相信在APP的上部图片中可以影响页面跳转的功能 图标会在页面位置的左右1/4的范围内，从而减少噪声；
[0013]S22：对于切割下来的中部图片，我们设置的Flann特征值差异阈值为0.48， 即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.48，同 时我们设置位
置限制，更加相信在APP的上部图片中可以影响页面跳转的功能图 标会在页面位置的左右1/3的范围内，从而减少噪声；
[0014]S23：对于切割下来的下部图片，我们设置的Flann特征值差异阈值为0.5， 即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.5，由于 结构简单因此不设置位置限制。
[0015]步骤S2所述的针对不同位置的图像处理方案的具体方案如下：
[0016]S401：对于上部的切割图片，先在灰度下进行的特征点匹配，若是没有匹 配项，则将Flann特征值差异阈值为0.6，再进行二值化处理下的特征点匹配， 得到一系列匹配点；
[0017]S402：对于中部的切割图片，先进行二值化处理下的特征点匹配，若是没有 匹配项，则将Flann特征值差异阈值为0.55，再进行灰度处理下的特征点匹配， 得到一系列匹配点；
[0018]S403：对于下部的切割图片，先进行二值化处理下的特征点匹配，若是没有 匹配项，则将Flann特征值差异阈值为0.6，再进行灰度处理下的特征点匹配， 得到一系列匹配点。
[0019]步骤S401
‑
403所述的针对特定图像处理下的特征点匹配，具体包括：
[0020]S501：在获得特定处理后的图像后，首先使用ORB算法提取目标检测图像与 标准库中存在的标准图标图像的特征值；
[0021]S502:使用Flann方法计算特征间的距离，然后寻找距离比值差异在设定阈 值内匹配点，放入到匹配集合中；
[0022]S503：若是ORB算法提取的特征值无法找到相应的匹配集，则使用SIFT算 法提取目标检测图像与标准库中存在的标准图标图像的特征值，重复S502的步 骤；S504：若是S503步骤之后还是找不到相应集合，则判断该切割区域没有相 关图标。
[0023]综上，本专利技术创建了一种用于APP无障碍智能检测的功能图标智能导航方法， 具有如下有益效果：(1)可综合灰度化与二值化消噪方法、SIFT与ORB图像特 征抽取方法，Flann特征匹配算法与K
‑
means点集消噪方法，在图像特征空间中 对标准库中的图像进行综合而准确的表达的同时运用算法聚类定位导航，从而将 程序精准导航到页面关键元素上(2)结构简单，整个算法流程简单明了，对于 客户端的要求低，相较于深度神经网络模型成本更小，普适性更高。(3)首个综 合运用灰度化与二值化消噪方法、SIFT与ORB图像特征抽取方法，Flann特征匹 配算法与K
‑
means点集消噪方法来协助无障碍智能检测的定位导航方法，具有很 强的针对性为后续无障碍的自动检测研究提供了重要的基础。
附图说明：
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的 附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本专利技术方法的总体流程图。
[0026]图2是本专利技术方法的总体流程图中基于ORB算法匹配的流程图。
[0027]图3是本专利技术方法的总体流程图中基于SIFT算法匹配的流程图。
[0028]图4是本专利技术方法所使用的图像处理方案以及阈值变化的具体流程。
[0029]图5是本专利技术方法所使用的针对特定图像处理下的特征点匹配方法。
[0030]具体实施方法：
[0031]以下将参照附图，通过实施例方式详细地描述本专利技术提供的智能导航方法。 在此需要说明的是，对于这些实施例方式的说明用于帮助理解本专利技术，但并不构 成对本专利技术的限定。
[0032]本文中描述的各种技术可以用于但不限于无障碍智能检测研究
，还 可以用于其它类似领域。
[0033]本实例以一组来自于某APP的界面截图为例，方法包括如下具体步骤：
[0034]S1：首先读取获得的APP页面截图，并根据预设的经验比例数据进行上中下 的图片切割；
[0035]S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于APP无障碍智能检测的功能图标智能导航方法，其特征在于包括以下步骤：S1：首先读取获得的APP页面截图，并根据预设的经验比例数据进行上中下的图片切割；S2：对步骤S1中获得的三个位置的截图，根据由于位置的不同所带来的复杂性的不同，使用特定化的参数以及不同的位置置信度限制，然后根据针对不同位置的图像处理方案依次进行特征匹配得到一系列匹配点S3：对在步骤S2中得到的一系列匹配点，使用K
‑
means聚类方法，聚类得到最终的定位点，同时排除噪声匹配点集，并以其为圆心做出功能图标的可能位置范围。2.根据权利要求1所述的一种用于APP无障碍智能检测的功能图标智能导航方法，其特征在于：步骤S1所述的的预设的经验比例数据是：1:5:4。3.根据权利要求1所述的一种用于APP无障碍智能检测的功能图标智能导航方法，其特征在于：步骤S2所述的使用的使用特定化的参数以及不同的位置置信度限制，具体包括：S21：对于切割下来的上部分的图片，设置的Flann特征值差异阈值为0.4，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.4，同时设置位置限制，更加相信在APP的上部图片中可以影响页面跳转的功能图标会在页面位置的左右1/4的范围内，从而减少噪声；S22：对于切割下来的中部图片，设置的Flann特征值差异阈值为0.48，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.48，同时设置位置限制，更加相信在APP的上部图片中可以影响页面跳转的功能图标会在页面位置的左右1/3的范围内，从而减少噪声；S23：对于切割下来的下部图片，设置的Flann特征...

【专利技术属性】
技术研发人员：卜佳俊，任富彬，周晟，王炜，于智，
申请(专利权)人：浙江大学，
类型：发明
国别省市：