针对移动应用页面中动态区域的快速检测方法技术

一种基于计算机视觉的动态区域检测方法，包括：首先，打开相应软件，遍历App页面并且获取截图；其次，对相邻两张截图进行预处理后对其进行特征点提取、筛选、匹配，得到两张图片的单映射矩阵。根据单映射矩阵判断两张截图是否有因为页面滑动而造成的偏移，若没有偏移，则直接根据特征点成功匹配的最大范围来检测动态区域，若有偏移，则先检测App页面导航栏的位置，再确定动态区域的检测范围。确定检测范围后，按照固定采样间隔利用两张图片对应特征点的特征向量计算欧式距离，若超过某个阈值则判定为该检测点。通过以上步骤，可根据相邻两张截图检测出该App当前页面是否有动态内容的区域。域。域。

【技术实现步骤摘要】
针对移动应用页面中动态区域的快速检测方法

：
[0001]本专利技术涉及一种基于计算机视觉的动态区域检测算法，属于计算机技术软件领域。

技术介绍
：
[0002]移动应用的数量随着移动互联网的发展呈现爆炸式增长，软件设计也变得越来越复杂。由此，移动应用的自动化测试、页面结构分解，人机交互分析等需求也随之日益增多，而在对页面内容的分析中，例如，轮播图、弹窗、视频等存在动态区域的部分需要被识别出来进行单独处理。
[0003]在实际的检测、遍历页面的过程中，必然会出现页面滑动的情况，在这种情况下，单纯对比两张相邻截图对应位置像素的方法就会将整个页面都判为动态内容区域，故而失效。而现有的基于单映性变换的图像动态区域检测算法又使用了一些复杂度较高的算法，但移动应用页面的情况较为简单，不应耗非算力和时间去做多余的运算。

技术实现思路
：
[0004]针对以上问题，本专利技术提出了一种针对移动应用页面中动态区域的快速检测方法。与基于同位置像素比较的方法相比，该方法可适配两张截图存在页面滑动的情况，普适性更高，并且可以计算出两张图片之间经过了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对移动应用页面中动态区域的快速检测方法，包括以下步骤：S1：打开相应App，遍历App页面并获取截图；S2：对S1中获得的相邻两张截图，各自提取图像特征点，筛选出匹配度较高的点对计算两张图片之间的单映射矩阵；S3：根据S2得到的单映射矩阵判断当前的两张图片是否有页面滑动，若有，则检测滑动方向对应的导航栏位置，以此来确定两张图对应的动态区域检测范围。若没有滑动，则直接使用存在匹配上的特征点的最大范围作为检测区域；S4：在S3确定的检测范围中，按照固定间隔对两张图像进行采样，并且对采样点提取SIFT特征，使用S2中得到的单映性矩阵对当前帧的图片进行变换，之后对两张图中对应位置的采样点的特征求欧式距离，若距离小于设定的阈值，则判断为两点相似，也即该点处是非动态区域，若大于设定的阈值，则判断该点处存在动态区域，最后得到一个由采样点构成的点阵；S5：由于S4得到的点阵在原图上是稀疏的，不利于区域轮廓的定位，所以需要按照点阵的分布构造一个按照采样比例缩小的二值图，使得采样点在这个二值图中的位置是紧密的；S6：在S5得到的二值图中，使用opencv的函数对轮廓进行定位并求出轮廓对应的最小外包矩形，筛选出面积大小大于设定阈值的轮廓，之后再根据之前缩小的比例将轮廓的最小外包矩形位置还原到原图中，即可得到当前页面中的检测结果。2.根据权利要求1所述的一种针对移动应用页面中动态区域的快速检测方法，其特征在于：所述步骤S2中，其中图像特征点提取及匹配的具体算法为：尺度不变特征变换(Scale
‑
invariant feature transform，SIFT)匹配算法；步骤S2中，其中图像特征点距离计算的具体方案为：计算特征点向量的欧式距离；步骤S2中，其中筛选特征点的具体方法是：找出各特征点在另一幅图中最匹配的两个点，若最近邻距离除以次近邻距离小于某一阈值，则通过筛选，反之，则删掉这对特征点；步骤S2中，其中所述单映性矩阵为三阶矩阵：X1＝H*X2，使用四个点对，8个方程求出单映性矩阵H。3.根据权利要求1所述的一种针对移动应用页面中动态区域的快速检测方法，其特征在于：所述步骤S3中，其中页面是否存在滑动情况的判断方法为：根据S2得到的单映性矩阵H，H矩阵代表了第一张图要变换成第二张图需要经过的旋转、平移变换。而H[1][2]的则对应了y轴上的平移距离，故直接用该值判断是否存在滑动情况，若该值的绝对值大于1，则认为存在滑动，若大于0小于1，则认为两张图片没有出现上下滑动。4.根据权利要求1所述的一种针对移动应用页...

【专利技术属性】
技术研发人员：周晟，郭梓楠，卜佳俊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：