用于触摸屏响应性能测试的图像分析算法制造技术

本发明专利技术提供一种用于触摸屏响应性能测试的图像分析算法，该算法实现了高速相机视野内的标志识别和内容变化分析。通过设置合适的阈值设计出的图像识别算法，能对被测电子设备的屏幕变化进行内容分析判断，从而得出需要的测试数据。本发明专利技术的算法能够排除外界灯光环境的干扰，具有非常高的适应性；经过大量测试，算法分析结果跟人工分析结果误差小，具有非常高的正确率。

Image analysis algorithm for touch screen response performance testing

The present invention provides a method for touch image analysis method of performance test response screen, this algorithm realizes the sign recognition and content change in the view of the analysis of high speed camera. By setting the threshold of the designed algorithm suitable for image recognition, content analysis and judgment of the screen changes in the measured electronic equipment, so that the test data need. The algorithm of the invention can eliminate interference of external light environment, with very high adaptability; after extensive testing, algorithm analysis results with artificial error analysis results, with very high accuracy.

【技术实现步骤摘要】
用于触摸屏响应性能测试的图像分析算法
本专利技术涉及一种图像分析算法，更具体地，涉及用于触摸屏响应性能测试的图像分析算法。
技术介绍
由于触摸屏显示的原理与物理世界普通物体发光是完全不同的，使得触摸屏截图的图像分析算法与普通物体照片的图像分析算法也有很大不同。这种不同，归根到底是因为触摸屏是以固定频率(目前基本上统一为60帧每秒)按照从上到下，从左到右的顺序不停地依次更新触摸屏上的每一个像素点，利用人类的视觉暂留造成显示动态影像的错觉。这种不同，在显示内容变化很快的时候，会更加明显。举一个极端的例子，用一根细线绑上一个重物形成一个单摆，用最好的相机拍摄并在触摸屏上显示。对人眼而言，从触摸屏看到的摆与物理世界的摆基本上是一样的。但是如果使用高速相机把摆动过程从触摸屏上翻拍下来，再逐张照片去观察，就会发现它们和直接从物理世界拍摄的那组照片是有很大的不同。在拍自物理世界的摆的图像中，将会看到所有的图像都是清晰的、摆线都是直的连续的，而从触摸屏上拍到的所有图像都有模糊的部分、摆线都是断开的分截的。基于触摸屏的发光特点，需要一种行之有效的图像分析算法。
技术实现思路
本专利技术的目的在于提供一种改进的用于触摸屏响应性能测试的图像分析算法。根据本专利技术的一方面，提供一种用于触摸屏响应性能测试的图像分析算法，其特征在于包括：读取高速相机拍摄的图像，在图像中对标志物进行模板匹配计算，得出标志物在图像中的坐标，根据标志物的连续坐标，识别出标志物的运动轨迹，并且根据运动轨迹，识别手指开始接触触摸屏的时间和手指离开触摸屏的时间；读取两张相邻的图像，将图像转换成灰度图，对灰度图进行拉普拉斯变换，将两张图像进行位图相减，得出对比图像，将对比图像进行二值化变换处理，查找轮廓，找出图像中所有轮廓，根据轮廓大小判断图像内容变化，根据图像内容变化判断是否发生丢帧，并且识别触摸屏开始变化的时间和触摸屏停止变化的时间；计算点击触摸屏的响应时间：点击触摸屏的响应时间＝(触摸屏开始变化的时间-手指离开触摸屏的时间)×1000/240，单位为ms，其中，240为高速相机的帧率。根据本专利技术的另一方面，计算点击触摸屏的稳定时间：稳定时间＝(触摸屏停止变化的时间-触摸屏开始变化的时间)×1000/240，单位为ms，其中，240为高速相机的帧率。根据本专利技术的另一方面，计算滑动触摸屏的响应时间：滑动触摸屏的响应时间＝(触摸屏开始变化的时间-手指开始接触触摸屏的时间)×1000/240，单位为ms，其中，240为高速相机的帧率。根据本专利技术的另一方面，计算滑动触摸屏的滑动时间：滑动时间＝(触摸屏停止变化的时间-触摸屏开始变化的时间)×1000/240，单位为ms，其中，240为高速相机的帧率。根据本专利技术的另一方面，确定滑动时间内的丢帧数。根据本专利技术的另一方面，确定滑动时间内的最多连续丢帧数。根据本专利技术的另一方面，根据滑动时间内的丢帧情况制成反映具体丢帧位置和数目的曲线。本专利技术的算法能够排除外界灯光环境的干扰，具有非常高的适应性；经过大量测试，算法分析结果跟人工分析结果误差小，具有非常高的正确率。附图说明通过参照附图描述特定示例性实施例，上述和其它方面将会变得更加明显，其中：图1是示出根据本专利技术的示例性实施例的手指标志物跟踪算法的流程图；图2是示出根据本专利技术的示例性实施例的触摸屏内容分析算法的流程图；以及图3是示出根据本专利技术的示例性实施例的帧率计算的帧间对比技术的说明示图。具体实施方式OpenCV的全称是：OpenSourceComputerVisionLibrary(开源计算机视觉库)。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和MacOS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。边缘是指图像局部强度变化最显著的部分，主要存在于目标与目标、目标与背景、区域与区域之间，是图像分割、纹理特征和形状特征等图像分析的重要基础。Laplace算子是基于二阶微分法，二阶微分在亮的一边是负的，在暗的一边是正的，常数部分为零，可以用来确定边的准确位置，以及像素在亮的一侧还是暗的一侧。拉普拉斯对噪声敏感，会产生双边效果，但是不能检测出边的方向，因此通常不直接用于边的检测，只起辅助的角色，用于检测一个像素是在边的亮的一边还是暗的一边利用零跨越，确定边的位置。目标跟踪是计算机视觉领域的一个重要分支。模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。以上内容是本专利技术算法的基础算法知识，本专利技术的算法就是利用这些成熟的图像处理算法，加以调优和改良实现的用于触摸屏响应性能测试的图像分析算法。当测试触摸屏响应性能时，需要有点击、滑动、长按、缩放和旋转等动作，可以使用机械手完成点击、滑动、长按、缩放、旋转等动作。当使用机械手测试移动终端的触摸屏性能响应时，例如，使用机械手在触摸屏设备上模拟人手进行点击、滑动、长按、缩放、旋转等操作，需要利用高速相机对屏幕进行拍摄，以获得屏幕的内容变化。高速相机是工业相机的一种，一般高速相机是指数字工业相机，一般安装在机器流水线上代替人眼来做测量和判断，通过数字图像摄取目标转换成图像信号，传送给专用的图像分析系统。高速相机，相比起普通相机，高速相机具有高图像稳定性、高传输能力和高抗干扰能力等。本专利技术的图像分析算法识别高速相机拍摄的内容变化，通过内容变化来判断视野内物体的变化特征。下面参照附图来详细描述本专利技术的特定示例性实施例。下面将参照图1描述手指标志物跟踪算法，根据手指标志物跟踪算法从图像识别手指开始接触触摸屏的时间和手指离开触摸屏的时间。图1是示出根据本专利技术的示例性实施例的手指标志物跟踪算法的流程图在步骤S101，读取高速相机拍摄的图像。通过调用Image中的MatchTemplate函数得出模板图像在目标图像中的信号值。在步骤S102，在图像中对标志物进行模板匹配计算。通过CvInvoke中的cvNormalize函数对结果进行归一化处理。在步骤S103，得出标志物在图像中的坐标。根据TM_TYPE类型使用Image的MinMax函数得出模板图像在目标图像中最匹配的坐标点。在步骤S104，根据标志物的连续坐标，识别出标志物的运动轨迹。通过上述步骤，能够得到模板图像在一组图像中的坐标点，根据分析坐标点中的Y值，就能得出手指标志物的轨迹变化，即能得出手指的运动轨迹。在步骤S105，根据运动轨迹，识别手指开始接触触摸屏的时间(TouchFrame)和手指离开触摸屏的时间(LeaveFrame)。下面将参照图2描述触摸屏内容分析算法，根据触摸屏内容分析算法从图像识别触摸屏开始变化的时间和触摸屏停止变化的时间。该算法主要根据屏幕中内容的特征变化来进行分析计算，从而得出测试结果。图2是示出根据本专利技术的示例性实施例的触摸屏内容分析算法的流程图。在步骤S201，读取高速相机拍摄的图像。其中，读取两张相邻的图像。在步骤S202，将图像转换成灰度图。在步骤S203本文档来自技高网...

【技术保护点】
一种用于触摸屏响应性能测试的图像分析算法，其特征在于包括：读取高速相机拍摄的图像，在图像中对标志物进行模板匹配计算，得出标志物在图像中的坐标，根据标志物的连续坐标，识别出标志物的运动轨迹，并且根据运动轨迹，识别手指开始接触触摸屏的时间和手指离开触摸屏的时间；读取两张相邻的图像，将图像转换成灰度图，对灰度图进行拉普拉斯变换，将两张图像进行位图相减，得出对比图像，将对比图像进行二值化变换处理，查找轮廓，找出图像中所有轮廓，根据轮廓大小判断图像内容变化，根据图像内容变化判断是否发生丢帧，并且识别触摸屏开始变化的时间和触摸屏停止变化的时间；计算点击触摸屏操作的响应时间：点击触摸屏的响应时间＝(触摸屏开始变化的时间‑手指离开触摸屏的时间)×1000/240，单位为ms，其中，240为高速相机的帧率。

【技术特征摘要】
1.一种用于触摸屏响应性能测试的图像分析算法，其特征在于包括：读取高速相机拍摄的图像，在图像中对标志物进行模板匹配计算，得出标志物在图像中的坐标，根据标志物的连续坐标，识别出标志物的运动轨迹，并且根据运动轨迹，识别手指开始接触触摸屏的时间和手指离开触摸屏的时间；读取两张相邻的图像，将图像转换成灰度图，对灰度图进行拉普拉斯变换，将两张图像进行位图相减，得出对比图像，将对比图像进行二值化变换处理，查找轮廓，找出图像中所有轮廓，根据轮廓大小判断图像内容变化，根据图像内容变化判断是否发生丢帧，并且识别触摸屏开始变化的时间和触摸屏停止变化的时间；计算点击触摸屏操作的响应时间：点击触摸屏的响应时间＝(触摸屏开始变化的时间-手指离开触摸屏的时间)×1000/240，单位为ms，其中，240为高速相机的帧率。2.如权利要求1所述的用于触摸屏响应性能测试的图像分析算法，其特征在于，计算点击触摸屏操作的稳定时间：稳定时间＝(触摸屏停止变化的时间-触摸屏开始变化的...

【专利技术属性】
技术研发人员：姜玉东，蔡勇卿，徐帅，王艳艳，
申请(专利权)人：北京博酷科技有限公司，
类型：发明
国别省市：北京,11