【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种屏幕点击响应时间测试方法及系统。
技术介绍
1、终端性能测试是终端测试中重要的一环，其中包括了点击响应时间这一关键指标。测试通常采用240fps以上高速相机录屏，后续确认视频中的关键帧来进行点击响应时间的计算，点击响应时间通常为手指抬起离开画面的第一帧到画面停止变化的第一帧的时间。
2、目前市面上主要使用人工、嵌入式自动化测试和非嵌入式自动化测试进行性能测试：
3、(1)人工方法进行测试，费时费力，且个人主观判断标准不同，测试结果差异较大，长时间工作也容易产生视觉疲劳，发生误判，无法满足对性能测试的精度需求；
4、(2)嵌入式自动化测试通常将电脑与被测设备连接，通过脚本指令进行模拟点击、滑动、截图等一系列操作，最后进行截图画面对比计算。此方法本身会占用设备的一部分性能，对测试结果的精准性造成影响。
5、(3)非嵌入式自动化测试通常采用外设传感器和高速相机配合进行，通过压力传感器等检测外界对设备的按压抬起动作，同时通过相机拍摄的屏幕影像进行画面变化的判断。此方法中根据传感器类型存在一定的延迟，起始帧计算误差在15ms以上，且画面比对通常采用帧差法：将两张图片的灰度值相减后通过阈值判断画面是否变化。当两张图片间的变化很小时，终止帧容易产生误判，通常误差在6帧左右，对测试的精准性有一定影响。
技术实现思路
1、本专利技术的目的在于提供一种屏幕点击响应时间测试方法及系统，以同时克服现有技术存在的人工成本
2、为达此目的，本专利技术采用以下技术方案：
3、一种屏幕点击响应时间测试方法，包括：
4、提供表面设有标志物的指套；
5、启动相机对测试机的屏幕画面进行录像；在录像过程中，应用佩戴指套的手指或机械手，在测试机的屏幕上进行点击操作，之后停止录像；
6、获取录像文件，根据标志物从录像文件的所有图像帧中确定起始帧和终止帧；其中，起始帧为点击操作完成时刻的图像帧，终止帧为在点击操作后屏幕画面变化结束时刻的图像帧；
7、根据起始帧和终止帧，计算屏幕点击响应时间。
8、可选的，根据标志物从录像文件的所有图像帧中确定起始帧的方法，包括：
9、依次检测获取录像文件的各个图像帧中的标志物相关信息，标志物相关信息包括标志物的面积和/或标志物的位置；
10、根据从各帧图片中检测获得的标志物相关信息，确定在录像过程中标志物的面积和/位置变化趋势；
11、根据在录像过程中标志物的面积和/位置变化趋势确定起始帧。
12、可选的，根据在录像过程中标志物的面积和/位置变化趋势确定起始帧的方法，包括：
13、将获取的各个图像帧中的标志物面积，按照相应的录像时间顺序排列组成面积数据集合；
14、计算面积数据集合中每相邻两个面积数据之间的变化斜率，并将各个变化斜率组成斜率数据集合；
15、提供预设斜率阈值，将斜率数据集合中的超过预设斜率阈值且对应录像时间最早的变化斜率，确定为目标变化斜率；
16、先根据目标变化斜率确定对应的相邻两个面积数据，再根据相邻两个面积数据确定对应的两个图像帧，然后将其中的录像时间靠后的图像帧确定为起始帧。
17、可选的，在计算面积数据集合中每相邻两个面积数据之间的变化斜率之前，还包括：
18、对面积数据集合内的面积数据进行平滑处理。
19、可选的，标志物包括多层嵌套结构，每层嵌套结构的轮廓呈多边形，且相邻两层嵌套结构的填充颜色不同。
20、可选的，依次检测获取录像文件的各帧图片中的标志物相关信息，包括：
21、按照录像时间顺序，从录像文件的所有图像帧中，依次提取一图像帧作为当前检测帧并执行以下检测操作：
22、对当前检测帧进行轮廓检测，先筛选出其中具有多层嵌套结构的图形，再对各个图形进行多边形拟合后，从中筛选出具有多边形轮廓的图形，然后检测各图形中的多层嵌套结构的内部颜色和结构比例，将其检测结果与标志物特征相符合的图形认定为标志物，输出标志物的面积和位置。
23、可选的，在当前检测帧执行检测操作前，还包括：
24、对当前检测帧进行预处理操作，预处理操作包括高斯滤波和/或自适应二值化。
25、可选的，根据标志物从录像文件的所有图像帧中确定终止帧的方法，包括：
26、循环执行以下图像帧提取及帧差运算操作：按照录像时间顺序，提取第n个图像帧和第n+1个图像帧；计算第n个图像帧的画面区域与第n+1个图像帧的画面区域的帧差，所述画面区域为图像帧的屏幕区域在排除手指/机械手区域后的剩余区域；若帧差超过预设帧差阈值，则认定第n+1个图像帧的画面区域相对于第n个图像帧的画面区域发生变化，并在n＝n+1后返回；若帧差未超过预设帧差阈值，则认定第n+1个图像帧的画面区域相对于第n个图像帧的画面区域未发生变化，并在n＝n+1后返回进入下一循环过程；
27、在连续未发生变化的图像帧数量超过预设帧数阈值时，停止图像帧提取及帧差运算的循环操作，并从连续未发生变化的多个图像帧中确定终止帧。
28、可选的，从连续未发生变化的多个图像帧中确定终止帧的方法，包括：
29、将连续未发生变化的多个图像帧，按照录像时间顺序排列组成参考帧集合，初始化m＝1；
30、循环执行以下像素对比操作：从参考帧集合中提取第m个图像帧和第m+1个图像帧；先通过深度学习算法从第m个图像帧中提取特征点，并初始化光流场；再通过hs光流算法进行迭代运算，以获取第m+1个图像帧与第m个图像帧的每个像素处的光流向量；然后根据每个像素处的光流向量，计算第m+1个图像帧与第m个图像帧相比存在变化的像素点比例；判断存在变化的像素点比例是否超过预设比例阈值，若超过，则认为两个图像帧之间具有变化，将m＝m+1后返回进入下一循环过程；若未超过，则认为两个图像帧之间无变化，结束循环，将当前的第m个图像帧确定为终止帧。
31、一种屏幕点击响应时间测试系统，用于实现以上任一项所述屏幕点击响应时间测试方法，包括：
32、测试机，包括屏幕；
33、相机，用于对测试机的屏幕画面进行录像；
34、控制终端，用于在测试机的屏幕被佩戴有指套的手指或机械手点击之前控制相机启动录像，以及在测试机的屏幕被佩戴有指套的手指或机械手点击之后控制相机停止录像；还用于获取录像文件，根据标志物从录像文件的所有图像帧中确定起始帧和终止帧；其中，起始帧为点击操作完成时刻的图像帧，终止帧为在点击操作后屏幕画面变化结束时刻的图像帧；根据起始帧和终止帧，计算屏幕点击响应时间。
35、与现有技术相比，本专利技术实施例具有以下有益效果：
36、本专利技术实施例中，由控制终端来对相机的启动及停止进行自动控制，在录像过程中由佩戴指套的手指或机械手在测试机的本文档来自技高网...
【技术保护点】
1.一种屏幕点击响应时间测试方法，其特征在于，包括：
2.根据权利要求1所述的屏幕点击响应时间测试方法，其特征在于，根据标志物从录像文件的所有图像帧中确定起始帧的方法，包括：
3.根据权利要求2所述的屏幕点击响应时间测试方法，其特征在于，根据在录像过程中标志物的面积和/位置变化趋势确定起始帧的方法，包括：
4.根据权利要求3所述的屏幕点击响应时间测试方法，其特征在于，在计算面积数据集合中每相邻两个面积数据之间的变化斜率之前，还包括：
5.根据权利要求2所述的屏幕点击响应时间测试方法，其特征在于，标志物包括多层嵌套结构，每层嵌套结构的轮廓呈多边形，且相邻两层嵌套结构的填充颜色不同。
6.根据权利要求5所述的屏幕点击响应时间测试方法，其特征在于，依次检测获取录像文件的各帧图片中的标志物相关信息，包括：
7.根据权利要求6所述的屏幕点击响应时间测试方法，其特征在于，在当前检测帧执行检测操作前，还包括：
8.根据权利要求1所述的屏幕点击响应时间测试方法，其特征在于，根据标志物从录像文件的所有图像帧中确定终
9.根据权利要求8所述的屏幕点击响应时间测试方法，其特征在于，从连续未发生变化的多个图像帧中确定终止帧的方法，包括：
10.一种屏幕点击响应时间测试系统，用于实现权利要求1至9任一项所述屏幕点击响应时间测试方法，其特征在于，包括：
...【技术特征摘要】
1.一种屏幕点击响应时间测试方法，其特征在于，包括：
2.根据权利要求1所述的屏幕点击响应时间测试方法，其特征在于，根据标志物从录像文件的所有图像帧中确定起始帧的方法，包括：
3.根据权利要求2所述的屏幕点击响应时间测试方法，其特征在于，根据在录像过程中标志物的面积和/位置变化趋势确定起始帧的方法，包括：
4.根据权利要求3所述的屏幕点击响应时间测试方法，其特征在于，在计算面积数据集合中每相邻两个面积数据之间的变化斜率之前，还包括：
5.根据权利要求2所述的屏幕点击响应时间测试方法，其特征在于，标志物包括多层嵌套结构，每层嵌套结构的轮廓呈多边形，且相邻两层嵌套结构的填充颜色不同。...
【专利技术属性】
技术研发人员：潘思羽，郑久安，戴忠旭，唐晓微，
申请(专利权)人：无锡睿勤科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。