测试屏幕灵敏度的方法、装置和处理器制造方法及图纸

本发明专利技术公开了一种测试屏幕灵敏度的方法、装置和处理器。其中，该方法包括：采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域；对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像；对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。本发明专利技术解决了现有的屏幕灵敏度测试存在测试效率低的技术问题。

【技术实现步骤摘要】
测试屏幕灵敏度的方法、装置和处理器
本专利技术涉及终端测试领域，具体而言，涉及一种测试屏幕灵敏度的方法、装置和处理器。
技术介绍
在移动端智能设备普及的时代，越来越多的移动设备(例如，手机、平板电脑等)的应用程序出现在我们的生活中，用户对于应用程序(例如，App，手游等)的响应速度要求也越来越高。其中，屏幕灵敏度是反映应用程序响应速度的重要性能指标，屏幕灵敏度通常通过测试人员在移动设备的应用界面上进行点击的时刻与应用程序响应本次点击的响应时刻之间的时间差来确定的。现有的屏幕灵敏度的测试方法主要包括以下两种：方法一：使用高速摄像机拍摄人工操作移动设备的过程，并按照预设帧率获取多帧图片，再通过人工观察图像的方式，确定应用界面点击图像和应用界面响应图像，然后通过人工数图像的方式，确定点击时刻和响应时刻之间的图像数量，并进行灵敏度换算，得到该移动设备的屏幕灵敏度。方法二：通过录制操作视频，采用视频和图像处理技术相结合的方式自动分析视频，并取出每帧图像，对每帧图像进行目标识别或图像相似度计算，通过相关的技术手段自动获取应用界面响应的响应时刻，最后结合人工确定的应用界面的点击时刻，计算得到点击时刻和响应时刻之间的时间差，进行灵敏度换算后得到该移动设备的屏幕灵敏度。然而，方法一虽然能够得到准确的测试结果，但自动化程度较低，而且人工数图像的效率也比较低，从而降低了屏幕灵敏度的测试效率。方法二仅部分实现了用户界面响应时刻的自动捕捉，并未包含用户界面的点击时刻，而且在包含复杂用户界面的游戏应用中，通过图片整体的相似度计算或者深度学习模型进行目标识别都不足于准确捕捉到用户界面响应时刻的画面，准确率较低，而且还存在与第一种方法中人工测试的结果不一致问题。此外，在方法二中，对于不同测试场景，需要准备不同的目标图片，配置繁琐，通用性不高，难以覆盖大部分的测试场景。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种测试屏幕灵敏度的方法、装置和处理器，以至少解决现有的屏幕灵敏度测试存在测试效率低的技术问题。根据本专利技术实施例的一个方面，提供了一种测试屏幕灵敏度的方法，包括：采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域；对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像；对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度。进一步地，测试屏幕灵敏度的方法还包括：检测显示灯以及待检测屏幕的相对位置是否满足预设条件；在相对位置满足预设条件的情况下，控制图像采集设备对连续多帧的视频图像进行采集；在待检测屏幕完成响应的时长大于或等于预设时长之后，控制图像采集设备采集下一帧视频图像。进一步地，测试屏幕灵敏度的方法还包括：在采集待检测屏幕的连续多帧的视频图像之后，获取连续多帧的视频图像中的每帧视频图像；确定每帧视频图像中的显示灯区域和每帧视频图像中的响应区域。进一步地，测试屏幕灵敏度的方法还包括：获取第一预设视频图像以及显示灯模板图像，其中，第一预设视频图像为连续多帧的视频图像中的任意一帧图像；确定第一预设视频图像中的显示灯区域对应的第一区域以及响应区域对应的第二区域；根据显示灯模板图像和第一区域的第一位置确定每帧视频图像中的显示灯区域；根据第二区域的第二位置确定每帧视频图像中的响应区域。进一步地，测试屏幕灵敏度的方法还包括：确定当前帧视频图像中与显示灯模板图像匹配的匹配区域；计算匹配区域与显示灯模板图像之间的第一相似度；在第一相似度大于预设相似度的情况下，根据匹配区域在当前帧视频图像中的位置信息确定当前帧视频图像的显示灯区域；在第一相似度小于或等于预设相似度的情况下，根据第一区域的第一位置确定当前帧视频图像的显示灯区域。进一步地，测试屏幕灵敏度的方法还包括：计算当前帧视频图像的显示灯区域的平均亮度；在平均亮度大于预设亮度阈值的情况下，记录当前帧视频图像的第一帧标识。进一步地，测试屏幕灵敏度的方法还包括：计算预设数量的视频图像之间的相似度变化值，其中，预设数量的视频图像对应的帧标识大于第一帧标识；在相似度变化值小于预设变化值的情况下，根据第二位置确定第二预设视频图像中的响应区域，生成基准图像，其中，第二预设视频图像为预设数量的视频图像中的任意一帧图像；计算基准图像与每帧视频图像的响应区域之间的第二相似度，以及基准图像与每帧视频图像的响应区域之间的颜色模型；根据第二相似度以及颜色模型确定响应图像的第二帧标识。进一步地，测试屏幕灵敏度的方法还包括：计算第一帧图像的相似度与第二帧图像的相似度的差值，得到相似度差值，其中，第一帧图像与第二帧图像为相邻的图像，并且，第二帧图像对应的帧标识大于第一帧图像对应的帧标识；计算第一帧图像的颜色模型与第二帧图像的颜色模型的差值，得到颜色模型差值；在相似度差值大于预设相似度差值，并且，颜色模型差值大于预设颜色模型差值的情况下，确定第二帧图像对应的帧标识为第二帧标识。进一步地，测试屏幕灵敏度的方法还包括：计算第一帧标识与第二帧标识之间的帧差；对帧差进行修正，得到修正后的帧差；对修正后的帧差进行帧率换算，得到灵敏度。进一步地，测试屏幕灵敏度的方法还包括：在待检测屏幕接收到点击操作之后，检测在预设时长内是否采集到响应图像；如果在预设时长内未采集到响应图像，则确定第一帧标识为无效帧标识。进一步地，测试屏幕灵敏度的方法还包括：在根据第一帧标识和第二帧标识计算待检测屏幕的灵敏度之后，获取灵敏度集合，其中，灵敏度集合包括多个灵敏度；从灵敏度集合中剔除异常灵敏度，得到校正后的灵敏度集合；计算校正后的灵敏度集合的平均值，得到目标灵敏度。进一步地，测试屏幕灵敏度的方法还包括：在当前灵敏度大于预设阈值时，确定当前灵敏度为异常灵敏度；或者；计算当前灵敏度与其他灵敏度的差值，在差值大于预设差值时，确定当前灵敏度为异常灵敏度。根据本专利技术实施例的另一方面，还提供了一种测试屏幕灵敏度的装置，包括：采集模块，用于采集连续多帧的视频图像，其中，连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，显示灯区域为显示灯在视频图像中的区域，响应区域为在待检测屏幕响应接收到点击操作的区域；第一检测模块，用于对连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，点击图像为待检测屏幕接收到的点击操作的图像；第二检测模块，用于对连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，响应图像为待检测屏幕响应点击操作的图像；计算模块，用于根据第一帧标识本文档来自技高网...

【技术保护点】
1.一种测试屏幕灵敏度的方法，其特征在于，包括：/n采集连续多帧的视频图像，其中，所述连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，所述连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，其中，所述显示灯区域为显示灯在所述视频图像中的区域，所述响应区域为在所述待检测屏幕响应接收到点击操作的区域；/n对所述连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，所述点击图像为所述待检测屏幕接收到的点击操作的图像；/n对所述连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，所述响应图像为所述待检测屏幕响应所述点击操作的图像；/n根据所述第一帧标识和所述第二帧标识计算所述待检测屏幕的灵敏度。/n

【技术特征摘要】
1.一种测试屏幕灵敏度的方法，其特征在于，包括：
采集连续多帧的视频图像，其中，所述连续多帧的视频图像为对待检测屏幕进行测试过程中采集到的图像，所述连续多帧中的每帧视频图像至少包括显示灯区域和响应区域，其中，所述显示灯区域为显示灯在所述视频图像中的区域，所述响应区域为在所述待检测屏幕响应接收到点击操作的区域；
对所述连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，其中，所述点击图像为所述待检测屏幕接收到的点击操作的图像；
对所述连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，其中，所述响应图像为所述待检测屏幕响应所述点击操作的图像；
根据所述第一帧标识和所述第二帧标识计算所述待检测屏幕的灵敏度。


2.根据权利要求1所述的方法，其特征在于，采集连续多帧的视频图像，包括：
检测所述显示灯以及所述待检测屏幕的相对位置是否满足预设条件；
在所述相对位置满足所述预设条件的情况下，控制图像采集设备对所述连续多帧的视频图像进行采集；
在所述待检测屏幕完成响应的时长大于或等于预设时长之后，控制所述图像采集设备采集下一帧视频图像。


3.根据权利要求1所述的方法，其特征在于，在采集待检测屏幕的连续多帧的视频图像之后，所述方法还包括：
获取所述连续多帧的视频图像中的每帧视频图像；
确定所述每帧视频图像中的显示灯区域和所述每帧视频图像中的响应区域。


4.根据权利要求3所述的方法，其特征在于，确定所述每帧视频图像中的显示灯区域和所述每帧视频图像中的响应区域，包括：
获取第一预设视频图像以及显示灯模板图像，其中，所述第一预设视频图像为所述连续多帧的视频图像中的任意一帧图像；
确定所述第一预设视频图像中的显示灯区域对应的第一区域以及所述响应区域对应的第二区域；
根据所述显示灯模板图像和所述第一区域的第一位置确定所述每帧视频图像中的显示灯区域；
根据所述第二区域的第二位置确定所述每帧视频图像中的响应区域。


5.根据权利要求4所述的方法，其特征在于，根据所述显示灯模板图像和所述第一区域的第一位置确定所述每帧视频图像中的显示灯区域，包括：
确定当前帧视频图像中与所述显示灯模板图像匹配的匹配区域；
计算所述匹配区域与所述显示灯模板图像之间的第一相似度；
在所述第一相似度大于预设相似度的情况下，根据所述匹配区域在所述当前帧视频图像中的位置信息确定所述当前帧视频图像的显示灯区域；
在所述第一相似度小于或等于所述预设相似度的情况下，根据所述第一区域的第一位置确定所述当前帧视频图像的显示灯区域。


6.根据权利要求5所述的方法，其特征在于，对所述连续多帧的视频图像的显示灯区域进行第一检测，确定点击图像所对应的第一帧标识，包括：
计算所述当前帧视频图像的显示灯区域的平均亮度；
在所述平均亮度大于预设亮度阈值的情况下，记录所述当前帧视频图像的第一帧标识。


7.根据权利要求4所述的方法，其特征在于，对所述连续多帧的视频图像的响应区域进行第二检测，确定响应图像对应的第二帧标识，包括：
计算预设数量的视频图像之间的相似度变化值，其中，所述预设数量的视频图像对应的帧标识大于所述第一帧标识；
在所述相似度变化值小于预设变化值的情况下，根据所述第二位置确定第二预设视频图像中的响应区域，生成基准图像，其中，所述第二预设视频图像为所述预设数量的视频图像中的任意...

【专利技术属性】
技术研发人员：蒲新和，黄庆宣，魏开彦，余家亨，雷延顺，张弘，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33