智能终端应用程序交互响应时延的自动计算方法及系统技术方案

本发明专利技术提供了一种智能终端应用程序交互响应时延的自动计算方法及系统，所述方法包括，采集应用程序交互响应图像，对所述应用程序交互响应图像预处理；通过图像识别确定所述应用程序触发时刻图像；通过图像识别确定智能终端响应完成时刻图像；计算所述应用程序交互响应时延。本发明专利技术还提供了一种智能终端应用程序交互响应时延的自动计算系统，该系统包括，高速摄像头；机械手；智能终端；计算单元；其中，计算单元进一步包括，图像预处理模块；触发时刻计算模块；完成时刻计算模块；交互响应时延计算模块。

【技术实现步骤摘要】
智能终端应用程序交互响应时延的自动计算方法及系统
本专利技术涉及智能终端交互领域，尤指一种智能终端应用程序交互响应时延的自动计算方法及系统。
技术介绍
智能终端特别是智能手机的新变化要求与之相适应的智能终端评测体系和评测方法，有必要跳出传统的关注通信能力的测试，研究面向业务载体和服务平台的测试方法。用户体验是全面、有效评测智能终端产品作为业务载体和服务平台真实价值的核心指标，开展基于用户体验的测试得到行业的普遍认可。图1为用户等待系统给出反馈的过程，即交互等待状态。在体验经济时代，用户对于等待过程的印象直接影响用户对于产品服务质量的感知和判断，进而影响用户的满意度和忠诚度。研究表明，在应用程序使用过程中，应用程序(APP)的加载时延是影响用户体验的主要部分。APP的加载时延定义为用户点击终端的时刻与终端界面刚刚响应完成用户操作的两个时刻的差值。用户在APP加载过程的等待体验实际上是受到两种主要因素的影响——实际等待时间和感觉等待时间。实际等待时间是客观存在的加载消耗时间，受技术、网络等基础因素限制；感觉等待时间是用户主观感知上的心理印象，两者都会对用户的决策行为产生影响。由此智能终端用户体验评测可被分为主观评测和客观评测两种，主观评测是采用一定的评估方法应对体验作为个人心理感受的不稳定性、主观性、差异性和复杂性，量化用户的感受，准确获取用户体验信息并得到评测结果；客观评测主要是借助相关的测试仪器和测试软件，完成测试项的测试，并对测试数据综合处理获得评测结果。目前常见的应用程序交互响应时延的计算方法有两种，第一种方法，终端交互的实际等待时延可通过嵌入式系统响应性能分析，即通过读取日志记录的形式获取输入和输出时间差，得到相关的延时性能，通过安装测试软件。这种方法的缺点是：测试智能终端系统界面或应用软件运行时单位时间内的帧数，得到流畅性能即响应时延指标，读取日志耗时长，且需要第三方软件接入，响应时延单纯计算系统内部响应的耗时，没有考虑交互过程中的时延，导致应用程序交互响应时延计算不准确。第二种方法，将被测终端固定于安装有高速摄像机的操作台，使用机械手打开应用程序同时开始计时，高速摄像机将拍摄的图片传至服务器进行图像对比，匹配到应用程序响应完毕页面的标准图片后停止计时，计算时间差即应用程序响应时间。这种方法的缺点是：匹配模板图像需提前手动截取，匹配阈值不固定，交互起始时刻的判断计算耗时长，导致应用程序交互响应时延计算不正确。
技术实现思路
为解决目前智能终端应用程序交互响应时延计算不准确的问题，本专利技术实施例提供一种智能终端应用程序交互响应时延的自动计算方法方法，该方法包括：采集应用程序交互响应图像，对所述应用程序交互响应图像预处理；通过图像识别确定所述应用程序触发时刻图像；通过图像识别确定智能终端响应完成时刻图像；计算所述应用程序交互响应时延。本专利技术实施例还提供一种智能终端应用程序交互响应时延的自动计算系统，该系统包括：高速摄像头，用以采集应用程序交互响应图像；机械手，用以点击所述应用程序；智能终端，用以加载所述应用程序；计算单元；其中，计算单元进一步包括，图像预处理模块，对所述应用程序交互响应图像预处理；触发时刻计算模块，通过图像识别确定所述应用程序触发时刻图像；完成时刻计算模块，通过图像识别确定智能终端响应完成时刻图像；交互响应时延计算模块，计算所述应用程序交互响应时延。本专利技术实施例还提供一种计算机可读存储介质，其包括存储的计算机程序，当运行计算机程序时控制终端设备执行如下操作，根据采集的应用程序交互响应图像，对所述应用程序交互响应图像预处理；通过图像识别确定所述应用程序触发时刻图像；通过图像识别确定智能终端响应完成时刻图像；计算所述应用程序交互响应时延。本专利技术可用于用户体验的客观评测，通过一系列的图像处理技术获得用户交互过程中的实际等待时延，计算过程自动进行，避免了人工参与，使得计算结果更准确，为智能终端评测系统开发和评测平台建设提供有价值的思路和建议。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为人机交互过程示意状态图；图2为本专利技术实施例一种智能终端应用程序交互响应时延的自动计算方法的流程图；图3为本专利技术实施例一种智能终端应用程序交互响应时延的自动计算系统的结构图；图4为本专利技术一具体实施例的触发时刻交互区域的互相关值图；图5为本专利技术一具体实施例的完成时刻交互区域的互相关值图。具体实施方式本专利技术实施例提供一种智能终端应用程序交互响应时延的自动计算方法和系统。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图2所示为本专利技术实施例一种智能终端应用程序交互响应时延的自动计算方法的流程图，本图中方法具体包括，步骤201，采集应用程序交互响应图像，对所述应用程序交互响应图像预处理。步骤202，通过图像识别确定所述应用程序触发时刻图像。步骤203，通过图像识别确定智能终端响应完成时刻图像。步骤204，计算所述应用程序交互响应时延。其中，所述对所述应用程序交互响应图像预处理包括灰度化处理、RGB处理等，当然本实施例中的灰度化处理、RGB处理只是一个举例，还可以有其他的预处理方式。作为本专利技术的一个实施例，所述通过图像识别确定所述应用程序触发时刻图像包括，设定触发时刻模板图像；选取与所述触发时刻模板图像相似度达到触发时刻阈值的图像，从所述图像中确定所述应用程序触发时刻图像。其中，所述相似度达到触发时刻阈值的图像可能为一个或多个，从中选取某一个图像作为触发时刻图像。作为本专利技术一个实施例，所述通过图像识别确定智能终端响应完成时刻图像包括，设定完成时刻模板图像；选取与所述完成时刻模板图像相似度达到完成时刻阈值的图像，从所述图像中确定所述应用程序完成时刻图像。其中，所述相似度达到完成时刻阈值的图像可能为一个或多个，从中选取某一个图像作为完成时刻图像。作为本专利技术的一个实施例，所述对所述应用程序交互响应图像预处理包括，对所述应用程序交互响应图像灰度化处理，得到应用程序图像序列。其中，在对所述应用程序交互响应图像灰度化处理之后，对每一帧图像进行编号，即，例如第一帧图像的序列号为1。在本实施例中，所述通过图像识别确定所述应用程序触发时刻图像包括，以第一帧图像为触发时刻模板图像，计算所述应用程序图像交互区域与所述触发时刻模板图像交互区域灰度值的互相关值大小，获得互相关向量；计算所述互相关向量谷值，选取所述谷值对应的最大图像序列号，所述最大图像序列号对应的图像为应用程序触发时刻图像。其中，所述交互区域可为人与智能终端交互区域或者机械手与智能终端的交互区域，由此可知，所述交互区域为智能终端显示界面中的一部分。其中，所述计算所述互相关向量谷值包括，记录所述互相关值首次小于触发时刻阈值的图像序列号；在所述互相关值首次小本文档来自技高网...

【技术保护点】
一种智能终端应用程序交互响应时延的自动计算方法，其特征在于，所述方法包括，采集应用程序交互响应图像，对所述应用程序交互响应图像预处理；通过图像识别确定所述应用程序触发时刻图像；通过图像识别确定智能终端响应完成时刻图像；计算所述应用程序交互响应时延。

【技术特征摘要】
1.一种智能终端应用程序交互响应时延的自动计算方法，其特征在于，所述方法包括，采集应用程序交互响应图像，对所述应用程序交互响应图像预处理；通过图像识别确定所述应用程序触发时刻图像；通过图像识别确定智能终端响应完成时刻图像；计算所述应用程序交互响应时延。2.根据权利要求1所述的智能终端应用程序交互响应时延的自动计算方法，其特征在于，所述对所述应用程序交互响应图像预处理包括，对所述应用程序交互响应图像灰度化处理，得到应用程序图像序列。3.根据权利要求1所述的智能终端应用程序交互响应时延的自动计算方法，其特征在于，所述通过图像识别确定所述应用程序触发时刻图像包括，设定触发时刻模板图像；选取与所述触发时刻模板图像相似度达到触发时刻阈值的图像，从所述图像中确定所述应用程序触发时刻图像。4.根据权利要求2所述的智能终端应用程序交互响应时延的自动计算方法，其特征在于，所述通过图像识别确定所述应用程序触发时刻图像包括，以第一帧图像为触发时刻模板图像，计算所述应用程序图像交互区域与所述触发时刻模板图像交互区域灰度值的互相关值大小，获得互相关向量；计算所述互相关向量谷值，选取所述谷值对应的最大图像序列号，所述最大图像序列号对应的图像为应用程序触发时刻图像。5.根据权利要求4所述的智能终端应用程序交互响应时延的自动计算方法，其特征在于，所述计算所述互相关向量谷值包括，记录所述互相关值首次小于触发时刻阈值的图像序列号；在所述互相关值首次小于触发时刻阈值之后，记录其首次大于触发时刻阈值的图像序列号；比较所述互相关值首次小于触发时刻阈值的图像序列号与所述其首次大于触发时刻阈值的图像序列号区间中对应的互相关值，该互相关值中的最小值为所述互相关向量谷值。6.根据权利要求1所述的智能终端应用程序交...

【专利技术属性】
技术研发人员：张蔚敏，果敢，魏然，陈珺，何宇轩，尤增显，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：北京,11