触屏式产品人机接口测试动作录制与回放的方法及系统技术方案

本发明专利技术公开了一种触屏式产品人机接口测试动作录制与回放的方法及系统，该方法包括以下步骤：S10对人机接口测试动作进行录制；S20对S10录制的人机接口测试动作进行回放；该系统包括：录制模块：用于对人机接口测试动作进行录制；回放模块：用于对录制模块录制的人机接口测试动作进行回放；执行器：用于根据获取的测试动作指令在触屏式产品的人机接口上执行测试动作。该方法及系统用于触屏式产品人机接口的自动测试，且通用于不同厂家生产的触屏式产品。

【技术实现步骤摘要】

本专利技术涉及触屏式产品人机接口测试领域，具体来说，涉及一种触屏式产品人机接口测试动作录制与回放的方法及系统。
技术介绍
触屏式产品的人机接口测试目的是测试整机性能是否达到预定的功能要求。主要方式有手工测试、专机测试、智能设备测试。传统的人机接口测试主要是手工测试，但近年来智能手机、平板等触屏产品的出货量急速增长，人力成本也不断攀升，人工测试的局限性越来越明显，如测试效率低，测试一致性差、人员流动性带来的负面影响。部分人机接口采用专机测试方式，专机测试尽管效率高，但测试功能单一、测试对象型号固定，需要辅以人员完成机器的操作和测试结果的评判和记录，泛用性不高，已逐渐不能满足需求。智能测试设备拥有可编程的控制系统、可模仿人手作业的柔性机构，以及模仿人眼、耳、嘴等感官的智能传感器，能快速适应产品型号更新换代、众多测试项的一站式测试和结果分析。智能测试设备能削减人工成本、提高测试效率和测试质量。但智能测试装备属于高端装备，技术含量高，门槛较高，都需要测试程序与脚本的编写，后期的维护工作比较繁重。
技术实现思路
技术问题：本专利技术所要解决的技术问题是：提供一种触屏式产品人机接口测试动作录制与回放的方法及系统，用于触屏式产品人机接口的自动测试，且通用于不同厂家生产的触屏式产品。技术方案：为解决上述技术问题，本专利技术实施例采用如下的技术方案：第一方面，本实施例提供一种触屏式产品人机接口测试动作录制与回放的方法，该方法包括以下步骤：S10对人机接口测试动作进行录制；S20对S10录制的人机接口测试动作进行回放。结合第一方面，作为第一种可能实现的方式，所述的S10进一步包括：S101)将一合格触屏式产品作为样机，采集样机人机接口的图像，并实时传送到带有触摸式屏幕且能够记录操作点的位置与时间序列的触屏示教终端，触屏示教终端实时显示人机接口图像；S102)将在触屏示教终端上完成的一个示教动作保存为一组操作点的位置与时间的序列；S103)将所述的一组操作点的位置与时间的序列变换为一条测试动作指令，并将该测试动作指令传送给执行器执行；S104)采集执行器在样机上的执行结果图像，并将该执行结果图像作为标准测试结果图像；S105)保存S104)中的标准测试结果图像以及对应的测试动作指令；S106)返回步骤S102，直至完成所有用于测试的示教动作的录制。结合第一方面的第一种可能实现的方式，作为第二种可能实现的方式，所述的S103)中，所述的一组操作点的位置与时间的序列变换为一条测试动作指令的具体过程为：将所述的一组操作点的位置序列由触屏示教终端的触摸屏坐标系经图像坐标系转换为执行器坐标系下的执行器末端位姿序列，将该执行器末端位姿序列进行运动学求逆解，生成执行器的关节位置，由关节位置和对应的时间序列生成插补轨迹，即执行器的运动轨迹，然后将执行器的运动轨迹转化成对应的执行器执行指令，即形成测试动作指令。结合第一方面，作为第三种可能实现的方式，所述的S20进一步包括：S201)将第n条测试动作指令传送给执行器执行，n＝1+q，q为步骤S204)返回步骤S201)的次数，q的初始值为0；S202)采集执行器在与样机同型号触屏式产品上的执行结果图像；S203)将采集的测试结果图像与所述的标准测试结果图像进行比较，若一致，则此项测试比较结果为通过，进入步骤S204)；若不一致，则此项测试比较结果为不通过，则测试结束或者进入步骤S204)；S204)返回步骤S201)，直至执行完所有的测试动作指令。结合第一方面的第三种可能实现的方式，作为第四种可能实现的方式，所述的S20，还包括S205)：更换与样机同型号的待测产品，并返回S201)，直至完成所有同一批次的待测产品的测试。第二方面，本实施例提供一种触屏式产品人机接口测试动作录制与回放的系统，该系统包括：录制模块：用于对人机接口测试动作进行录制；回放模块：用于对录制模块录制的人机接口测试动作进行回放；执行器：用于根据获取的测试动作指令在触屏式产品的人机接口上执行测试动作。结合第二方面，作为第一种可能实现的方式，所述的录制模块进一步包括：第一传送子模块：用于将样机人机接口显示的人机接口图像实时传送到带有触摸式屏幕且能够记录操作点的位置与时间序列的触屏示教终端；记录子模块：用于记录在触屏示教终端上完成的示教动作，并将示教动作保存为一组操作点的位置与时间的序列；变换子模块：用于将所述的一组操作点的位置与时间的序列变换为一条测试动作指令，并将该测试动作指令传送给执行器；第一采集子模块：用于采集执行器在样机人机接口上执行测试动作指令的结果图像，并将该结果图像作为标准测试结果图像；保存子模块：用于保存标准测试结果图像以及对应的测试动作指令。结合第二方面的第一种可能实现的方式，作为第二种可能实现的方式，所述的变换子模块进一步包括：转换单元：用于将所述的一组操作点的位置序列由触屏示教终端的触摸屏坐标系经图像坐标系转换为执行器坐标系下的执行器末端位姿序列；第一生成单元：用于将该执行器末端位姿序列进行运动学求逆解，生成执行器的关节位置；第二生成单元：用于根据关节位置和对应的时间序列生成插补轨迹，即执行器的运动轨迹；第三生成单元：用于将执行器的运动轨迹转化生成所述的测试动作指令。结合第二方面，作为第三种可能实现的方式，所述的回放模块进一步包括：第二传送子模块：用于将测试动作指令传送给执行器；第二采集子模块：用于采集执行器对与样机同型号的待测产品执行其接收的测试动作指令的测试结果；比较子模块：将第二采集子模块采集的测试结果与所述的标准测试结果图像进行比较，若一致，则此项测试比较结果为通过；若不一致，则此项测试比较结果为不通过。有益效果：与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：现在所有的可编程的测试设备，都需要预制或编写测试脚本或者代码，技术门槛高，需要专业人才来完成。同时，不同的厂家的编程语言和脚本格式都不相同，不通用，难移植。本专利技术实施例降低设备的使用门槛和编程成本，实现工厂不同设备之间的测试用例的可移植，实现测试程序的自动生成，或者无需编程就能得到测试用例。本专利技术实施例基于触摸屏和视觉的机器人示教方法，采用了现有的离线编程的示教和现场分离的原则和示教盒编程的在线模式，通过综合触摸屏、视觉和机器人控制技术，成为超越现有示教编程技术的全新的程序自动生成技<本文档来自技高网...

【技术保护点】
一种触屏式产品人机接口测试动作录制与回放的方法，其特征在于，该方法包括以下步骤：S10对人机接口测试动作进行录制；S20对S10录制的人机接口测试动作进行回放。

【技术特征摘要】
1.一种触屏式产品人机接口测试动作录制与回放的方法，其特征在于，该
方法包括以下步骤：
S10对人机接口测试动作进行录制；
S20对S10录制的人机接口测试动作进行回放。
2.按照权利要求1所述的触屏式产品人机接口测试动作录制与回放的方法，
其特征在于，所述的S10进一步包括：
S101)将一合格触屏式产品作为样机，采集样机人机接口的图像，并实时传
送到带有触摸式屏幕且能够记录操作点的位置与时间序列的触屏示教终端，触屏
示教终端实时显示人机接口图像；
S102)将在触屏示教终端上完成的一个示教动作保存为一组操作点的位置与
时间的序列；
S103)将所述的一组操作点的位置与时间的序列变换为一条测试动作指令，
并将该测试动作指令传送给执行器执行；
S104)采集执行器在样机上的执行结果图像，并将该执行结果图像作为标准
测试结果图像；
S105)保存S104)中的标准测试结果图像以及对应的测试动作指令；
S106)返回步骤S102，直至完成所有用于测试的示教动作的录制。
3.按照权利要求2所述的触屏式产品人机接口测试动作录制与回放的方法，
其特征在于，所述的S103)中，所述的一组操作点的位置与时间的序列变换为
一条测试动作指令的具体过程为：
将所述的一组操作点的位置序列由触屏示教终端的触摸屏坐标系经图像坐
标系转换为执行器坐标系下的执行器末端位姿序列，将该执行器末端位姿序列进
行运动学求逆解，生成执行器的关节位置，由关节位置和对应的时间序列生成插
补轨迹，即执行器的运动轨迹，然后将执行器的运动轨迹转化成对应的执行器执
行指令，即形成测试动作指令。
4.按照权利要求1所述的触屏式产品人机接口测试动作录制与回放的方法，
其特征在于，所述的S20进一步包括：
S201)将第n条测试动作指令传送给执行器执行，n＝1+q，q为步骤S204)

\t返回步骤S201)的次数，q的初始值为0；
S202)采集执行器在与样机同型号触屏式产品上的执行结果图像；
S203)将采集的测试结果图像与所述的标准测试结果图像进行比较，若一致，
则此项测试比较结果为通过，进入步骤S204)；若不一致，则此项测试比较结果
为不通过，则测试结束或者进入步骤S204)；
S204)返回步骤S201)，直至执行完所有的测试动作指令。
5.按照权利要求4所述的触屏...

【专利技术属性】
技术研发人员：李俊，牛希望，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32