目标应用的操作录制方法和装置制造方法及图纸

本发明专利技术公开了一种目标应用的操作录制方法和装置。其中，该方法包括：通过第二终端上的录制客户端上获取第一终端上的目标应用的第一原始应用画面；在录制客户端上将第一原始应用画面缩小到第一目标应用画面；在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；在录制客户端上将第一目标录制信息记录在录制脚本中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作。本发明专利技术解决了现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。

Operation recording method and device of target application

【技术实现步骤摘要】
目标应用的操作录制方法和装置
本专利技术涉及计算机领域，具体而言，涉及一种目标应用的操作录制方法和装置。
技术介绍
现有关于Windows应用的脚本录制回放的技术主要是通过控件树遍历控件，或者图像处理的方式找到目标点，然后结合Windows鼠标键盘事件实现具体操作。以UIAutomation为代表，都是通过控件树的方式获取应用的布局，然后通过控件在控件树中的路径定位控件。后来随着图像技术的发展，出现了以SikuliX为代表的通过图像定位控件的测试技术。由于端游的实现方式和防外挂机制，端游客户端无法像普通的PC应用一样，通过注入、hook等方式获取应用窗体结构，因此，不能通过定位控件的方式实现自动化；游戏为了防止外挂影响游戏的公平性和平衡性，会对游戏进行安全防护，使得无法通过常用的方式在游戏内调用键盘鼠标事件，SikuliX就无法对某些进行安全防护的游戏进行脚本回放。由于端游功能自动化测试的脚本录制方案比较少，兼容性以及使用率都不高。主要的困难包括以下几点：(1)端游的防外挂机制使得一般的键盘、鼠标在端游客户端内无法操作；(2)由于端游的防外挂机制，端游客户端无法像普通的PC应用一样，通过注入、hook等方式获取应用窗体结构，因此不能通过定位控件的方式实现自动化；(3)各类游戏的分辨率、电脑屏幕的分辨率有多种，图像查找效果不好。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种目标应用的操作录制方法和装置，以至少解决现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。根据本专利技术实施例的一个方面，提供了一种目标应用的操作录制方法，包括：在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。根据本专利技术实施例的另一方面，还提供了一种目标应用的操作录制装置，包括：第一获取单元，用于在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；缩放单元，用于在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；第二获取单元，用于在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；录制单元，用于在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标应用的操作录制方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标应用的操作录制方法。在本专利技术实施例中，通过在录制客户端上获取目标应用的第一原始应用画面，其中，目标应用运行在第一终端上，录制客户端运行在第二终端上，录制客户端与第一终端建立了连接；在录制客户端上将第一原始应用画面缩小到第一目标应用画面，其中，第一目标应用画面的尺寸为预定的目标尺寸；在录制客户端上获取对第一目标应用画面中的第一目标对象执行的第一目标触控操作；在录制客户端上将第一目标录制信息记录在录制脚本中，其中，第一目标录制信息包括第一目标对象在第一目标应用画面中的第一图片、和第一目标操作信息，第一目标操作信息用于表示对第一目标对象执行的第一目标触控操作，达到了通过录制终端获取第一终端的触控操作的目的，从而实现了对于脚本回放过程中，游戏分辨率、设备分辨率的不同，对匹配模板进行比例缩放，提高匹配的成功率的技术效果，进而解决了现有技术中，目标应用的操作的单一性，导致在回放录制目标应用的操作过程中出现的回放不精确的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的目标应用的操作录制方法的应用环境的示意图；图2是根据本专利技术实施例的一种可选的目标应用的操作录制方法的流程图；图3是根据优选实施例一种Windows游戏的脚本录制回放方法的结构框图；图4是根据本专利技术实施例的一种可选的目标应用的操作装置的结构示意图；图5是根据本专利技术实施例的一种可选的目标应用的操作方法的电子装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了更好的理解本申请中的实施例，部分名词解释如下：HTTP通信：一种能够获取如HTML这样的网络资源的protocol(通讯协议)。它是在Web上进行数据交换的基础，是一种client-server协议，通信过程包括从客户端发往服务器端的请求以及从服务器端返回客户端的响应。CV：OpenCV，OpenSourceComputerVisionLibrary，是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和MacOS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类本文档来自技高网...

【技术保护点】
1.一种目标应用的操作录制方法，其特征在于，包括：/n在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；/n在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；/n在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；/n在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。/n

【技术特征摘要】
1.一种目标应用的操作录制方法，其特征在于，包括：
在录制客户端上获取目标应用的第一原始应用画面，其中，所述目标应用运行在第一终端上，所述录制客户端运行在第二终端上，所述录制客户端与所述第一终端建立了连接；
在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，其中，所述第一目标应用画面的尺寸为预定的目标尺寸；
在所述录制客户端上获取对所述第一目标应用画面中的第一目标对象执行的第一目标触控操作；
在所述录制客户端上将第一目标录制信息记录在录制脚本中，其中，所述第一目标录制信息包括所述第一目标对象在所述第一目标应用画面中的第一图片、和第一目标操作信息，所述第一目标操作信息用于表示对所述第一目标对象执行的所述第一目标触控操作。


2.根据权利要求1所述的方法，其特征在于，在所述录制客户端上将所述第一原始应用画面缩小到第一目标应用画面，包括：
获取所述第一原始应用画面的第一尺寸；
将所述第一尺寸与所述目标尺寸的比例确定为第一目标比例；
将所述第一原始应用画面按所述第一目标比例缩小到所述第一目标应用画面。


3.根据权利要求1所述的方法，其特征在于，所述在所述录制客户端上将第一目标录制信息记录在录制脚本中，包括：
在所述第一目标触控操作包括输入操作的情况下，将目标接口信息记录在所述录制脚本中，其中，所述第一目标录制信息包括所述目标接口信息，所述目标接口信息用于指示目标接口，所述目标接口用于被调用时从目标存储位置获取存储的所述输入操作所输出的字符串信息。


4.根据权利要求1所述的方法，其特征在于，在所述录制客户端上将第一目标录制信息记录在录制脚本中之后，所述方法还包括：
在所述第二终端上获取回放指令，其中，所述回放指令用于指示回放所述录制脚本，所述第二终端上运行了所述目标应用；
响应所述回放指令，在所述第二终端上显示的所述第一原始应用画面中查找与所述录制脚本中记录的所述第一图片对应的第二图片，其中，所述第二图片用于表示所述第一原始应用画面中的第一原始对象，所述第一图片表示的所述第一目标对象是所述第一原始对象的缩小版本；
在所述第二终端上显示的所述第一原始应用画面中对所述第二图片表示的所述第一原始对象执行所述第一目标触控操作。


5.根据权利要求4所述的方法，其特征在于，在所述第二终端上显示的所述第一原始应用画面中查找与所述录制脚本中记录的所述第一图片对应的第二图片，包括：
按照第二目标比例将所述第一图片放大到第三图片，其中，所述第二目标比例为所述目标尺寸与所述第一原始应用画面在所述第二终端上的显示尺寸的比例；
在所述第二终端上显示的所述第一原始应用画面中查找与所述第三图片匹配的所述第二图片。


6.根据权利要求4所...

【专利技术属性】
技术研发人员：张婧，高威，方李志，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44