一种操作回放生成方法、装置、设备及介质制造方法及图纸

本申请公开了一种操作回放生成方法、装置、设备及介质，一方面，与基于每个第一目标位置生成操作回放相比，基于每个目标对象生成的操作回放结果更准确；另一方面，本申请还将每个目标对象的标识以及目标操作事件与第一操作对应保存，以便后续第二终端生成与第一操作回放对应的操作相同的第二移动终端对应的第二操作回放时，可以基于该第一操作回放对应的每个目标对象的标识以及目标操作事件生成该第二操作回放，即使第一移动终端与第二移动终端对应的分辨率不同，也不会影响第二移动终端对应的第二操作回放的正确性。对应的第二操作回放的正确性。对应的第二操作回放的正确性。

【技术实现步骤摘要】
一种操作回放生成方法、装置、设备及介质


[0001]本专利技术涉及多媒体
，尤其涉及一种操作回放生成方法、装置、设备及介质。

技术介绍

[0002]伴随着多媒体的快速发展，可以将第一移动终端的屏幕投放在终端上，后续借助鼠标在终端的投屏上进行相应操作，比如，点击开始按钮操作，点击暂停按钮操作等等，进而控制第一移动终端在其显示页面上进行同样的操作，最后将操作过程进行记录并生成操作回放，其中，该操作回放为记录用户操作行为的自动化脚本，即记录操作过程的自动化脚本。具体的，为了录制用户操作行为，也就是说为了生成操作回放，现有技术一般是先识别第一移动终端上的操作位置，然后根据操作位置以及对应的操作事件生成第一移动终端的操作回放。
[0003]为了实现自动化，如果不将第二移动终端的屏幕投放到终端上，从而生成操作回放，而是根据第一移动终端中记录的操作位置，进行相同操作生成的操作回放时，若第一移动终端与第二移动终端对应的分辨率不同，对应的操作位置是不相同的，因此，若直接利用识别出的第一移动终端上的操作位置生成第二移动终端对应的操作回放，则会使得第二移动终端对应的操作回放的生成结果不准确。

技术实现思路

[0004]本申请提供了一种操作回放生成方法、装置、设备及介质，用以解决现有技术中基于操作位置生成操作回放导致操作回放生成结果不准确的问题。
[0005]本申请提供了一种操作回放生成方法，应用于第一终端，所述方法包括：
[0006]所述第一终端根据预设时间长度内接收到的对自身显示界面的每个目标操作指令，获得在第一移动终端的显示页面上操作的每个第一目标位置以及对应的目标操作事件，其中所述目标操作指令中携带在所述第一终端上操作的第二目标位置以及对应的操作事件；其中，第一移动终端的显示内容投屏到所述第一终端上显示；
[0007]根据每个所述第一目标位置，确定在所述第一移动终端上操作的每个目标对象；
[0008]基于确定的所述每个目标对象的标识以及所述目标操作事件的顺序，生成所述预设时间长度的第一操作回放，并将所述每个目标对象的标识以及所述目标操作事件与所述第一操作回放对应保存。
[0009]进一步地，所述第一终端根据预设时间长度内接收到的对自身显示界面的每个目标操作指令，获得在第一移动终端的显示页面上操作的每个第一目标位置以及对应的目标操作事件包括：
[0010]针对接收到的所述每个目标操作指令，提取该目标操作指令中携带的所述第一终端上操作的第二目标位置以及对应的操作事件，并将所述操作事件确定为目标操作事件；根据所述第二目标位置以及预先保存的第一移动终端的显示页面上的位置与第一终端的
显示页面上的位置的对应关系，确定所述第二目标位置在所述第一移动终端的显示页面上对应的位置，并将所述位置确定为所述第一目标位置。
[0011]进一步地，所述根据每个所述第一目标位置，确定在所述第一移动终端上操作的每个目标对象包括：
[0012]针对每个所述第一目标位置，根据预先保存的每个对象所在的区域范围以及该第一目标位置，确定区域范围包含该第一目标位置的每个候选对象；将区域范围最小的候选对象确定为目标对象。
[0013]本申请还提供了一种操作回放生成方法，应用于第二终端，所述方法包括：
[0014]若所述第二终端接收到生成与第一操作回放对应的操作相同的操作回放生成指令，则获取第一终端发送的所述第一操作回放对应的每个目标对象的标识以及目标操作事件；
[0015]基于所述每个目标对象的标识以及所述目标操作事件的顺序，生成所述第二移动终端对应的第二操作回放。
[0016]本申请还提供了一种操作回放生成装置，应用于第一终端，所述装置包括：
[0017]第一获取模块，用于所述第一终端根据预设时间长度内接收到的对自身显示界面的每个目标操作指令，获得在第一移动终端的显示页面上操作的每个第一目标位置以及对应的目标操作事件，其中所述目标操作指令中携带在所述第一终端上操作的第二目标位置以及对应的操作事件；其中，第一移动终端的显示内容投屏到所述第一终端上显示；
[0018]确定模块，用于根据每个所述第一目标位置，确定在所述第一移动终端上操作的每个目标对象；
[0019]处理模块，用于基于确定的所述每个目标对象的标识以及所述目标操作事件的顺序，生成所述预设时间长度的第一操作回放，并将所述每个目标对象的标识以及所述目标操作事件与所述第一操作回放对应保存。
[0020]进一步地，所述第一获取模块，具体用于针对接收到的所述每个目标操作指令，提取该目标操作指令中携带的所述第一终端上操作的第二目标位置以及对应的操作事件，并将所述操作事件确定为目标操作事件；根据所述第二目标位置以及预先保存的第一移动终端的显示页面上的位置与第一终端的显示页面上的位置的对应关系，确定所述第二目标位置在所述第一移动终端的显示页面上对应的位置，并将所述位置确定为所述第一目标位置。
[0021]进一步地，所述确定模块，具体用于针对每个所述第一目标位置，根据预先保存的每个对象所在的区域范围以及该第一目标位置，确定区域范围包含该第一目标位置的每个候选对象；将区域范围最小的候选对象确定为目标对象。
[0022]本申请还提供了操作回放生成装置，应用于第二终端，所述装置包括：
[0023]第二获取模块，用于若所述第二终端接收到生成与第一操作回放对应的操作相同的操作回放生成指令，则获取第一终端发送的所述第一操作回放对应的每个目标对象的标识以及目标操作事件；
[0024]生成模块，用于基于所述每个目标对象的标识以及所述目标操作事件的顺序，生成所述第二移动终端对应的第二操作回放。
[0025]本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处
理器用于执行存储器中存储的计算机程序时实现如上述任一所述操作回放生成方法的步骤。
[0026]本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述操作回放生成方法的步骤。
[0027]由于在本申请实施例中，第一移动终端在获得在其显示页面上操作的每个第一目标位置以及对应的目标操作事件之后，不基于每个第一目标位置生成操作回放，而是基于每个第一目标位置先确定每个目标对象，然后基于每个目标对象的标识以及目标操作事件的顺序，生成第一操作回放，一方面，与基于每个第一目标位置生成操作回放相比，基于每个目标对象生成的操作回放更准确；另一方面，本申请还将每个目标对象的标识以及目标操作事件与第一操作回放对应保存，以便后续第二终端生成与第一操作回放对应的操作相同的第二移动终端对应的第二操作回放时，可以基于该第一操作回放对应的每个目标对象的标识以及目标操作事件生成该第二操作回放，即使第一移动终端与第二移动终端对应的分辨率不同，也不会影响生成的第二移动终端对应的第二操作回放的准确性。
附图说明
[0028]为了更清楚地说明本申请实施例中的技术方案，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作回放生成方法，其特征在于，应用于第一终端，所述方法包括：所述第一终端根据预设时间长度内接收到的对自身显示界面的每个目标操作指令，获得在第一移动终端的显示页面上操作的每个第一目标位置以及对应的目标操作事件，其中所述目标操作指令中携带在所述第一终端上操作的第二目标位置以及对应的操作事件；其中，第一移动终端的显示内容投屏到所述第一终端上显示；根据每个所述第一目标位置，确定在所述第一移动终端上操作的每个目标对象；基于确定的所述每个目标对象的标识以及所述目标操作事件的顺序，生成所述预设时间长度的第一操作回放，并将所述每个目标对象的标识以及所述目标操作事件与所述第一操作回放对应保存。2.根据权利要求1所述的方法，其特征在于，所述第一终端根据预设时间长度内接收到的对自身显示界面的每个目标操作指令，获得在第一移动终端的显示页面上操作的每个第一目标位置以及对应的目标操作事件包括：针对接收到的所述每个目标操作指令，提取该目标操作指令中携带的所述第一终端上操作的第二目标位置以及对应的操作事件，并将所述操作事件确定为目标操作事件；根据所述第二目标位置以及预先保存的第一移动终端的显示页面上的位置与第一终端的显示页面上的位置的对应关系，确定所述第二目标位置在所述第一移动终端的显示页面上对应的位置，并将所述位置确定为所述第一目标位置。3.根据权利要求1所述的方法，其特征在于，所述根据每个所述第一目标位置，确定在所述第一移动终端上操作的每个目标对象包括：针对每个所述第一目标位置，根据预先保存的每个对象所在的区域范围以及该第一目标位置，确定区域范围包含该第一目标位置的每个候选对象；将区域范围最小的候选对象确定为目标对象。4.一种操作回放生成方法，其特征在于，应用于第二终端，所述方法包括：若所述第二终端接收到生成与第一操作回放对应的操作相同的操作回放生成指令，则获取第一终端发送的所述第一操作回放对应的每个目标对象的标识以及目标操作事件；基于所述每个目标对象的标识以及所述目标操作事件的顺序，生成所述第二移动终端对应的第二操作回放。5.一种操作回放生成装置，其特征在于，应用于第一终端，所述装置包括：第一获取模块，用于所述第一终端根据预设时间长度内接收到的对自身显示界面的每个目标操作指令，获得在第一...

【专利技术属性】
技术研发人员：刘军，孙瑞超，庞彦广，王博威，肖昱，李洪威，滕德龙，
申请(专利权)人：大商所飞泰测试技术有限公司，
类型：发明
国别省市：