操作脚本的生成方法、装置、可读介质以及设备制造方法及图纸

本申请公开了一种操作脚本的生成方法、装置、可读介质以及设备，该方法采集操作流程中的界面图像以及对应的时间戳，并采集操作流程中的操作信息；将操作信息输入至操作意图识别模型中，识别得到每一个待识别控件对象的操作意图信息；针对每一个待识别控件对象，利用待识别控件对象的操作意图信息，从每一个界面图像中的每一个控件对象中，匹配得到目标控件对象；将目标控件对象与待识别控件对象的操作意图信息进行关联，得到目标控件对象对应的操作意图信息；利用每一个目标控件对象对应的操作意图信息，生成操作流程对应的操作控制脚本。由于本申请所得到的操作控制脚本是按照操作意图执行的，相较于现有技术中实现操作目的的可靠性更高。

【技术实现步骤摘要】
操作脚本的生成方法、装置、可读介质以及设备
本申请涉及计算机
，尤其涉及一种操作脚本的生成方法、装置、可读介质以及设备。
技术介绍
现有技术中，通常会将重复性的操作工作，写成对应的操作脚本，然后自动化重复执行操作脚本，替代人工重复操作。现有的生成操作脚本的方式，主要是通过录制人工操作过程中的鼠标操作动作和坐标，进而生成操作脚本。执行操作脚本时，会重复鼠标的操作动作以及移动轨迹，达到自动化执行操作的目的。然而，现有的生成操作脚本的方式所得到的操作脚本，并不一定能够成功重复人工操作的过程。举例说明，例如用户所执行的操作为：操作鼠标滚轮，滚动五次后，移动到某一个控件，双击控件。但在实际机器自动执行操作脚本的过程中，机器执行滚动五次操作时所产生的滚动距离，与实际用户操作中所产生的滚动距离不一定一致，导致鼠标最终移动到的位置不一定是控件上，执行双击操作时没有对准控件执行，没有达到点击控件的操作目的。现有技术中生成的操作脚本不能够准确的还原人工操作的流程，无法执行实现操作目的，操作脚本的执行可靠性较低。
技术实现思路
基于上述现有技术的不足，本申请提供了一种操作脚本的生成方法、装置、可读介质以及设备，以实现提高操作控制脚本执行的可靠性。本申请第一方面公开了一种操作脚本的生成方法，包括：在目标用户执行操作流程的过程中，采集所述操作流程中的界面图像以及对应的时间戳，并采集所述操作流程中所述目标用户的操作信息；将所述目标用户的操作信息输入至操作意图识别模型中，识别得到所述操作流程中目标用户对每一个待识别控件对象的操作意图信息；其中，所述操作意图识别模型通过多个用户的操作信息、以及每一个所述用户的实际操作意图信息对神经网络模型进行训练得到；所述每一个待识别控件对象的操作意图信息用于说明所述目标用户对所述待识别控件对象的操作目的；针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息，从每一个所述界面图像中的每一个控件对象中，匹配得到与所述待识别控件对象相对应的目标控件对象；将所述目标控件对象与所述待识别控件对象的操作意图信息进行关联，得到所述目标控件对象对应的操作意图信息；利用每一个所述目标控件对象对应的操作意图信息，生成所述操作流程对应的操作控制脚本；其中，所述操作控制脚本用于按照每一个所述目标控件对象对应的操作意图信息的时间戳顺序，分别利用每一个所述目标控件对象对应的操作意图信息，识别定位到设备界面中的每一个所述目标控件对象，并对每一个所述目标控件对象执行对应的操作意图。可选地，在上述操作脚本的生成方法中，所述待识别控件对象的操作意图信息，包括：所述目标用户对所述待识别控件的操作意图动作、执行所述操作意图动作所对应的时间戳、以及执行所述操作意图动作所对应的坐标；其中，所述针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息，从每一个所述界面图像中的每一个控件对象中，匹配得到与所述待识别控件对象相对应的目标控件对象，包括：针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息中的时间戳，从每一个所述界面图像中，确定出与所述操作意图信息中的时间戳相匹配的界面图像；利用所述待识别控件对象的操作意图信息中的坐标，从所述相匹配的界面图像的每一个控件对象中，确定出与操作意图信息中的坐标相匹配的目标控件对象。可选地，在上述操作脚本的生成方法中，所述操作意图识别模型的创建方法，包括：构建训练数据集；其中，所述训练数据集，包括：多个用户的操作信息以及每一个所述用户的实际操作意图信息；所述操作信息，包括：多个操作动作、每一个所述操作动作对应的时间戳以及每一个所述操作动作对应的坐标；将所述训练数据集中的每一个所述用户的操作信息分别输入至神经网络模型中，分别预测得到每一个所述用户的操作意图信息；根据预测得到的每一个所述用户的操作意图信息和对应的所述实际操作意图信息之间的误差，对所述神经网络模型中的权值和阈值进行不断调整，直至调整后的所述神经网络模型所得到的每一个所述用户的操作意图信息和对应的所述实际操作信息之间的误差满足预设的收敛条件，将所述调整后的神经网络模型确定为操作意图识别模型。可选地，在上述操作脚本的生成方法中，所述利用所述待识别控件对象的操作意图信息中的坐标，从所述相匹配的界面图像的每一个控件对象中，确定出与操作意图信息中的坐标相匹配的目标控件对象之前，还包括：针对每一个所述界面图像，对所述界面图像进行控件对象识别，识别得到所述界面图像中具有的每一个控件对象以及控件对象对应坐标。可选地，在上述操作脚本的生成方法中，所述操作控制脚本，包括：每一个所述目标控件对象对应的操作意图信息、以及识别每一个所述目标控件对象所采用的识别算法。可选地，在上述操作脚本的生成方法中，所述采集所述操作流程中的界面图像以及对应的时间戳，包括：在所述目标用户每一次执行操作动作时，触发对界面进行截图，得每一张界面图像以及对应的时间戳。本申请第二方面公开了一种操作脚本的生成装置，包括：采集单元，用于在目标用户执行操作流程的过程中，采集所述操作流程中的界面图像以及对应的时间戳，并采集所述操作流程中所述目标用户的操作信息；意图识别单元，用于将所述目标用户的操作信息输入至操作意图识别模型中，识别得到所述操作流程中目标用户对每一个待识别控件对象的操作意图信息；其中，所述操作意图识别模型通过多个用户的操作信息、以及每一个所述用户的实际操作意图信息对神经网络模型进行训练得到；所述每一个待识别控件对象的操作意图信息用于说明所述目标用户对所述待识别控件对象的操作目的；匹配单元，用于针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息，从每一个所述界面图像中的每一个控件对象中，匹配得到与所述待识别控件对象相对应的目标控件对象；关联单元，用于将所述目标控件对象与所述待识别控件对象的操作意图信息进行关联，得到所述目标控件对象对应的操作意图信息；生成单元，用于利用每一个所述目标控件对象对应的操作意图信息，生成所述操作流程对应的操作控制脚本；其中，所述操作控制脚本用于按照每一个所述目标控件对象对应的操作意图信息的时间戳顺序，分别利用每一个所述目标控件对象对应的操作意图信息，识别定位到设备界面中的每一个所述目标控件对象，并对每一个所述目标控件对象执行对应的操作意图。可选地，在上述操作脚本的生成装置中，所述待识别控件对象的操作意图信息，包括：所述目标用户对所述待识别控件的操作意图动作、执行所述操作意图动作所对应的时间戳、以及执行所述操作意图动作所对应的坐标；其中，所述匹配单元，包括：第一确定子单元，用于针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息中的时间戳，从每一个所述界面图像中，确定出与所述操作意图信息中的时间戳相匹配的界面图像；第二确定子单元，用于利用所述待识别控件对象的操作意图信息中的坐标，从所述相本文档来自技高网...

【技术保护点】
1.一种操作脚本的生成方法，其特征在于，包括：/n在目标用户执行操作流程的过程中，采集所述操作流程中的界面图像以及对应的时间戳，并采集所述操作流程中所述目标用户的操作信息；/n将所述目标用户的操作信息输入至操作意图识别模型中，识别得到所述操作流程中目标用户对每一个待识别控件对象的操作意图信息；其中，所述操作意图识别模型通过多个用户的操作信息、以及每一个所述用户的实际操作意图信息对神经网络模型进行训练得到；所述每一个待识别控件对象的操作意图信息用于说明所述目标用户对所述待识别控件对象的操作目的；/n针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息，从每一个所述界面图像中的每一个控件对象中，匹配得到与所述待识别控件对象相对应的目标控件对象；/n将所述目标控件对象与所述待识别控件对象的操作意图信息进行关联，得到所述目标控件对象对应的操作意图信息；/n利用每一个所述目标控件对象对应的操作意图信息，生成所述操作流程对应的操作控制脚本；其中，所述操作控制脚本用于按照每一个所述目标控件对象对应的操作意图信息的时间戳顺序，分别利用每一个所述目标控件对象对应的操作意图信息，识别定位到设备界面中的每一个所述目标控件对象，并对每一个所述目标控件对象执行对应的操作意图。/n...

【技术特征摘要】
1.一种操作脚本的生成方法，其特征在于，包括：
在目标用户执行操作流程的过程中，采集所述操作流程中的界面图像以及对应的时间戳，并采集所述操作流程中所述目标用户的操作信息；
将所述目标用户的操作信息输入至操作意图识别模型中，识别得到所述操作流程中目标用户对每一个待识别控件对象的操作意图信息；其中，所述操作意图识别模型通过多个用户的操作信息、以及每一个所述用户的实际操作意图信息对神经网络模型进行训练得到；所述每一个待识别控件对象的操作意图信息用于说明所述目标用户对所述待识别控件对象的操作目的；
针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息，从每一个所述界面图像中的每一个控件对象中，匹配得到与所述待识别控件对象相对应的目标控件对象；
将所述目标控件对象与所述待识别控件对象的操作意图信息进行关联，得到所述目标控件对象对应的操作意图信息；
利用每一个所述目标控件对象对应的操作意图信息，生成所述操作流程对应的操作控制脚本；其中，所述操作控制脚本用于按照每一个所述目标控件对象对应的操作意图信息的时间戳顺序，分别利用每一个所述目标控件对象对应的操作意图信息，识别定位到设备界面中的每一个所述目标控件对象，并对每一个所述目标控件对象执行对应的操作意图。


2.根据权利要求1所述的方法，其特征在于，所述待识别控件对象的操作意图信息，包括：所述目标用户对所述待识别控件的操作意图动作、执行所述操作意图动作所对应的时间戳、以及执行所述操作意图动作所对应的坐标；
其中，所述针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息，从每一个所述界面图像中的每一个控件对象中，匹配得到与所述待识别控件对象相对应的目标控件对象，包括：
针对每一个所述待识别控件对象，利用所述待识别控件对象的操作意图信息中的时间戳，从每一个所述界面图像中，确定出与所述操作意图信息中的时间戳相匹配的界面图像；
利用所述待识别控件对象的操作意图信息中的坐标，从所述相匹配的界面图像的每一个控件对象中，确定出与操作意图信息中的坐标相匹配的目标控件对象。


3.根据权利要求1所述的方法，其特征在于，所述操作意图识别模型的创建方法，包括：
构建训练数据集；其中，所述训练数据集，包括：多个用户的操作信息以及每一个所述用户的实际操作意图信息；所述操作信息，包括：多个操作动作、每一个所述操作动作对应的时间戳以及每一个所述操作动作对应的坐标；
将所述训练数据集中的每一个所述用户的操作信息分别输入至神经网络模型中，分别预测得到每一个所述用户的操作意图信息；
根据预测得到的每一个所述用户的操作意图信息和对应的所述实际操作意图信息之间的误差，对所述神经网络模型中的权值和阈值进行不断调整，直至调整后的所述神经网络模型所得到的每一个所述用户的操作意图信息和对应的所述实际操作信息之间的误差满足预设的收敛条件，将所述调整后的神经网络模型确定为操作意图识别模型。


4.根据权利要求2所述的方法，其特征在于，所述利用所述待识别控件对象的操作意图信息中的坐标，从所述相匹配的界面图像的每一个控件对象中，确定出与操作意图信息中的坐标相匹配的目标...

【专利技术属性】
技术研发人员：戴路，倪海波，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11