对象操作方法和装置、计算机可读的存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种对象操作方法和装置、计算机可读的存储介质及电子装置。其中，该方法包括：预先根据多个训练图像对初始神经网络进行训练得到目标网络模型，通过目标网络模型在多个训练图像中确定出目标训练图像，由于目标训练图像中的对应有目标测试图像中的目标位置和目标位置上的执行的目标操作，从而实现了可以通过在目标训练图像的目标位置上执行目标操作，完成对目标测试图像中的目标位置执行操作的测试技术效果，也就是说，基于目标神经网络的目标操作方法能通过人工录制少量样本复现之前的操作，耗费的人力和时间较少，进而解决了现有技术中，用户界面UI测试耗时较长的技术问题。

Object operation method and device, computer-readable storage medium and electronic device

【技术实现步骤摘要】
对象操作方法和装置、计算机可读的存储介质及电子装置
本专利技术涉及计算机领域，具体而言，涉及一种对象操作方法和装置、计算机可读的存储介质及电子装置。
技术介绍
现有的技术方案中，有基于图像模板匹配的用户界面(UserInterfaceUI)UI测试方法。其计算模板与图像特定区域的距离，如果距离小于阈值，则执行预先设定的动作。基于图像模板匹配的UI测试方法：人工录制UI操作的样本集合，针对每个场景挑选模板匹配的区域，并手工指定匹配后点击的位置。输入一张测试图像后，计算图像特定区域与模板之间的距离，如果距离小于阈值，则点击对应的位置。这种方法对背景变化较为敏感，要求配置人员对模板匹配有较好的先验知识，上手难度较大，耗费大量时间和精力。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种对象操作方法和装置、计算机可读的存储介质及电子装置，以至少解决现有技术中，用户界面UI测试耗时较长的技术问题。根据本专利技术实施例的一个方面，提供了一种对象操作方法，包括：获取目标二元组集合，其中，所述目标二元组集合中的每个二元组包括相同的目标测试图像与第一图像集合中的一个不同的训练图像，所述第一图像集合包括多个训练图像，每个所述训练图像对应有所述每个所述训练图像中的位置和在所述位置上执行的操作；将所述目标二元组集合中的每个二元组输入到目标神经网络模型中，得到所述目标神经网路模型输出的一组图像相似度，其中，所述一组图像相似度与所述目标二元组集合一一对应，每个所述图像相似度用于表示对应的二元组中的所述目标测试图像与所述训练图像之间的相似度，所述目标神经网络模型是使用所述多个训练图像对初始神经网络模型进行训练得到的网络模型，所述目标神经网络模型用于将所述训练图像和正样本图像之间的相似度确定为大于第一阈值，并将所述训练图像和负样本图像之间的相似度确定为小于第二阈值，所述正样本图像与所述训练图像为相同场景下的图像，所述负样本图像与所述训练图像为不同场景下的图像，所述第一阈值大于所述第二阈值；在所述多个训练图像中确定出目标训练图像的情况下，在所述目标测试图像中与目标位置对应的位置上执行目标操作，其中，所述目标测试图像与所述目标训练图像之间的相似度是所述一组图像相似度中的最大值，所述目标训练图像对应有所述目标训练图像中的所述目标位置和所述目标位置上执行的所述目标操作。根据本专利技术实施例的另一方面，还提供了一种对象操作装置，包括：第一获取单元，用于获取目标二元组集合，其中，所述目标二元组集合中的每个二元组包括相同的目标测试图像与第一图像集合中的一个不同的训练图像，所述第一图像集合包括多个训练图像，每个所述训练图像对应有所述每个所述训练图像中的位置和在所述位置上执行的操作；第一得到单元，用于将所述目标二元组集合中的每个二元组输入到目标神经网络模型中，得到所述目标神经网路模型输出的一组图像相似度，其中，所述一组图像相似度与所述目标二元组集合一一对应，每个所述图像相似度用于表示对应的二元组中的所述目标测试图像与所述训练图像之间的相似度，所述目标神经网络模型是使用所述多个训练图像对初始神经网络模型进行训练得到的网络模型，所述目标神经网络模型用于将所述训练图像和正样本图像之间的相似度确定为大于第一阈值，并将所述训练图像和负样本图像之间的相似度确定为小于第二阈值，所述正样本图像与所述训练图像为相同场景下的图像，所述负样本图像与所述训练图像为不同场景下的图像，所述第一阈值大于所述第二阈值；执行单元，用于在所述多个训练图像中确定出目标训练图像的情况下，在所述目标测试图像中与目标位置对应的位置上执行目标操作，其中，所述目标测试图像与所述目标训练图像之间的相似度是所述一组图像相似度中的最大值，所述目标训练图像对应有所述目标训练图像中的所述目标位置和所述目标位置上执行的所述目标操作。根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述对象操作方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的对象操作方法。在本专利技术实施例中，通过获取目标二元组集合，其中，目标二元组集合中的每个二元组包括相同的目标测试图像与第一图像集合中的一个不同的训练图像，第一图像集合包括多个训练图像，每个训练图像对应有每个训练图像中的位置和在位置上执行的操作；将目标二元组集合中的每个二元组输入到目标神经网络模型中，得到目标神经网路模型输出的一组图像相似度，其中，一组图像相似度与目标二元组集合一一对应，每个图像相似度用于表示对应的二元组中的目标测试图像与训练图像之间的相似度，目标神经网络模型是使用多个训练图像对初始神经网络模型进行训练得到的网络模型，目标神经网络模型用于将训练图像和正样本图像之间的相似度确定为大于第一阈值，并将训练图像和负样本图像之间的相似度确定为小于第二阈值，正样本图像与训练图像为相同场景下的图像，负样本图像与训练图像为不同场景下的图像，第一阈值大于第二阈值；在多个训练图像中确定出目标训练图像的情况下，在目标测试图像中与目标位置对应的位置上执行目标操作，其中，目标测试图像与目标训练图像之间的相似度是一组图像相似度中的最大值，目标训练图像对应有目标训练图像中的目标位置和目标位置上执行的目标操作，达到了预先根据多个训练图像对初始神经网络进行训练得到目标网络模型，通过目标网络模型在多个训练图像中确定出目标训练图像，由于目标训练图像中的对应有目标测试图像中的目标位置和目标位置上的执行的目标操作，从而实现了可以通过在目标训练图像的目标位置上执行目标操作，完成对目标测试图像中的目标位置执行操作的测试技术效果，也就是说，基于目标神经网络的目标操作方法能通过人工录制少量样本复现之前的操作，耗费的人力和时间较少，进而解决了现有技术中，用户界面UI测试耗时较长的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的对象操作方法的应用环境的示意图；图2是根据本专利技术实施例的一种可选的对象操作方法的流程图；图3是根据本专利技术实施例的一种可选的目标测试图像的示意图；图4是根据本专利技术实施例的一种可选的训练图样与负样本图像以及正样本图像的示意图；图5是根据本专利技术实施例的一种可选的UI动作执行的流程图；图6是根据本专利技术实施例的一种可选的网络结构的示意图；图7是根据本专利技术实施例的一种可选的不同时刻相同场景下的UI图像；图8是根据本专利技术实施例的一种可选的对象操作装置的结构示意图；图9是根据本专利技术实施例的一种可选的对象操作方法的电子装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本发本文档来自技高网...

【技术保护点】
1.一种对象操作方法，其特征在于，包括：/n获取目标二元组集合，其中，所述目标二元组集合中的每个二元组包括相同的目标测试图像与第一图像集合中的一个不同的训练图像，所述第一图像集合包括多个训练图像，每个所述训练图像对应有所述每个所述训练图像中的位置和在所述位置上执行的操作；/n将所述目标二元组集合中的每个二元组输入到目标神经网络模型中，得到所述目标神经网路模型输出的一组图像相似度，其中，所述一组图像相似度与所述目标二元组集合一一对应，每个所述图像相似度用于表示对应的二元组中的所述目标测试图像与所述训练图像之间的相似度，所述目标神经网络模型是使用所述多个训练图像对初始神经网络模型进行训练得到的网络模型，所述目标神经网络模型用于将所述训练图像和正样本图像之间的相似度确定为大于第一阈值，并将所述训练图像和负样本图像之间的相似度确定为小于第二阈值，所述正样本图像与所述训练图像为相同场景下的图像，所述负样本图像与所述训练图像为不同场景下的图像，所述第一阈值大于所述第二阈值；/n在所述多个训练图像中确定出目标训练图像的情况下，在所述目标测试图像中与目标位置对应的位置上执行目标操作，其中，所述目标测试图像与所述目标训练图像之间的相似度是所述一组图像相似度中的最大值，所述目标训练图像对应有所述目标测试图像中的所述目标位置和所述目标位置上执行的所述目标操作。/n...

【技术特征摘要】
1.一种对象操作方法，其特征在于，包括：
获取目标二元组集合，其中，所述目标二元组集合中的每个二元组包括相同的目标测试图像与第一图像集合中的一个不同的训练图像，所述第一图像集合包括多个训练图像，每个所述训练图像对应有所述每个所述训练图像中的位置和在所述位置上执行的操作；
将所述目标二元组集合中的每个二元组输入到目标神经网络模型中，得到所述目标神经网路模型输出的一组图像相似度，其中，所述一组图像相似度与所述目标二元组集合一一对应，每个所述图像相似度用于表示对应的二元组中的所述目标测试图像与所述训练图像之间的相似度，所述目标神经网络模型是使用所述多个训练图像对初始神经网络模型进行训练得到的网络模型，所述目标神经网络模型用于将所述训练图像和正样本图像之间的相似度确定为大于第一阈值，并将所述训练图像和负样本图像之间的相似度确定为小于第二阈值，所述正样本图像与所述训练图像为相同场景下的图像，所述负样本图像与所述训练图像为不同场景下的图像，所述第一阈值大于所述第二阈值；
在所述多个训练图像中确定出目标训练图像的情况下，在所述目标测试图像中与目标位置对应的位置上执行目标操作，其中，所述目标测试图像与所述目标训练图像之间的相似度是所述一组图像相似度中的最大值，所述目标训练图像对应有所述目标测试图像中的所述目标位置和所述目标位置上执行的所述目标操作。


2.根据权利要求1所述的方法，其特征在于，所述将所述目标二元组集合中的每个二元组输入到目标神经网络模型中，得到所述目标神经网路模型输出的一组图像相似度，包括：
对所述目标二元组集合中的每个二元组执行以下操作，其中，在执行以下操作时所述每个二元组被视为当前二元组，所述当前二元组包括所述目标测试图像和当前训练图像，所述当前二元组对应的图像相似度为当前图像相似度：
将所述当前二元组输入到所述目标神经网络模型中；
通过所述目标神经网络模型分别获取所述目标测试图像中的第一图像特征和所述当前训练图像中的第二图像特征；
通过所述目标神经网络模型确定所述第一图像特征和所述第二图像特征之间的距离，其中，所述当前图像相似度是使用所述距离表示的相似度。


3.根据权利要求1所述的方法，其特征在于，在所述获取目标二元组集合之前，所述方法还包括：
获取三元组集合，其中，所述三元组集合中的每个三元组包括所述第一图像集合中的一个不同的训练图像、所述一个不同的训练图像对应的一个所述正样本图像、和所述一个不同的训练图像对应的一个所述负样本图像；
使用所述三元组集合对所述初始神经网络模型进行训练，得到所述目标神经网络模型。


4.根据权利要求3所述的方法，其特征在于，所述使用所述三元组集合对所述初始神经网络模型进行训练，得到所述目标神经网络模型，包括：
重复执行以下操作，直到得到的所述目标神经网络模型将所述第一图像集合中大于或等于第一数量的所述训练图像与对应的所述正样本图像之间的相似度确定为大于第一阈值，并将所述第一图像集合中大于或等于第二数量的所述训练图像与所述对应的负样本图像之间的相似度确定为小于第二阈值：
从所述三元组集合中获取一组所述三元组；
将所述一组所述三元组依次输入到所述初始神经网络模型，其中，所述初始神经网络模型包括卷积层、池化层、全连接层，所述卷积层和所述池化层以及所述全连接层一起用于获取所述三元组中包括的所述训练图像的图像特征、所述正样本图像的图像特征、所述负样本图像的图像特征，并确定所述训练图像的图像特征与所述正样本图像的图像特征之间的第一距离，所述训练图像的图像特征与所述负样本图像的图像特征之间的第二距离；
在所述第一图像集合中所述第一距离大于所述第一阈值的所述训练图像的数量小于所述第一数量，或，所述第一图像集合中所述第二距离大于所述第二阈值的所述训练图像的数量小于所述第二数量的情况下，调整所述卷积层、所述池化层和所述全连接层中的部分参数，和/或，调整所述卷积层、所述池化层和所述全连接层的连接关系。


5.根据权利要求1所述的方法，其特征在于，在所述多个训练图像中确定出目标训练图像的情况下，在所述目标测试图像中与目标位置对应的位置上执行目标操作，包括：
通过所述神经网络模型提取所述目标测试图像的特征，并计算所述目标测试图像的特征与所述目标训练图像的特征之间的距离；
在所述距离小于第三阈值的情况下，则将对应所述目标测试图像的目标训练图像存入待定的数据库中；
将存入所述数据库中时间最早的所述目标测试图像确定为对应所述目标训练图像的所述目标测试图像。


6.根据权利要求5所述的方法，其特征在于，将存入所述数据库中时间最早的所述目标测试图像确定为对应所述目标训练图像的所述目标测试图像之后，所述方法还包括：
所述目标测试图像的特征与所述目标训练图像的...

【专利技术属性】
技术研发人员：黄超，荆彦青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44