【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种唯一性控件区域定位模型训练与定位方法、装置和设备。
技术介绍
1、在基于图像识别的自动化测试工具(例如airtest)应用过程中，一个测试用例自动化测试脚本的形成，需要截取测试的用户界面(user interface，ui)内涉及的控件区域图像。
2、相关技术中，基于监督学习的模型训练方法，需要大量的标注数据，然而数据标注工作量较大，严重降低了模型的训练效率。
技术实现思路
1、本专利技术提供一种唯一性控件区域定位模型训练与定位方法、装置和设备，用以解决现有技术中数据标注工作量较大，严重降低了模型的训练效率的缺陷。
2、本专利技术提供一种唯一性控件区域定位模型训练方法，包括：
3、获取初始策略网络，以及包含目标控件区的第一界面图像；
4、基于所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征，确定所述目标控件区的第一状态信息；所述唯一性信息表征所述目标控件区在所述第一界面图像中是否具备唯一识别性；
5、基于所述目标控件区的第一状态信息和所述初始策略网络，确定第一定位信息；
6、基于所述第一定位信息对所述第一界面图像进行控件区域定位，得到目标划定区，并基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，确定所述第一定位信息的奖励；
7、基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标划定区的图像
8、将所述目标控件区的第一状态信息、所述第一定位信息、所述第一定位信息的奖励以及所述目标划定区的第二状态信息作为一组训练数据；
9、基于多组所述训练数据，采用强化学习方法对所述初始策略网络进行参数迭代直至满足迭代终止条件，并将完成参数迭代后的所述初始策略网络作为控件区域定位模型。
10、根据本专利技术提供的唯一性控件区域定位模型训练方法，所述基于所述目标控件区的第一状态信息和所述初始策略网络，确定第一定位信息，包括：
11、将所述目标控件区的第一状态信息输入至所述初始策略网络，得到所述初始策略网络输出的初始定位信息；
12、将所述初始定位信息作为正态分布的平均值构造所述正态分布，并从所述正态分布中随机生成所述第一定位信息。
13、根据本专利技术提供的唯一性控件区域定位模型训练方法，所述基于所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征，确定所述目标控件区的第一状态信息，包括：
14、确定目标控件区，以及所述目标控件区在所述第一界面图像中的位置信息和唯一性信息；
15、对所述第一界面图像进行特征提取，得到第一界面图像特征；
16、基于所述目标控件区在所述第一界面图像中的位置信息，以及所述第一界面图像特征，对所述目标控件区进行图像特征提取，得到所述目标控件区的图像特征；
17、将所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征进行拼接，得到所述目标控件区的第一状态信息。
18、根据本专利技术提供的唯一性控件区域定位模型训练方法，所述基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，确定所述第一定位信息的奖励，包括：
19、将所述目标划定区与所述第一界面图像中其他控件区进行匹配，基于匹配结果确定所述目标划定区在所述第一界面图像中的唯一性信息；
20、基于所述目标划定区在所述第一界面图像中的位置信息，确定所述目标划定区的长高与所述目标控件区的长高的比值；
21、基于所述目标划定区在所述第一界面图像中的唯一性信息，以及所述目标划定区的长高与所述目标控件区的长高的比值，确定所述第一定位信息的奖励。
22、根据本专利技术提供的唯一性控件区域定位模型训练方法，所述基于所述目标划定区在所述第一界面图像中的唯一性信息，以及所述目标划定区的长高与所述目标控件区的长高的比值，确定所述第一定位信息的奖励，包括：
23、基于如下公式确定所述第一定位信息的奖励：
24、
25、式中，g为常数，λ1为目标划定区的长度与目标控件区的长度的比值，λ2为目标划定区的高度与目标控件区的高度的比值，λ1和λ2均大于等于1。
26、根据本专利技术提供的唯一性控件区域定位模型训练方法，所述基于所述多组训练数据，采用强化学习方法对所述初始策略网络进行参数迭代直至满足迭代终止条件，包括：
27、针对所述多组训练数据中的任一组训练数据，将所述任一组训练数据中的第一定位信息和第一状态信息输入至初始价值网络，得到所述初始价值网络输出的第一定位价值；
28、将所述任一组训练数据中的第二状态信息输入至目标策略网络，得到所述目标策略网络输出的第二定位信息，将所述第二定位信息和所述第二状态信息输入至目标价值网络，得到所述目标价值网络输出的第二定位价值；
29、基于所述第二定位价值、所述奖励以及所述第一定位价值，对所述初始价值网络进行参数迭代，得到参数迭代后的价值网络；
30、将所述任一组训练数据中的第一定位信息和第一状态信息输入至所述参数迭代后的价值网络，得到所述参数迭代后的价值网络输出的第三定位价值；
31、基于所述第三定位价值，对所述初始策略网络进行参数迭代，直至满足迭代终止条件。
32、根据本专利技术提供的唯一性控件区域定位模型训练方法，所述基于所述第二定位价值、所述奖励以及所述第一定位价值，对所述初始价值网络进行参数迭代，包括：
33、将所述第二定位价值、所述奖励以及所述第一定位价值进行加减运算，得到价值损失；
34、基于所述价值损失，对所述初始价值网络进行参数迭代。
35、本专利技术还提供一种唯一性控件区域定位方法，包括：
36、获取第二界面图像，以及所述第二界面图像中的待定位控件区；
37、基于所述待定位控件区在所述第二界面图像中的位置信息和唯一性信息，以及所述待定位控件区的图像特征，确定所述待定位控件区的第三状态信息；
38、将所述第三状态信息输入至控件区域定位模型，得到所述控件区域定位模型输出的第三定位信息，并基于所述第三定位信息对所述第二界面图像进行控件区域定位，所述控件区域定位模型基于所述的唯一性控件区域定位模型训练方法训练得到。
39、本专利技术还提供一种唯一性控件区域定位模型训练装置，包括：
40、第一获取单元，用于获取初始策略网络，以及包含目标控件区的第一界面图像；
41、第一状态确定单元，用于基于所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征，确定所述目标控件区的第一状态信息；所述唯一性信息表征所述目标控件区在所述第一界面图像中是否具备唯一识本文档来自技高网...
【技术保护点】
1.一种唯一性控件区域定位模型训练方法，其特征在于，包括：
2.根据权利要求1所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标控件区的第一状态信息和所述初始策略网络，确定第一定位信息，包括：
3.根据权利要求1所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征，确定所述目标控件区的第一状态信息，包括：
4.根据权利要求1所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，确定所述第一定位信息的奖励，包括：
5.根据权利要求4所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标划定区在所述第一界面图像中的唯一性信息，以及所述目标划定区的长高与所述目标控件区的长高的比值，确定所述第一定位信息的奖励，包括：
6.根据权利要求1至5中任一项所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于多组所述训练数据，采用强化学习方法对所述初始策
7.根据权利要求6所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述第二定位价值、所述奖励以及所述第一定位价值，对所述初始价值网络进行参数迭代，包括：
8.一种唯一性控件区域定位方法，其特征在于，包括：
9.一种唯一性控件区域定位模型训练装置，其特征在于，包括：
10.一种唯一性控件区域定位装置，其特征在于，包括：
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述唯一性控件区域定位模型训练方法，或如权利要求8所述唯一性控件区域定位方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述唯一性控件区域定位模型训练方法，或如权利要求8所述唯一性控件区域定位方法。
...【技术特征摘要】
1.一种唯一性控件区域定位模型训练方法，其特征在于，包括：
2.根据权利要求1所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标控件区的第一状态信息和所述初始策略网络，确定第一定位信息，包括：
3.根据权利要求1所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征，确定所述目标控件区的第一状态信息，包括：
4.根据权利要求1所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，确定所述第一定位信息的奖励，包括：
5.根据权利要求4所述的唯一性控件区域定位模型训练方法，其特征在于，所述基于所述目标划定区在所述第一界面图像中的唯一性信息，以及所述目标划定区的长高与所述目标控件区的长高的比值，确定所述第一定位信息的奖励，包括：
6.根据权利要求1至5中任一项所述的唯一性控件区域定位模型训练方法，其特征在于，所...
【专利技术属性】
技术研发人员：张辉，吴正中，李月强，刘喆，王晓东，张东东，邓能文，
申请(专利权)人：北京城建智控科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。