【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种页面元素定位方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、目前，各企业的业务部门通常会建设不同的业务系统，但由于各业务系统建设驱动因素的不同，会导致各系统业务孤立，当业务系统变得繁多，数据就会变得孤立，流程执行就会变得割裂和低效。比如业务系统运维场景中，存在大量手工巡检操作，费时费力且易出错，繁琐枯燥重复的劳动，难以持续高质量完成。所以，可以机器人来协助或替代人工完成运维场景的自动化巡检工作，以提升企业的数字化能力，推动企业数字化的转型升级。
2、相关技术中，传统的机器人流程自动化(rpa，robotic process automation)技术是通过对前端代码进行解析，以及对超文本标记语言(html，hyper text markuplanguage)中的各类元素和名称进行全文检索来实现页面元素的捕获，从而实现与业务系统的交互。但是，这种技术对操作对象的可见性、开放性、浏览器兼容性都有极高的要求，比如，对同一页面中的同一元素，在不同的浏览器的捕获过程可能存在巨大差异，而在不同浏览器内核的前提，其捕获方法也存在巨大差异甚至影响可行性。所以，面对不同的业务系统，其依赖解析前端代码的浏览器核心，甚至核心版本均有差异，而这些差异对机器人的开发带来数倍工作量的提升，从而增加了开发成本。
3、因此，对于不同的业务系统，如何减小开发成本，提高页面元素定位的效率，是目前有待解决的技术问题。
技术实现思路
1、本专利技术提
2、根据本专利技术实施例的第一方面，提供一种页面元素定位方法，包括：
3、获取待检测页面，以及所述待检测页面对应场景的目标图片；
4、确定所述待检测页面中待识别元素的搜索区域图片；
5、通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片；
6、将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值；
7、当所述最小偏离值在设定对应场景的置信度的置信区间内时，确定所述最小偏离值的对比区域的位置坐标，作为所述待识别元素在所述待检测页面上的位置坐标。
8、可选的，所述确定所述待检测页面中待识别元素的搜索区域图片，包括：
9、通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标；
10、根据所述纵坐标和横坐标对所述待识别元素的搜索区域进行截图，得到待识别元素的搜索区域图片。
11、可选的，所述通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标，包括：
12、在所述待检测页面中，以左下角为坐标原点，针对待识别元素的场景，基于鼠标移动的点击操作，获取方形搜索区域的左上角点和右下角点；
13、利用python脚本获取所述左上角点和右下角点在所述待检测页面中的横坐标点和纵坐标点，并将所述横坐标点和纵坐标点所形成的方形区域作为待识别元素的搜索区域。
14、可选的，所述通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片，包括：
15、对所述搜索区域图片和所述目标图片分别进行灰度化处理；
16、以灰度化处理后的所述搜索区域图片中的第一个像素点为起点，通过像素值平移，将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片。
17、可选的，所述将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值，包括：
18、将所述多个对比区域图片和所述目标图片的像素点分别进行矩阵化和归一化处理；
19、将处理后的每个对比区域图片分别与所述目标图片进行像素匹配，计算像素差值；
20、选取像素最小差值作为像素最小偏离值。
21、可选的，所述方法还包括：按照下述方法预先确定设定置信度的置信区间：
22、获取多个场景的待检测页面样本，以及每个待检测页面样本对应场景的目标图片样本；
23、确定每个待检测页面样本中待识别元素的搜索区域图片；
24、通过像素值平移将每个搜索区域图片划分为与对应的所述目标图片样本的尺寸相同的多个对比区域图片；
25、确定每个待检测页面样本的所述多个对比区域图片与对应所述目标图片样本的多个像素偏离值，并选取像素最小偏离值；
26、统计选取的所有像素最小偏离值，得到一组像素最小偏离值；
27、计算所述一组像素最小偏离值的平均值，得到最小偏离值平均值；
28、基于所述一组像素最小偏离值与所述最小偏离值平均值，确定最小偏离值标准差；
29、基于所述最小偏离值标准差确定标准误差；
30、基于所述最小偏离值平均值，所述标准误差，以及预设置信度标准分值，确定置信区间。
31、可选的，所述基于所述最小偏离值平均值，所述标准误差，以及预设置信度标准分值，按照下述公式确定置信区间，包括：
32、置信区间为[a，b]，
33、其中，所述表示最小偏离值平均值，所述z表示置信度标准分值，所述se表示标准误差。
34、根据本专利技术实施例的第二方面，提供一种页面元素定位装置，所述装置包括：
35、获取模块，用于获取待检测页面，以及所述待检测页面对应场景的目标图片；
36、第一确定模块，用于确定所述待检测页面中待识别元素的搜索区域图片；
37、划分模块，用于通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片；
38、匹配模块，用于将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值；
39、第二确定模块，用于当所述最小偏离值在设定对应场景的置信度的置信区间内时，确定所述最小偏离值的对比区域的位置坐标，作为所述待识别元素在所述待检测页面上的位置坐标。
40、可选的，所述第一确定模块包括：
41、坐标获取模块，用于通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标；
42、截图模块，用于根据所述纵坐标和横坐标对所述待识别元素的搜索区域进行截图，得到待识别元素的搜索区域图片。
43、可选的，所述坐标获取模块包括：
44、坐标点确定模块，用于在所述待检测页面中，以左下角为坐标原点，针对待识别元素的场景，基于鼠标移动的点击操作，获取方形搜索区域的左上角点和右下角点；
45、搜索区域坐标获取模块，用于利用python脚本获取所述左上角点和右下角点在所述待检测页面中的横坐标点和纵坐标点，并将所述横本文档来自技高网...
【技术保护点】
1.一种页面元素定位方法，其特征在于，包括：
2.根据权利要求1所述的页面元素定位方法，其特征在于，所述确定所述待检测页面中待识别元素的搜索区域图片，包括：
3.根据权利要求2所述的页面元素定位方法，其特征在于，所述通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标，包括：
4.根据权利要求1所述的页面元素定位方法，其特征在于，所述通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片，包括：
5.根据权利要求1所述的页面元素定位方法，其特征在于，所述将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值，包括：
6.根据权利要求1至5任一项所述的页面元素定位方法，其特征在于，所述方法还包括：按照下述方法预先确定设定置信度的置信区间：
7.根据权利要求6所述的页面元素定位方法，其特征在于，所述基于所述最小偏离值平均值，所述标准误差，以及预设置信度标准分值，按照下述公式确定置信区间，包括：
8.一种页面元素定位装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的页面元素定位方法。
...【技术特征摘要】
1.一种页面元素定位方法，其特征在于，包括：
2.根据权利要求1所述的页面元素定位方法，其特征在于，所述确定所述待检测页面中待识别元素的搜索区域图片，包括：
3.根据权利要求2所述的页面元素定位方法，其特征在于，所述通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标，包括：
4.根据权利要求1所述的页面元素定位方法，其特征在于，所述通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片，包括：
5.根据权利要求1所述的页面元素定位方法，其特征在于，所述将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素...
【专利技术属性】
技术研发人员：解文斌，石凌燕，李华，姚茂江，侯依伶，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。