一种基于终端屏幕截图图片提取元素的方法和系统技术方案

技术编号:44208059 阅读:16 留言:0更新日期:2025-02-06 18:41
本申请提出了一种基于终端屏幕截图图片提取元素的方法和系统,通过获取包含完整目标元素的屏幕截图;识别屏幕截图所在界面的视觉层次特征;将屏幕截图的图片边界作为最外层的矩形,并确定下一层次的矩形范围;判断当前层次的矩形是否为包含目标元素的最小矩形,若是包含目标元素的最小矩形则对当前层次的矩形进行二次处理得到最终的目标元素。本申请支持非控件方式实现提取目标元素,解决了不同尺寸屏幕图片中目标元素提取效率低下、分析界面节点信息时无法准确分离目标元素的问题,能够提高目标元素提取的准确率,并且无需连接终端设备进行操作,无需分析UI节点的信息就可以灵活确定任意尺寸的屏幕截图图片上目标元素的位置。

【技术实现步骤摘要】

本专利技术涉及人工智能和信息,具体涉及一种基于终端屏幕截图图片提取元素的方法和系统


技术介绍

1、在终端设备的应用中,屏幕尺寸和分辨率存在多样性,对屏幕进行适配成为提取目标元素中的一个技术难题,从不同尺寸的屏幕截图的图片上提取所需的内容比开发更具有挑战性。在不同的设备上,相同元素在用户界面上的尺寸、位置都有可能不同,甚至在同一设备上,触发不同的条件也可能导致同一元素在截屏图片中的位置大小发生改变,因此在仅能获取截屏图片的场景下,对目标元素的提取更加困难。

2、现有的提取截图的目标元素主要采用临机解析界面节点信息的提取方式,但在无法临机或者设备数量较大的情况下,加上受到各种环境因素的影响,该方式的效率会变得低下;除此之外,个别界面不是以控件方式实现目标元素,而是以绘制方式将多个不同元素绘制在一起,这使得在界面节点信息分析时,无法将目标元素进行准确分离。

3、现有技术中,一般通过adb、辅助功能,以及图像识别技术、ui自动化测试工具实现终端中的元素提取。

4、adb可以获取完整的屏幕截图以及ui节点信息,支持多种命令和工具本文档来自技高网...

【技术保护点】

1.一种基于终端屏幕截图图片提取元素的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述视觉层次特征包括对话框、矩形框、元素组合规则和图片边界。

3.根据权利要求1所述的方法,其特征在于,步骤S3还包括:

4.根据权利要求1所述的方法,其特征在于,步骤S3还包括:

5.根据权利要求1所述的方法,其特征在于,步骤S3还包括:

6.根据权利要求1、3、4或5所述的方法,其特征在于,识别所述起始点的颜色特征并判断是否满足条件包括识别所述起始点的像素颜色值范围,所述起始点的颜色与周边像素点的颜色变化关系;

<...

【技术特征摘要】

1.一种基于终端屏幕截图图片提取元素的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述视觉层次特征包括对话框、矩形框、元素组合规则和图片边界。

3.根据权利要求1所述的方法,其特征在于,步骤s3还包括:

4.根据权利要求1所述的方法,其特征在于,步骤s3还包括:

5.根据权利要求1所述的方法,其特征在于,步骤s3还包括:

6.根据权利要求1、3、4或5所述的方法,其特征在于,识别所述起始点的颜色特征并判断是否满足条件包括识别所述起始点的像素颜色值范围,所...

【专利技术属性】
技术研发人员:廖宁陈生潮陈妙瑛张建平常虹
申请(专利权)人:厦门安胜网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1