【技术实现步骤摘要】
本专利技术涉及人工智能和信息，具体涉及一种基于终端屏幕截图图片提取元素的方法和系统。
技术介绍
1、在终端设备的应用中，屏幕尺寸和分辨率存在多样性，对屏幕进行适配成为提取目标元素中的一个技术难题，从不同尺寸的屏幕截图的图片上提取所需的内容比开发更具有挑战性。在不同的设备上，相同元素在用户界面上的尺寸、位置都有可能不同，甚至在同一设备上，触发不同的条件也可能导致同一元素在截屏图片中的位置大小发生改变，因此在仅能获取截屏图片的场景下，对目标元素的提取更加困难。
2、现有的提取截图的目标元素主要采用临机解析界面节点信息的提取方式，但在无法临机或者设备数量较大的情况下，加上受到各种环境因素的影响，该方式的效率会变得低下；除此之外，个别界面不是以控件方式实现目标元素，而是以绘制方式将多个不同元素绘制在一起，这使得在界面节点信息分析时，无法将目标元素进行准确分离。
3、现有技术中，一般通过adb、辅助功能，以及图像识别技术、ui自动化测试工具实现终端中的元素提取。
4、adb可以获取完整的屏幕截图以及ui节点信息，支持多种命令和工具，但需要连接具体的设备，在实际环境中可能会遇到连接问题；对非控件方式(比如图像中的文本，绘制方式实现的多个元素组合)实现的元素的支持有限，通常需要额外的图像处理。
5、辅助功能不需要依赖物理设备连接就能够获取界面的节点树信息，但对于非控件方式实现的元素同样具有局限性。
6、图像识别技术能够处理任何类型的屏幕截图，但准确率高度依赖算法和训练数据，还会受到图
7、ui自动化测试工具提供了丰富的api接口用于ui元素的定位、操作和验证，但同样无法处理非控件方式实现的元素，对设备的操作系统版本和应用的配置也有特定的要求，影响工具的通用性。
8、针对以上问题，本申请提出一种基于终端屏幕截图图片提取元素的方法和系统，以解决图片中的目标元素提取的问题。
技术实现思路
1、本专利技术针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。
2、基于本专利技术的第一方面，提出了一种基于终端屏幕截图图片提取元素的方法，包括：
3、s1:获取包含完整目标元素的屏幕截图；
4、s2:识别所述屏幕截图所在界面的视觉层次特征；
5、s3:将所述屏幕截图的图片边界作为最外层的矩形，并确定下一层次的矩形范围；
6、具体地，以所述目标元素所在的矩形最上面的坐标点作为起始点，将所有所述起始点向所述目标元素方向移动一个像素作为新的起始点，识别所述起始点的颜色特征并判断是否满足条件，将所有满足条件的所述起始点进行连接得到下一层次矩形的上边界；
7、s4:判断当前层次的矩形是否为包含所述目标元素的最小矩形，若是包含所述目标元素的最小矩形则对当前层次的矩形进行二次处理得到最终的目标元素。
8、更进一步地，所述视觉层次特征包括对话框、矩形框、元素组合规则和图片边界。
9、识别视觉层次特征能够快速捕捉到关键信息，形成层次感，区分信息的重要性和优先级，确保信息传达的准确性和效率。
10、更进一步地，步骤s3还包括：
11、以所述目标元素所在的矩形最下面的坐标点作为起始点，将所有所述起始点向所述目标元素方向移动一个像素作为新的起始点，识别所述起始点的颜色特征并判断是否满足条件，将所有满足条件的所述起始点进行连接得到下一层次矩形的下边界。
12、更进一步地，步骤s3还包括：
13、以所述目标元素所在的矩形最左面的坐标点作为起始点，将所有所述起始点向所述目标元素方向移动一个像素作为新的起始点，识别所述起始点的颜色特征并判断是否满足条件，将所有满足条件的所述起始点进行连接得到下一层次矩形的左边界。
14、更进一步地，步骤s3还包括：
15、以所述目标元素所在的矩形最右面的坐标点作为起始点，将所有所述起始点向所述目标元素方向移动一个像素作为新的起始点，识别所述起始点的颜色特征并判断是否满足条件，将所有满足条件的所述起始点进行连接得到下一层次矩形的右边界。
16、利用塌缩算法逐步缩小目标元素所在的边界，能够提高目标元素提取的准确率。
17、更进一步地，识别所述起始点的颜色特征并判断是否满足条件包括识别所述起始点的像素颜色值范围，所述起始点的颜色与周边像素点的颜色变化关系；
18、所述起始点的颜色与周边像素点的颜色变化关系包括颜色相同、颜色渐变和颜色差值。
19、更进一步地，所述二次处理包括但不限于对当前层次的矩形图片进行平均分割和非矩形切割。
20、对图片进行二次处理能够更加准确地分离目标元素。
21、更进一步地，所述目标元素包括但不限于按钮、人物、物品、符号、指定大小的矩形和指定大小的圆形，以及用户头像。
22、基于本专利技术的第二方面，还提出了一种基于终端屏幕截图图片提取元素的系统，包括：
23、获取模块:获取包含完整目标元素的屏幕截图；
24、识别模块:识别所述屏幕截图所在界面的视觉层次特征；
25、确定矩形模块:将所述屏幕截图的图片边界作为最外层的矩形，并确定下一层次的矩形范围；
26、具体地，以所述目标元素所在的矩形最上面的坐标点作为起始点，将所有所述起始点向所述目标元素方向移动一个像素作为新的起始点，识别所述起始点的颜色特征并判断是否满足条件，将所有满足条件的所述起始点进行连接得到下一层次矩形的上边界；
27、提取模块:判断当前层次的矩形是否为包含所述目标元素的最小矩形，若是包含所述目标元素的最小矩形则对当前层次的矩形进行二次处理得到最终的目标元素。
28、基于本专利技术的第三方面，还提出了一种计算机程序产品，包括计算机程序，当所述计算机程序被计算机处理器执行时实施如上述任一项之所述方法的步骤。
29、本专利技术的技术效果在于：本专利技术支持非控件方式实现提取目标元素，解决了不同尺寸屏幕图片中目标元素提取效率低下，以及临机解析中分析界面节点信息时无法准确分离目标元素的问题，能够提高目标元素提取的准确率，并且无需连接终端设备进行操作，无需分析ui节点的信息就可以灵活确定任意尺寸的屏幕截图图片上目标元素的位置，在进行界面节点信息分析时也能将模板元素进行准确分离。
本文档来自技高网...【技术保护点】
1.一种基于终端屏幕截图图片提取元素的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述视觉层次特征包括对话框、矩形框、元素组合规则和图片边界。
3.根据权利要求1所述的方法，其特征在于，步骤S3还包括：
4.根据权利要求1所述的方法，其特征在于，步骤S3还包括：
5.根据权利要求1所述的方法，其特征在于，步骤S3还包括：
6.根据权利要求1、3、4或5所述的方法，其特征在于，识别所述起始点的颜色特征并判断是否满足条件包括识别所述起始点的像素颜色值范围，所述起始点的颜色与周边像素点的颜色变化关系；
7.根据权利要求1所述的方法，其特征在于，所述二次处理包括但不限于对当前层次的矩形图片进行平均分割和非矩形切割。
8.根据权利要求1所述的方法，其特征在于，所述目标元素包括但不限于按钮、人物、物品、符号、指定大小的矩形和指定大小的圆形，以及用户头像。
9.一种基于终端屏幕截图图片提取元素的系统，其特征在于，包括：
10.一种计算机程序产品，包括计算机程序，其
...【技术特征摘要】
1.一种基于终端屏幕截图图片提取元素的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述视觉层次特征包括对话框、矩形框、元素组合规则和图片边界。
3.根据权利要求1所述的方法，其特征在于，步骤s3还包括：
4.根据权利要求1所述的方法，其特征在于，步骤s3还包括：
5.根据权利要求1所述的方法，其特征在于，步骤s3还包括：
6.根据权利要求1、3、4或5所述的方法，其特征在于，识别所述起始点的颜色特征并判断是否满足条件包括识别所述起始点的像素颜色值范围，所...
【专利技术属性】
技术研发人员：廖宁，陈生潮，陈妙瑛，张建平，常虹，
申请(专利权)人：厦门安胜网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。