一种界面元素的自动分段截图方法及系统技术方案

本发明专利技术公开了一种界面元素的自动分段截图及系统，该方法包括：在开启辅助服务时，获取至少一个控件的识别参数，并执行屏幕的截图分段，得到截图图片，获取屏幕中的所有控件的信息；根据控件的识别参数，获取对应控件的快照信息；根据截图图片，裁剪出控件范围的图像；根据快照信息以及图像，得到分段后的结果集合，并将结果集合发送至调用方。通过使用截图分段识别方式对内容进行识别，比普通的识别准确率有质的提高，同时减少了脏数据的产生，并提高了AI系统中的识别效率，降低乐AI服务的资源消耗。

A method and system of automatic segmented screenshot of interface elements

【技术实现步骤摘要】
一种界面元素的自动分段截图方法及系统
本申请涉及电子
，尤其涉及一种界面元素的自动分段截图方法及系统。
技术介绍
目前随着人工智能的普及，图像识别技术的应用也越来越广泛。我们可以在图片中提取文字、识别车牌、识别非法内容等。但是目前AI识别技术的精准程度相对依赖图片源，比如说OCR文字识别就无法在整张截图中精准提取某一部分文字，而会把整屏的文字都识别出来，造成结果不可用的问题。同时整张图片识别必然会降低AI识别的精准程度。目前，对图片进行切片分段的AI处理方法存在以下缺点：1、对需要准确识别屏幕中一部分内容的需求，没有办法满足，整屏识别将造成结果混乱；2、没有充分高效地利用AI识别，不对图片进行切片分段的识别，没有能够充分利用AI识别的优势，降低了AI识别的准确性；3、消耗更多的AI识别资源以及时间，不对图片进行切片分段，会掺杂着大量无用的信息，增加AI识别服务的压力同时还需要消耗更多的时间来识别；4、截图、对图片进行切片分段、识别这样的流程需要手工完成，时间成本高，效率低。
技术实现思路
本专利技术提供了一种界面元素的自动分段截图方法及系统，用以解决现有技术中截图、对图片进行切片分段、识别这样的流程需要手工完成，时间成本高，效率低的问题。其具体的技术方案如下：一种界面元素的自动分段截图方法，所述方法包括：在开启辅助服务时，获取至少一个控件的识别参数，并执行屏幕的截图分段，得到截图图片，所述识别参数为所述控件的标识信息；获取所述屏幕中的所有控件的信息；根据所述控件的识别参数，获取对应控件的快照信息；根据所述截图图片，裁剪出控件范围的图像；根据所述快照信息以及所述图像，得到分段后的结果集合，并将所述结果集合发送至调用方。具体的，获取所述屏幕中的所有控件的信息，包括：通过辅助服务中的定义方式遍历控件树，确定目标控件；根据所述目标控件，确定所述目标控件在所述屏幕中的矩形顶点坐标；保存各个控件对应的坐标以及标识，得到所述控件的信息。具体的，获取所述屏幕中的所有控件的信息，包括：加载源截图文件；在所述快照信息中取出带分段的控件的位置信息；在所述源截图文件中，按照所述控件的位置信息裁剪出矩形范围的图像。具体的，所述方法还包括：检测操作流程是否完成；在检测到操作流程完成时，执行结束，并释放资源。一种界面元素的自动分段截图系统，所述系统包括：获取模块，用于在开启辅助服务时，获取至少一个控件的识别参数，并执行屏幕的截图分段，得到截图图片，所述识别参数为所述控件的标识信息；处理模块，用于获取所述屏幕中的所有控件的信息；根据所述控件的识别参数，获取对应控件的快照信息；根据所述截图图片，裁剪出控件范围的图像；根据所述快照信息以及所述图像，得到分段后的结果集合，并将所述结果集合发送至调用方。具体的，所述获取模块，具体用于通过辅助服务中的定义方式遍历控件树，确定目标控件；根据所述目标控件，确定所述目标控件在所述屏幕中的矩形顶点坐标；保存各个控件对应的坐标以及标识，得到所述控件的信息。具体的，所述处理模块，具体用于加载源截图文件；在所述快照信息中取出带分段的控件的位置信息；在所述源截图文件中，按照所述控件的位置信息裁剪出矩形范围的图像。具体的，所述处理模块，还用于检测操作流程是否完成；在检测到操作流程完成时，执行结束，并释放资源。通过本专利技术所提供的方法至少具有如下技术效果：1、通过本专利技术所提供的方法，将方案集成到手机端的RPA系统后，实现了手机端或者移动终端的自动化信息采集功能；2、通过将本专利技术所提供的方法集成到企业内部运营系统中，实现了自动验收运营任务工单的功能，自动化截屏、分段、识别即可验证企业内员工是否完成运营任务的效果，节省了大量人力验证运营任务的工作量，提高了企业云运营效率；3、通过使用截图分段识别方式对内容进行识别，比普通的识别准确率有质的提高，同时减少了脏数据的产生，并提高了AI系统中的识别效率，降低乐AI服务的资源消耗。附图说明图1为本专利技术实施例中一种界面元素的自动分段截图方法的流程图；图2为本专利技术实施例中界面元素的自动分段截图原理执行流程图；图3为本专利技术实施例中自动分段截图系统的系统架构示意图；图4为本专利技术实施例中截图结果示意图之一；图5为本专利技术实施例中截图结果示意图之二；图6为本专利技术实施例中一种界面元素的自动分段截图系统的结构示意图。具体实施方式下面通过附图以及具体实施例对本专利技术技术方案做详细的说明，应当理解，本专利技术实施例以及实施例中的具体技术特征只是对本专利技术技术方案的说明，而不是限定，在不冲突的情况下，本专利技术实施例以及实施例中的具体技术特征可以相互组合。首先来讲，在本专利技术实施例中，通过对安卓操作系统的“辅助服务”编程接口进行封装，使用安卓系统截屏接口进行截屏时，对屏幕中的控件进行快照，提供了按照控件信息进行分段切片，提供调用接口给外部系统如RPA、图像识别、图像处理等系统，外部系统调用本方法，即可取得分段好的图片的一体化方案，具体实现原理如下：如图1所示为本专利技术实施例中一种界面元素的自动分段截图方法的流程图，该方法包括：S1，在开启辅助服务时，获取至少一个控件的识别参数，并执行屏幕的截图分段，得到截图图片；S2，获取所述屏幕中的所有控件的信息；S3，根据所述控件的识别参数，获取对应控件的快照信息；S4，根据所述截图图片，裁剪出控件范围的图像；S5，根据所述快照信息以及所述图像，得到分段后的结果集合，并将所述结果集合发送至调用方。首先来讲，本专利技术所提供的方法可以应用到一种安卓手机上按照界面元素自动分段截图的场景中，使用安卓操作系统提供的“辅助服务(AccessibilityService)”编程接口，封装了可供用户抓取屏幕控件快照信息的方法，并实现了使用安卓操作系统提供的截图编程接口对界面进行截屏的方法。本系统整合这两个方法，实现了自动化截屏、使用快照信息对图片进行分段切片处理。同时提供截屏、分段的API接口给外部系统如图像识别、图像处理、RPA等外部系统调用，在丰富的应用场景下都可对图像进行精准处理，在本系统中称为“截图分段API”，该方法的具体详细实现原理如图2所示，在图2中包含了信息采集、截图分段API、外部系统三个模块，基于该三个模块的具体实现原理如下：步骤一：确定安卓手机中的AccessibilityService功能已经开启；步骤二：API调用方调用调用截图分段API中的“开始截屏分段”方法，根据实际的使用场景，传入需要进行分段操作的单个或多个控件的识别参数，这里的识别参数可以但不限定是id、文字、控件类名，然后开始自动进行截图分段；步骤三：截图分段API调用Android操作系统的截屏功能进行本文档来自技高网...

【技术保护点】
1.一种界面元素的自动分段截图方法，其特征在于，所述方法包括：/n在开启辅助服务时，获取至少一个控件的识别参数，并执行屏幕的截图分段，得到截图图片，所述识别参数为所述控件的标识信息；/n获取所述屏幕中的所有控件的信息；/n根据所述控件的识别参数，获取对应控件的快照信息；/n根据所述截图图片，裁剪出控件范围的图像；/n根据所述快照信息以及所述图像，得到分段后的结果集合，并将所述结果集合发送至调用方。/n

【技术特征摘要】
1.一种界面元素的自动分段截图方法，其特征在于，所述方法包括：
在开启辅助服务时，获取至少一个控件的识别参数，并执行屏幕的截图分段，得到截图图片，所述识别参数为所述控件的标识信息；
获取所述屏幕中的所有控件的信息；
根据所述控件的识别参数，获取对应控件的快照信息；
根据所述截图图片，裁剪出控件范围的图像；
根据所述快照信息以及所述图像，得到分段后的结果集合，并将所述结果集合发送至调用方。


2.如权利要求1所述的方法，其特征在于，获取所述屏幕中的所有控件的信息，包括：
通过辅助服务中的定义方式遍历控件树，确定目标控件；
根据所述目标控件，确定所述目标控件在所述屏幕中的矩形顶点坐标；
保存各个控件对应的坐标以及标识，得到所述控件的信息。


3.如权利要求1所述的方法，其特征在于，获取所述屏幕中的所有控件的信息，包括：
加载源截图文件；
在所述快照信息中取出带分段的控件的位置信息；
在所述源截图文件中，按照所述控件的位置信息裁剪出矩形范围的图像。


4.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测操作流程是否完成；
在检测到操作流...

【专利技术属性】
技术研发人员：陈建维，万里，黄娜，
申请(专利权)人：深圳市比量科技传媒有限公司，
类型：发明
国别省市：广东;44