用于截图的方法、装置及终端设备制造方法及图纸

本申请涉及用于截图的方法、装置及终端设备,方法包括：实时获取终端的屏幕图像；根据所述屏幕图像的纹理信息对所述屏幕图像进行处理，自动提取至少一个连通区域；从所述至少一个连通区域中找到操作点所在的连通区域，根据所述连通区域进行截图。本申请的技术方案能够有效获取操作位置的精确截图，避免了大量无效的无关背景信息，显著减少了固定区域截图带来的大量截图误差。

Method, device and terminal device for screenshot

The invention relates to a method and a device for screenshots and terminal equipment, method includes: real-time access to the screen image of the terminal; according to the processing of the screen image texture information of the screen image, the automatic extraction of at least one connected region; find the operating point in the connected region from the at least one connected region. According to the regional connectivity screenshot. The technical proposal of the application can effectively obtain accurate screenshots of the operation positions, avoid a large number of invalid irrelevant background information, and significantly reduce a large number of screenshots error caused by the fixed area screenshots.

【技术实现步骤摘要】
用于截图的方法、装置及终端设备
本申请涉及自动化测试
，具体而言，涉及用于截图的方法、装置及终端设备。
技术介绍
在软件自动化测试
，相关技术中，自动录制脚本的过程基本包括：用户对设备的操作，自动识别用户操作，实时生成对应操作的脚本，同时自动截取操作位置的图像保存到脚本中，将截图文件路径作为脚本参数。回归脚本的原理是将脚本中的截图与设备当前的画面进行图像匹配，从而定位操作位置，并在该位置执行相应的操作。由于测试脚本可能需要在不同分辨率的手机下分别运行，不同分辨率的终端对应的画面可能对应着比较大的背景差异，如果在截图中包含比较多背景的话，那么截图与手机画面进行图像匹配时，匹配结果的相似度会受到较大影响。对于两种不同分辨率的终端设备，其分辨率和所处的不同场景，导致画面会有较大的区别，例如图1和图2所述的场景。如果使用固定尺寸的截图图像，那么对于小按钮、操作图标等图像的截图背景差异很大，例如从图1中提取的截图为图3，从图2中提取的截图为图4。在判定截图的相似度时，较多的背景差异，将会导致相似度较低。可以看出，如果将录制脚本时的自动截图方式，设定为固定区域大小截图，可能导致截图中含有较多的无关区域，对于小按钮、文字类型的操作图标，截图包含过多无关区域，无法保证截图的精确性。如果自动截图不合适或者截图效果不理想，将需要使用者进行手动截图，增加了人工成本，导致测试脚本生成成本升高。
技术实现思路
本申请公开用于截图的方法，能够有效获取操作位置的精确截图，避免了大量无效的无关背景信息，相对于固定区域截图显著减少了截图误差。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的一个方面，提供一种用于截图的方法，包括：实时获取终端的屏幕图像；根据所述屏幕图像的纹理信息对所述屏幕图像进行处理，自动提取至少一个连通区域；从所述至少一个连通区域中找到操作点所在的连通区域，根据所述连通区域进行截图。根据一些实施例，根据所述屏幕图像的纹理信息对所述屏幕图像进行处理，自动提取至少一个连通区域，包括：将所述屏幕图像转换成灰度图像，获取所述灰度图像的边缘二值化图像；根据所述边缘二值化图像获取连通区域分布图，根据所述连通区域分布图提取至少一个连通区域。根据一些实施例，根据所述边缘二值化图像获取连通区域分布图包括：对所述边缘二值化图像进行图像膨胀以及图像腐蚀处理得到连通区域分布图。申请的实施例提供的技术方案，根据所述连通区域分布图提取至少一个连通区域包括：根据所述连通区域分布图使用最小外接矩形、最小外接椭圆、最小外接圆形、最大内接矩形、最大内接圆形、最大内接椭圆中的至少一种方式提取至少一个连通区域。根据一些实施例，获取所述灰度图像的边缘二值化图像包括：对所述灰度图像进行边缘提取得到边缘信息，将所述边缘信息通过自适应阈值进行二值化处理得到边缘二值化图像。根据一些实施例，对所述灰度图像进行边缘提取得到边缘信息包括：基于Laplacian算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，对所述灰度图像进行边缘提取得到边缘信息包括：基于Sobel-x算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，对所述灰度图像进行边缘提取得到边缘信息包括：基于Sobel-y算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，对所述灰度图像进行边缘提取得到边缘信息包括：基于Sobel-x-y算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，对所述灰度图像进行边缘提取得到边缘信息包括：基于Canny算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，在进行截图之后还包括对得到的截图进行校验。根据一些实施例，所述校验包括：校验所述截图的长宽比例是否满足设定比例。根据一些实施例，所述校验包括：校验所述截图的尺寸是否满足设定尺寸范围。根据一些实施例，在进行校验之后还包括：若所述截图不符合预设规则，则采用固定尺寸重新截图或根据用户操作重新截图。根据本专利技术的另一方面，提供一种用于截图的装置，其包括包括屏幕图像获取单元、连通区域提取单元、以及截图单元，其中：所述屏幕图像获取单元用于，实时获取终端的屏幕图像；所述连通区域提取单元用于，根据所述屏幕图像的纹理信息对所述屏幕图像进行处理，自动提取至少一个连通区域；所述截图单元用于，从所述至少一个连通区域中找到操作点所在的连通区域，根据所述连通区域进行截图。根据一些实施例，所述连通区域提取单元用于：将所述屏幕图像转换成灰度图像，获取所述灰度图像的边缘二值化图像；根据所述边缘二值化图像获取连通区域分布图，根据所述连通区域分布图提取至少一个连通区域。根据一些实施例，所述连通区域提取单元用于：对所述边缘二值化图像进行图像膨胀以及图像腐蚀处理得到连通区域分布图。根据一些实施例，所述连通区域提取单元用于：根据所述连通区域分布图使用最小外接矩形、最小外接椭圆、最小外接圆形、最大内接矩形、最大内接圆形、最大内接椭圆中的至少一种方式提取至少一个连通区域。根据一些实施例，所述连通区域提取单元用于：对所述灰度图像进行边缘提取得到边缘信息，将所述边缘信息通过自适应阈值进行二值化处理得到边缘二值化图像。根据一些实施例，所述连通区域提取单元用于：基于Laplacian算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，对所述灰度图像进行边缘提取得到边缘信息包括：基于Sobel-x算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，所述连通区域提取单元用于：基于Sobel-y算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，所述连通区域提取单元用于：基于Sobel-x-y算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，所述连通区域提取单元用于：基于Canny算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息。根据一些实施例，所述装置还包括校验单元，用于在进行截图之后对得到的截图进行校验。根据一些实施例，所述校验单元用于：校验所述截图的长宽比例是否满足设定比例。根据一些实施例，所述校验单元用于：校验所述截图的尺寸是否满足设定尺寸范围。根据一些实施例，所述截图单元还用于：在进行校验之后，若所述截图不符合预设规则，则采用固定尺寸重新截图或根据用户操作重新截图。根据本专利技术的另一方面，提供一种终端设备，包括：处理器；存储器，存储用于处理器控制如上述第一方面任一项所述的操作的指令。本申请的实施例提供的技术方案可以包括以下有益效果：本申请的实施例提供的技术方案能够有效获取操作位置的精确截图，避免了大量无效的无关背景信息，显著减少了固定区域截图带来的大量截图误差。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本专利技术。附图说明通过参照附图详细描述其示例实施例，本专利技术的上述和其它特征及优点将变得更加明显。图1示出了相关技术中终端在一种场景下的截屏图像；图2示出了相关技术中终端在另一种场景下的截屏图像；图3示出了相关技术中在图1所示的截屏图像中按照固定大小自动截取的图像；图4示出了相关技本文档来自技高网...

【技术保护点】
一种用于截图的方法，其特征在于，包括：实时获取终端的屏幕图像；根据所述屏幕图像的纹理信息对所述屏幕图像进行解析，自动提取至少一个连通区域；从所述至少一个连通区域中找到操作点所在的连通区域，根据所述连通区域进行截图。

【技术特征摘要】
1.一种用于截图的方法，其特征在于，包括：实时获取终端的屏幕图像；根据所述屏幕图像的纹理信息对所述屏幕图像进行解析，自动提取至少一个连通区域；从所述至少一个连通区域中找到操作点所在的连通区域，根据所述连通区域进行截图。2.如权利要求1所述的方法，其特征在于，根据所述屏幕图像的纹理信息对所述屏幕图像进行处理，自动提取至少一个连通区域，包括：将所述屏幕图像转换成灰度图像，获取所述灰度图像的边缘二值化图像；根据所述边缘二值化图像获取连通区域分布图，根据所述连通区域分布图提取至少一个连通区域。3.如权利要求2所述的方法，其特征在于，根据所述边缘二值化图像获取连通区域分布图包括：对所述边缘二值化图像进行图像膨胀以及图像腐蚀处理得到连通区域分布图。4.如权利要求2所述的方法，其特征在于，根据所述连通区域分布图提取至少一个连通区域包括：根据所述连通区域分布图使用最小外接矩形、最小外接椭圆、最小外接圆形、最大内接矩形、最大内接圆形、最大内接椭圆中的至少一种方式提取至少一个连通区域。5.如权利要求2所述的方法，其特征在于，获取所述灰度图像的边缘二值化图像包括：对所述灰度图像进行边缘提取得到边缘信息，将所述边缘信息通过自适应阈值进行二值化处理得到边缘二值化图像。6.如权利要求5所述的方法，其特征在于，对所述灰度图像进行边缘提取得到边缘信息包括：基于Laplacian算子的边缘提取方法对所述灰度图像进行边缘提取得到边缘信息；或基于Sobel-x算子的边缘提取方法对所述灰度图像进行边缘提取...

【专利技术属性】
技术研发人员：王建军，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33