全覆盖截图方法技术

本发明专利技术涉及计算机技术领域，提供一种全覆盖截图方法

【技术实现步骤摘要】
全覆盖截图方法、系统、电子设备和存储介质


[0001]本专利技术涉及计算机
，具体涉及一种全覆盖截图方法
、
系统
、
电子设备和存储介质
。

技术介绍

[0002]随着流程机器人自动化场景的普及，对机器人结果的审计越来越重要，审计素材中为截图的比例也越来越高，截图的场景需求也越来越多样
。
现有技术主要包括全屏截图
、
区域截图
、
元素截图等截图方法，然而，如果当前机器有多台显示器的情况下，对于全屏截图方案会将多余屏幕截取下来，并且截图中还包含与业务无关的内容；如果机器人配置时的分辨率和运行时不一致，对于区域截图方案会出现坐标偏差，导致截图内容偏差
。
如果截图元素存在翻页
、
滚动条等情况，元素截图方案只能截取当前显示器中能看到的内容，并且需要依靠人为配置相关自动化逻辑进行翻页
、
滚动，并截取成多张图片，图片之间难免会出现内容重合等问题，可读性和准确性极差
。

技术实现思路

...

【技术保护点】

【技术特征摘要】
1.
一种全覆盖截图方法，其特征在于，包括：获取标记文本，并对所述标记文本进行模式识别，得到标记模式；所述标记模式包括区域剪裁模式
、
自动化接口模式和图像识别模式；根据所述区域剪裁模式
、
所述自动化接口模式和所述图像识别模式进行元素捕获，得到截图元素；根据所述区域剪裁模式
、
所述自动化接口模式和所述图像识别模式，结合所述截图元素进行截图内容识别，得到内容截图集合；将所述内容截图集合中的内容截图进行拼接，得到目标截图
。2.
根据权利要求1所述的全覆盖截图方法，其特征在于，所述根据所述区域剪裁模式
、
所述自动化接口模式和所述图像识别模式，结合所述截图元素进行截图内容识别，得到内容截图集合，包括：若确定所述标记模式为区域剪裁模式，则在所述截图元素上全屏截图，并通过区域剪裁模式中的截图坐标进行裁剪，将裁剪后得到的所有截图保存为所述内容截图集合；或，若确定所述标记模式为自动化接口模式，则对截图元素进行分析，识别元素对象在内存中的
Class
类型，并探索父子元素的相关类型；以截图元素为中心，对关联的滚动条和翻页装置进行识别，得到截图内容区域范围，并在截图内容区域范围进行滚动操作和翻页操作，对截图元素进行截图操作，得到所述内容截图集合；或，若确定所述标记模式为图像识别模式，则将标记文本中的图片作为目标，通过图匹配监督算法在截图元素中进行目标匹配，并将目标位置转换为屏幕坐标作为图像识别模式的入参进行裁剪，将裁剪后得到的所有截图保存为所述内容截图集合
。3.
根据权利要求1所述的全覆盖截图方法，其特征在于，所述根据所述区域剪裁模式
、
所述自动化接口模式和所述图像识别模式进行元素捕获，得到截图元素，包括：若确定所述标记模式为区域剪裁模式，则对标记屏幕进行元素捕获，得到所述截图元素；或，若确定所述标记模式为自动化接口模式和图像识别模式，则按照层级结构的标记文本捕获元素对象，通过双通道热切换的方式识别元素所属根目录层级，在层级和子层级中按照标签名和属性名进行分析，并逐层检索获取截图元素
。4.
根据权利要求1所述的全覆盖截图方法，其特征在于，生成所述标记文本的具体步骤包括：获取鼠标指定元素；若确定鼠标指定元素为固定区域范围元素，则确定标记模式为区域剪裁模式；获取鼠标指针框选的截图区域，并将所述截图区域确定为待截图元素对象；确定所述待截图元素对象所在的屏幕以及在屏幕中的左上角坐标和右下角坐标；根据区域剪裁模式
、
屏幕
、
左上角坐标和右下角坐标，生成所...

【专利技术属性】
技术研发人员：谢长弘，李伟，应剑捷，范胡磊，陈宁华，
申请(专利权)人：中国移动通信集团浙江有限公司中国移动通信集团有限公司浙江移动信息系统集成有限公司，
类型：发明
国别省市：