一种面向移动端的截屏图文识别提取方法及系统技术方案

一种面向移动端的截屏图文识别提取方法，移动端获取待分析的图像，并根据图像与移动设备屏幕的长宽比是否匹配来验证输入图像是否为移动设备屏幕截图；对待分析的屏幕截图进行预处理，在屏幕截图周围填充背景色，确保原图边界不与当前屏幕边界重合；通过矩形识别技术检测屏幕截图中图片的轮廓，将轮廓内的区域作为识别到的图片；检测屏幕截图包含中文本信息的区域并合并相邻区域，分别对各区域内的文本信息进行识别，生成文本数据；提取保存识别出的图片和文本数据。基于此方法，给出了一种面向移动端的截屏图文识别提取系统。本发明专利技术高效便捷，使得移动设备用户能够从屏幕截图快速获取图片和文本信息。

A Method and System of Screen Capture Text Recognition and Extraction for Mobile End

【技术实现步骤摘要】
一种面向移动端的截屏图文识别提取方法及系统
本专利技术涉及移动端信息处理领域和图像文字识别领域，特别涉及一种面向移动端的截屏图文识别提取方法及系统。
技术介绍
随着移动设备的日益普及与发展，各类移动应用程序也出现在了日常生活中，这使得人们开始关注软件质量以及用户体验。如今大部分的移动应用支持图文等形式的多媒体信息，这很大程度上满足了用户信息接收和表达的需求，然而，很多应用并不支持图文信息的提取与保存，这就降低了用户在信息处理方面的用户体验和便捷度。例如，日活跃用户数上千万的Instagram应用程序不允许用户直接从发布的信息中保存图片和文字。现实中，为了解决移动端图文提取问题，用户往往需要借助其他操作和第三方工具。如通过截取应用程序的界面并从屏幕截图中手动裁剪图像，使用具有OCR(OpticalCharacterRecognition，光学字符识别)功能的应用程序来检索文本。这种方式耗时，且通常需要联网支持，不便于用户使用。
技术实现思路
为了克服现有方法操作复杂、效率低、用户体验差的缺点，本专利技术提出了一种高效便捷的基于移动端的截屏图文提取与识别提取方法及系统，使得移动设备用户能够从本文档来自技高网...

【技术保护点】
1.一种面向移动端的截屏图文识别提取方法，其特征在于：所述方法包括以下步骤：步骤一，移动端获取待分析的图像，并根据图像与移动设备屏幕的长宽比是否匹配来验证输入图像是否为移动设备屏幕截图；步骤二，移动端对待分析的屏幕截图进行预处理，在屏幕截图周围填充背景色，确保原图边界不与当前屏幕边界重合；步骤三，通过矩形识别技术检测屏幕截图中图片的轮廓，将轮廓内的区域作为识别到的图片；步骤四，检测屏幕截图包含中文本信息的区域并合并相邻区域，分别对各区域内的文本信息进行识别，生成文本数据；步骤五，提取保存识别出的图片和文本数据。

【技术特征摘要】
1.一种面向移动端的截屏图文识别提取方法，其特征在于：所述方法包括以下步骤：步骤一，移动端获取待分析的图像，并根据图像与移动设备屏幕的长宽比是否匹配来验证输入图像是否为移动设备屏幕截图；步骤二，移动端对待分析的屏幕截图进行预处理，在屏幕截图周围填充背景色，确保原图边界不与当前屏幕边界重合；步骤三，通过矩形识别技术检测屏幕截图中图片的轮廓，将轮廓内的区域作为识别到的图片；步骤四，检测屏幕截图包含中文本信息的区域并合并相邻区域，分别对各区域内的文本信息进行识别，生成文本数据；步骤五，提取保存识别出的图片和文本数据。2.如权利要求1所述的一种面向移动端的截屏图文识别提取方法，其特征在于：所述步骤二中，屏幕截图预处理的过程为：检测屏幕截图所在界面的主体背景色，在屏幕截图图像四周填充该颜色的边框。3.如权利要求2所述的一种面向移动端的截屏图文识别提取方法，其特征在于：屏幕截图预处理时，检测屏幕截图主体背景色的过程为：统计屏幕截图的像素值，构造图像颜色直方图，选择颜色频率最高的作为主体背景色。4.如权利要求1～3之一所述的一种面向移动端的截屏图文识别提取方法，其特征在于：所述步骤三中，矩形识别的过程为：先由霍夫变换检测两对平行...

【专利技术属性】
技术研发人员：郝鹏翼，徐震宇，沃华，白琮，吴福理，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33