一种实现移动终端近距离提取文字的方法及系统技术方案

本发明专利技术提供一种实现移动终端近距离提取文字的方法及系统，该方法的步骤包括：打开摄像头，获取含有用户欲识别文字内容的图像，并将所获取的图像显示到屏幕上；利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的图像进行几何变换，并在屏幕上实时显示几何变换后的图像；提取所显示图像中落入屏幕上待识别区的文字信息。本发明专利技术通过预先拍摄下来的图像配合当前移动终端的运动信息来模拟摄像头的实时画面，屏幕给用户展示的图像不会因为摄像头与被拍摄物的距离过近而出现失焦导致的模糊，用户只需要单手控制移动终端就可以指定需要提取的文字部分，并且可以实现连续的文字提取，有效提高了文字提取的效率和准确度。

【技术实现步骤摘要】
一种实现移动终端近距离提取文字的方法及系统
本专利技术属于图像处理和文字提取
，涉及一种实现移动终端近距离提取文字的方法及系统。
技术介绍
随着智能移动设备的广泛普及，文字识别技术越来越多应用到带有图像扫描或摄像功能的智能移动设备上，使得智能移动终端也能实现文字识别。以往的文字提取方法中，是通过摄像头将带有欲识别文字的页面在显示屏显示出来，需要用户移动屏幕上的光标，通过光标来定位待识别字符区域，再对待识别字符区域进行文字提取，但是这种必须用户一手持着智能移动终端，另一只手移动光标进行定位，操作麻烦，文字提取效率低。所以，为了克服上述文字识别方法的缺陷，现有的文字识别方法是将整个页面中的文本区域提取出来，但是采用这种方法，用户只能得到大片页面的文字信息，无法指定所提取的文本区域，也就无法精确获取某一词汇的文字信息，而当户需要提取的某一特定文字区域，就必须先要将摄像头近距离拍摄页面，使得所需提取的文字信息在显示屏上变得足够大，这样才能提取某个词语的文字信息，但由于现有的带有摄像功能的智能移动设备的镜头变焦范围是有限的，因此这种文字提取方法必须要在智能移动设备和页面保持在较远的距离(变焦范围内)下才能获取清晰的图像，一旦摄像头和页面的距离小于摄像头的变焦范围，摄像头就会失焦，无法获得清晰的图像，影响对文字准确性。因此，现有文字提取方法存在无法兼顾提取文字信息的高效性和准确性的问题。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种实现移动终端近距离提取文字的方法和系统，旨在解决现有的文字提取方法无法兼顾提取文字信息的高效性和准确性的问题。为了实现上述目的，本专利技术采用了以下技术方案：一种实现移动终端近距离提取文字的方法，步骤包括：打开摄像头，获取含有用户欲识别文字内容的图像，并将所获取的图像显示到屏幕上；利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的图像进行几何变换，并在屏幕上实时显示几何变换后的图像；提取所显示图像中落入屏幕上待识别区的文字信息。优选地，所述对屏幕所显示的图像进行几何变换是指对屏幕所显示的图像进行平移变换、缩放变换和旋转变换。进一步的，所述运动信息包括当前移动设备的姿态信息以及当前移动设备的加速度和/或角速度。优选地，所述提取所显示图像中落入屏幕上待识别区的文字信息，具体为：确定所显示图像落入屏幕上待识别区的文本区域为信息提取区域；将信息提取区域所在的图像进行透视变换调整为正面图像；提取正面图像中信息提取区域的文字信息。优选地，所述获取含有用户欲识别文字内容的图像，并将所获取的图像显示到屏幕上，具体为：拍摄对焦清晰的第一图像，屏幕显示第一图像；当惯性测量单元检测到移动终端在运动时，控制摄像头在图像采集周期内采集与第一图像相邻的第二图像，其中第一图像和第二图像具有重叠部分；所述利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的图像进行几何变换，具体为：利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的第一图像进行几何变换，同时结合惯性测量单元判断当前移动终端的摄像头是否移动到第一图像的边缘；若否，屏幕实时显示几何变换后的第一图像；若是，对第一图像和第二图像进行拼接得到第三图像，将屏幕所显示的图像切换为第三图像，继续根据当前移动终端的运动信息对第三图像进行几何变换，屏幕实时显示几何变换后的第三图像；所述提取所显示图像中落入屏幕上待识别区的文字信息，具体为：当屏幕显示的图像为几何变换后的第一图像时，提取第一图像中落入屏幕上待识别区的文字信息；当屏幕显示的图像为几何变换后的第三图像时，提取第三图像中落入屏幕上待识别区的文字信息。进一步的，所述当屏幕显示的图像为几何变换后的第一图像时，提取第一图像中落入屏幕上待识别区的文字信息，具体为：当屏幕显示的图像为几何变换后的第一图像时，将几何变换后的第一图像中落入屏幕上待识别区的文本区域确定为信息提取区域，根据第一图像的透视变换矩阵对第一图像进行透视变换调整得到正面的第一图像，提取正面的第一图像中信息提取区域的文字信息；所述当屏幕显示的图像为几何变换后的第三图像时，提取第三图像中落入屏幕上待识别区的文字信息，具体为：当屏幕显示的图像为几何变换后的第三图像时，将几何变换后的第三图像中落入屏幕上待识别区的文本区域确定为信息提取区域，根据第一图像的透视变换矩阵对第三图像进行透视变换调整得到正面的第三图像，提取正面的第三图像中信息提取区域的文字信息。优选地，所述打开摄像头，拍摄含有用户欲识别文字内容的图像，包括：打开摄像头，采用自动对焦方法拍摄清晰的图像。进一步的，所述采用自动对焦方法拍摄清晰的图像，具体为：开启移动终端自带的自动对焦功能，检测当前摄像头获取的画面是否对焦成功；若对焦成功，自动拍下清晰的图像；若对焦不成功，重新对焦。优选地，所述提取所显示图像中落入屏幕上待识别区的文字信息，包括：采用基于神经网络的文字提取算法对所显示图像中落入屏幕上待识别区的文字信息进行提取。一种实现移动终端近距离提取文字的系统，包括：摄像头，用于拍摄获取含有用户欲识别文字的图像，并将图像发送到显示屏幕、信息储存单元，惯性测量单元，用于获取移动终端的运动信息，并将运动信息发送到图像处理单元；信息储存单元，用于存储摄像头所拍摄的图像；图像处理单元，用于接收惯性测量单元发送的移动终端的运动信息，并根据运动信息对图像进行几何变换，将几何变换后的图像发送到显示屏幕和文字提取单元；显示屏幕，用于接收摄像头所拍摄的图像、接收图像处理单元进行几何变换处理后的图像并对图像和待识别区进行显示；文字提取单元，用于提取几何变换处理后的图像落入待识别区域的文字信息。本专利技术的有益效果：1、本专利技术通过将预先拍摄下来的图像配合当前移动终端的运动信息来模拟摄像头的实时画面，使屏幕给用户展示的图像不会因为摄像头与被拍摄物的距离过近而出现失焦导致的模糊，用户只需要单手控制移动终端就可以指定需要提取的文字部分，可以实现连续的文字提取，有效提高了文字提取的效率和准确度。2、本专利技术对于需要提取文字的图像先进行透视变换，将拍摄下来的三维图像变换为二维图像，有利于提高文字提取的准确性。3、本专利技术运用图像拼接的方式，扩大了用户提取文字的图像范围，能够给用户提高更好的使用体验。附图说明附图1是本专利技术所提供实现移动终端近距离提取文字的方法的流程图；附图2是本专利技术所提供实施例一所述实现移动终端近距离提取文字的方法的流程图；附图3是本专利技术所提供实施例二所述实现移动终端近距离提取文字的方法的流程图；附图4是本专利技术所提供实现移动终端近距离提取文字的系统本文档来自技高网...

【技术保护点】
1.一种实现移动终端近距离提取文字的方法，其特征在于，该方法的步骤包括：打开摄像头，获取含有用户欲识别文字内容的图像，并将所获取的图像显示到屏幕上；/n利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的图像进行几何变换，并在屏幕上实时显示几何变换后的图像；/n提取所显示图像中落入屏幕上待识别区的文字信息。/n

【技术特征摘要】
1.一种实现移动终端近距离提取文字的方法，其特征在于，该方法的步骤包括：打开摄像头，获取含有用户欲识别文字内容的图像，并将所获取的图像显示到屏幕上；
利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的图像进行几何变换，并在屏幕上实时显示几何变换后的图像；
提取所显示图像中落入屏幕上待识别区的文字信息。


2.根据权利要求1所述实现移动终端近距离提取文字的方法，其特征在于，所述根据移动终端的运动信息对屏幕所显示的图像进行几何变换是指根据移动终端的运动信息对屏幕所显示的图像进行平移变换、缩放变换和旋转变换。


3.根据权利要求2所述实现移动终端近距离提取文字的方法，其特征在于，所述运动信息包括当前移动设备的姿态信息以及当前移动设备的加速度a和/或角速度w。


4.根据权利要求1-3任一项所述实现移动终端近距离提取文字的方法，其特征在于，
所述提取所显示图像中落入屏幕上待识别区的文字信息，具体为：
确定所显示图像落入屏幕上待识别区的文本区域为信息提取区域；
将信息提取区域所在的图像进行透视变换调整为正面图像；
提取正面图像中信息提取区域的文字信息。


5.根据权利要求1-3任一项所述实现移动终端近距离提取文字的方法，其特征在于，所述获取含有用户欲识别文字内容的图像，并将所获取的图像显示到屏幕上，具体为：
拍摄对焦清晰的第一图像，屏幕显示第一图像；
当惯性测量单元检测到移动终端在运动时，控制摄像头在图像采集周期内采集与第一图像相邻的第二图像，其中第一图像和第二图像具有重叠部分；
所述利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的图像进行几何变换，具体为：
利用惯性测量单元实时获取移动终端的运动信息，根据移动终端的运动信息对屏幕所显示的第一图像进行几何变换，同时结合惯性测量单元判断当前移动终端的摄像头是否移动到第一图像的边缘；
若否，屏幕实时显示几何变换后的第一图像；
若是，对第一图像和第二图像进行拼接得到第三图像，将屏幕所显示的图像切换为第三图像，继续根据当前移动终端的运动信息对第三图像进行几何变换，屏幕实时显示几何变换后的第三图像；
所述提取所显示图像中落入屏幕上待识别区的文字信息，具体为：
当屏幕显示的图像为几何变换后的第一图像时，提取第一图像中落入屏幕上待识别区的文字信息；
当屏幕显示的图像为几何变换后的第三图像时，提...

【专利技术属性】
技术研发人员：宗毅，段志超，任柏成，
申请(专利权)人：北京三缘聚科技有限公司，
类型：发明
国别省市：北京;11