校正图像的装置及其方法制造方法及图纸

本发明专利技术提供一种校正图像的装置及其方法，可在不引起图像劣化的情况下反复进行校正处理。CPU在第2次以后的弯曲校正时，使弯曲校正后的处理图像和重叠在该处理图像上的矩形形状的网格图像显示于显示部。用户从操作部(触摸面板)通过触摸操作使网格图像的形状伸缩而使其与弯曲的处理图像的形状相匹配。CPU根据网格图像的形状，生成表示构成图像的像素的弯曲校正后的坐标的变换用映射表，并且基于变换用映射表所表示的坐标，对用于前一次弯曲校正中的记录用映射表所表示的坐标进行更新，并使用该更新后的记录用映射表，针对原图像进行弯曲校正。

【技术实现步骤摘要】

本专利技术涉及校正图像的装置及其方法。
技术介绍
在现有技术中，提出了如下技术，无需对书籍进行裁剪，保持其原有状态的情况下，一边翻页一边用照相机拍摄来将其电子化。若以自然的状态打开书籍并从上部拍摄，则由于书页的翘曲，图像中的字符串或图表会失真，难以阅读和理解图像中的字符串或图表。因此，例如，在JP特开2014-192901号公报中，提出了如下技术，在失真的图像上显示网格图像，操作网格图像以使其与纸面的弯曲状态相匹配，基于该网格图像来校正图像的失真。但是，在现有技术中，在仅基于网格图像进行一次图像的校正处理，通过所指定的网格图像无法得到良好的处理图像的情况下，需要再一次针对原来失真的图像调整网格图像来执行校正，存在本应是更新处理图像却产生时滞(切换期间)的问题。此外，也可以想到在已经校正的处理图像上显示网格图像来再次进行校正的方法，但由于根据处理图像进行校正，因此存在图像劣化的程度变大这样的问题。
技术实现思路
本专利技术的第1观点所涉及的装置是校正图像的装置，具备：输入部，受理来自用户的指示输入；和处理器，实现以下功能，即：将处理对象的图像和重叠于该图像上的网格图像显示于显示装置；基于所述指示输入，使所述网格图像的形状发生变形；基于变形后的所述网格图像的形状，生成变换用矩阵，该变换用矩阵表示构成处理对象的所述图像的像素的弯曲校正后的坐标；基于所生成的所述变换用矩阵所表示的坐标，更新记录用矩阵，该纪录用矩阵表示构成原图像的像素的变换履历；以及，基于更新
后的所述记录用矩阵，针对所述原图像进行弯曲校正。本专利技术的第2观点所涉及的方法是一种校正图像的方法，包括以下处理：将处理对象的图像和重叠于该图像上的网格图像显示于显示装置；受理来自用户的指示输入；基于所述指示输入，使所述网格图像的形状发生变形；基于变形后的所述网格图像的形状，生成变换用矩阵，该变换用矩阵表示构成处理对象的所述图像的像素的弯曲校正后的坐标；基于所生成的所述变换用矩阵所表示的坐标，更新记录用矩阵，该纪录用矩阵表示构成原图像的像素的变换履历；和基于更新后的所述记录用矩阵，针对所述原图像进行弯曲校正。附图说明若结合以下的附图来考虑以下的详细记述，则能够更深刻地理解本申请。图1是表示作为本专利技术的实施方式的图像校正装置的便携式信息终端1的构成的框图。图2是用于说明本实施方式的便携式信息终端1的整体动作的流程图。图3是表示在本实施方式中原图像与重叠在该原图像上的初始的未失真的网格图像的示意图。图4是表示在本实施方式中使网格图像21重叠显示在原图像20上的状态的示意图。图5是用于说明在本实施方式中网格图像21的控制点的示意图。图6是表示本实施方式的变换用映射表30的一例的概念图。图7是用于说明本实施方式的变换用映射表30的生成方法的概念图。图8是表示本实施方式的记录用映射表31(第1次校正之前)的一例的概念图。图9是用于说明本实施方式的记录用映射表31的更新处理的概念图。图10是用于说明本实施方式的记录用映射表31的更新处理的概念图。图11是用于对在本实施方式的记录用映射表31的更新处理中使用的
双线性方法进行说明的概念图。具体实施方式以下，参照附图来说明本专利技术的实施方式。A.实施方式的构成图1是表示作为本专利技术的实施方式的图像校正装置的便携式信息终端1的构成的框图。在图中，便携式信息终端1例如由智能手机、平板终端等构成。便携式信息终端1具备通信部10、摄像部11、ROM12、RAM13、显示部14、操作部(触摸面板)15、记录介质16以及CPU(PROCESSOR等运算部)17。通信部10例如使用移动体通信、Bluetooth(注册商标)和/或无线LAN(WiFi)连接到因特网等网络。摄像部11具备由光学透镜群构成的透镜块、和CCD、CMOS等摄像元件，通过摄像元件对从透镜块进入的图像进行拍摄。特别是在本实施方式中，摄像部11对书页进行拍摄。ROM12存储了由后述的CPU17所执行的程序、动作等所需的各种参数等。RAM13存储后述的CPU17执行了程序时的临时数据、各种应用程序、应用执行所需的各种参数等数据。特别是在本实施方式中，在RAM13中存储从网格图像生成的变换用映射表、记录用映射表等，其中，网格图像是通过用户操作而使形状与拍摄书页而得到的原图像或弯曲校正后的处理图像相匹配的网格图像。记录用映射表以及变换用映射表是表示为了校正原图像或处理图像的弯曲而从上述网格图像取得的变换后的像素的坐标的矩阵(matrix)。变换用映射表表示从当前时间点的网格图像取得的变换后的像素的坐标，记录用映射表表示前一次变换时的变换后的像素的坐标。该记录用映射表每次进行弯曲校正处理时都基于上述变换用映射表而被更新，并被用于基于当前时间点的网格图像的对原图像的弯曲校正中。关于这些记录用映射表以及变换用映射表的详细内容，将在后面叙述。显示部14由液晶显示器或有机EL(Electro Luminescence)显示器等构成，显示与特定的功能、应用等相关联的图标、应用画面、各种菜单画面等。操作部(触摸面板)15检测手指或触控笔(笔)等的直接接触或
者接近。另外，在操作部(触摸面板)15中，也可以包含电源按钮、音量按钮等机械开关类。此外，在本实施方式中，从操作部(触摸面板)15输入指定网格图像的形状作为对拍摄到的图像的曲面(失真)进行校正时的参数的触摸操作。通过该触摸操作，用户使网格图像的形状与拍摄到的书页的图像(原图像、校正后的处理图像)的形状相匹配。记录介质16保存拍摄到的图像数据等各种数据。CPU17通过执行存储在上述ROM12中的程序来控制各部分的动作。特别是，在本实施方式中，CPU17通过执行图像处理程序，从而针对拍摄到的图像执行弯曲校正。本实施方式是用在如下方面的支援技术，即，使用户能够容易进行用于对由摄像部11或者其他具有摄像功能的设备拍摄到的书籍或册子(以后简称为书籍)的图像进行弯曲校正的参数(网格图像)的设定。CPU17使基于网格方式的网格图像重叠在原图像或处理图像上，并通过用户操作，调整网格图像的形状以使其与原图像或处理图像相匹配。此外，CPU17从调整后的网格图像生成表示当前时间点的像素的移动目的地的坐标的变换用映射表30(后述)、和记录各个像素如何从原图像向处理图像进行了坐标变换的记录用映射表31(后述)。CPU17在每次进行弯曲校正处理时，都更新该记录用映射表31的坐标，由此能够针对处理图像反复设定网格图像，并且每次都从原图像变换成处理图像来进行显示。由此，能够在不引起图像劣化的情况下顺畅地反复进行校正处理。B.实施方式的动作接着，说明上述实施方式的动作。图2是用于说明本实施方式的便携式信息终端1的整体动作的流程图。在便携式信息终端1中，CPU17首先将由拍摄到的书页构成的原图像从记录介质16输入到RAM13中(步骤S10)，向显示部14输出原图像与重叠在该原图像上的初始的未失真的网格图像(步骤S12)。图3是表示在本实施方式中原图像与重叠在该原图像上的初始的未失真的网格图像的示意图。在步骤S12中，如图3所示，显示原图像20与未失真的网格图像21。原图像因拍摄时的书页的翘曲而发生弯曲。通过可在所安装的平台上执行的应用程序来本文档来自技高网...

【技术保护点】
一种校正图像的装置，具备：输入部，受理来自用户的指示输入；和处理器，实现以下功能，即：将处理对象的图像和重叠于该图像上的网格图像显示于显示装置；基于所述指示输入，使所述网格图像的形状发生变形；基于变形后的所述网格图像的形状，生成变换用矩阵，该变换用矩阵表示构成处理对象的所述图像的像素的弯曲校正后的坐标；基于所生成的所述变换用矩阵所表示的坐标，更新记录用矩阵，该纪录用矩阵表示构成原图像的像素的变换履历；以及，基于更新后的所述记录用矩阵，针对所述原图像进行弯曲校正。

【技术特征摘要】
2015.03.18 JP 2015-0542661.一种校正图像的装置，具备：输入部，受理来自用户的指示输入；和处理器，实现以下功能，即：将处理对象的图像和重叠于该图像上的网格图像显示于显示装置；基于所述指示输入，使所述网格图像的形状发生变形；基于变形后的所述网格图像的形状，生成变换用矩阵，该变换用矩阵表示构成处理对象的所述图像的像素的弯曲校正后的坐标；基于所生成的所述变换用矩阵所表示的坐标，更新记录用矩阵，该纪录用矩阵表示构成原图像的像素的变换履历；以及，基于更新后的所述记录用矩阵，针对所述原图像进行弯曲校正。2.根据权利要求1所述的装置，其中，所述更新是以下动作：在第2次以后的弯曲校正时，通过将用于前一次弯曲校正中的所述记录用矩阵所表示的坐标置换为所述变换用矩阵所表示的相对应的像素的坐标，从而更新所述记录用矩阵。3.根据权利要求1所述的装置，其中，所述显示是以下动作：在第2次以后的弯曲校正时，将所述弯曲校正后的处理图像和重叠于该处理图像上的所述网格图像显示于所述显示装置。4.根据权利要求1所述的装置，其中所述弯曲校正是通过基于更新后的所述记录用矩阵针对所述原图像进行透视变换来进行的。5.根据权利要求1所述的装置，其中，所述显示是以下动作：利用四阶的贝塞尔曲线来描绘所述网格图像，所述变形是以下动作：基于所述指示输入，...

【专利技术属性】
技术研发人员：二村亮，
申请(专利权)人：卡西欧计算机株式会社，
类型：发明
国别省市：日本;JP