图像处理装置、摄像装置及图像处理程序制造方法及图纸

本发明专利技术提供一种图像处理装置，具有：输入第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别至少在将第1和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于第1平滑化图像的值与第2平滑化图像的值之积的值构成的基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成增益分布数据的机构；基于增益分布数据对第1视点方向的图像进行各像素的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为视差图像而输出的机构，平滑化滤波器具有与在第1视点方向的图像与第2视点方向的图像之间产生的视差量为相同程度的滤波直径。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像装置及图像处理程序
本专利技术涉及图像处理装置、摄像装置及图像处理程序。
技术介绍
公知有如下摄像装置：使用单一摄影光学系统，通过一次拍摄生成彼此具有视差的左右的视差图像。现有技术文献专利文献专利文献1：日本特开2003-7994号公报
技术实现思路
在由这种摄像装置得到的左右的视差图像中，产生了彼此不同的明暗度(shading)。本专利技术的第1方式的图像处理装置的特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于第1平滑化图像的值与第2平滑化图像的值之积的值构成的基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成第1增益分布数据的机构；基于第1增益分布数据对第1视点方向的图像进行各像素的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，平滑化滤波器是具有与在第1视点方向的图像与第2视点方向的图像之间产生的视差量为相同程度的滤波直径的进行平滑化的滤波器。本专利技术的第2方式的图像处理装置的特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；基于第1平滑化图像和第2平滑化图像来生成基准图像的机构；通过将基准图像的值除以第1平滑化图像的值来生成第1增益分布数据的机构；通过将基准图像的值除以第2平滑化图像的值来生成第2增益分布数据的机构；基于第1增益分布数据对第1视点方向的图像进行各像素的增益修正的机构；基于第2增益分布数据对第2视点方向的图像进行各像素的增益修正的机构；将进行增益修正后的第1视点方向的图像和进行增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构；以及通过使平滑化滤波器的滤波直径可变来调节用于立体显示的视差图像之间的视差量的机构，使滤波直径在消除视差时缩向零、在保存视差时与输入图像的两个视差像素之间能够产生的最大视差量为相同程度或扩大至其以上。本专利技术的第3方式的图像处理装置的特征在于，具有：图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；平滑化数据生成部，其分别对第1图像数据及第2图像数据，以将由第1图像数据及第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成部，其使用第1平滑化数据和第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正部，其使用目标图像数据相对于第1平滑化数据之比来修正第1图像数据。本专利技术的第4方式的摄像装置是具有摄像元件和上述的图像处理装置的摄像装置，第1图像数据及第2图像数据基于摄像元件的输出而生成。本专利技术的第5方式的图像处理程序使计算机执行以下步骤：图像数据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；平滑化数据生成步骤，分别对第1图像数据及第2图像数据，以将由第1图像数据及第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成步骤，使用第1平滑化数据和第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正步骤，使用目标图像数据相对于第1平滑化数据之比来修正第1图像数据。本专利技术的第6方式的图像处理装置的特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对第1视点方向的图像和第2视点方向的图像分别将在与连接第1视点和第2视点的x方向正交的y方向上排列的多个像素的像素值相加，而分别生成一维投影后的第1视点方向的一维分布数据和第2视点方向的一维分布数据的机构；对一维投影后的第1视点方向的一维分布数据和第2视点方向的一维分布数据分别施加一维的平滑化滤波器，由此分别生成第1一维平滑化分布数据和第2一维平滑化分布数据的机构；基于第1一维平滑化分布数据和第2一维平滑化分布数据来求出其间的点而生成一维基准分布数据的机构；通过将一维基准分布数据的值除以第1一维平滑化分布数据的值来生成第1一维增益分布数据的机构；对第1视点方向的图像，将第1一维增益分布数据以各y坐标共通地使用，而分别进行该一维方向的增益修正的机构；以及将进行增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，一维的平滑化滤波器是在比第1视点方向的图像与第2视点方向的图像之间能够产生的最大视差量大的范围内进行平滑化的滤波器。本专利技术的第7方式的图像处理装置的特征在于，具有：图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；一维投影数据生成部，其分别对第1图像数据及第2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1一维投影数据及第2一维投影数据；一维平滑化数据生成部，其分别对第1一维投影数据及第2一维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1一维平滑化数据及第2一维平滑化数据；一维基准数据生成部，其基于第1一维平滑化数据和第2一维平滑化数据来生成一维基准数据；以及明暗度修正部，其使用一维基准数据相对于第1一维平滑化数据之比对第1图像数据进行明暗度修正。本专利技术的第8方式的摄像装置是具有摄像元件和上述的图像处理装置的摄像装置，第1图像数据及第2图像数据基于摄像元件的输出而生成。本专利技术的第9方式的图像处理程序的特征在于，使计算机执行如下步骤：图像数据获取步骤，获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；一维投影数据生成步骤，分别对第1图像数据及第2图像数据，将在与视差方向正交的方向上排列的多个像素的像素值相加，由此生成第1一维投影数据及第2一维投影数据；一维平滑化数据生成步骤，分别对第1一维投影数据及第2一维投影数据，以最大视差量以上的采样幅度计算出移动平均，由此生成第1一维平滑化数据及第2一维平滑化数据；一维基准数据生成步骤，基于第1一维平滑化数据和第2一维平滑化数据来生成一维基准数据；明暗度修正步骤，使用一维基准数据相对于第1一维平滑化数据之比对第1图像数据进行明暗度修正。此外，上述的专利技术的概要没有列举本专利技术的全部必要特征。另外，这些特征组的子组合也能成为专利技术。附图说明图1是说明本专利技术的实施方式的数码相机的结构的图。图2是说明摄像元件的截面结构的图。图3是说明无视差像素中的本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对所述第1视点方向的图像和所述第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于所述第1平滑化图像的值与所述第2平滑化图像的值之积所得到的值构成的基准图像的机构；通过将所述基准图像的值除以所述第1平滑化图像的值来生成第1增益分布数据的机构；基于所述第1增益分布数据对所述第1视点方向的图像进行各像素的增益修正的机构；以及将进行所述增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，所述平滑化滤波器是具有与在所述第1视点方向的图像与所述第2视点方向的图像之间产生的视差量为相同程度的滤波直径的进行平滑化的滤波器。

【技术特征摘要】
【国外来华专利技术】2013.03.29 JP 2013-075018;2013.03.29 JP 2013-075091.一种图像处理装置，其特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对所述第1视点方向的图像和所述第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成由基于所述第1平滑化图像的值与所述第2平滑化图像的值的几何平均而得到的值构成的基准图像的机构；通过将所述基准图像的值除以所述第1平滑化图像的值来生成第1增益分布数据的机构；基于所述第1增益分布数据对所述第1视点方向的图像进行各像素的增益修正的机构；以及将进行所述增益修正后的第1视点方向的图像作为用于立体显示的视差图像而输出的机构，所述平滑化滤波器是具有与在所述第1视点方向的图像与所述第2视点方向的图像之间产生的视差量为相同程度的滤波直径的进行平滑化的滤波器。2.如权利要求1所述的图像处理装置，其特征在于，还具有：通过将所述基准图像的值除以所述第2平滑化图像的值来生成第2增益分布数据的机构；基于所述第2增益分布数据对所述第2视点方向的图像进行各像素的增益修正的机构；将进行所述增益修正后的第1视点方向的图像与进行所述增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构。3.如权利要求1所述的图像处理装置，其特征在于，在具有获取第1视点方向的临时的视差图像和第2视点方向的临时的视差图像、且以比所述临时的视差图像分别高的高析像获取第1视点方向与第2视点方向之间的基准方向的基准图像，并使用所述第1视点方向的临时的视差图像、所述第2视点方向的临时的视差图像和所述基准图像生成第1视点方向的高析像的视差图像和第2视点方向的高析像的视差图像的机构时，作为所述第1视点方向的图像而输入所述第1视点方向的临时的视差图像，作为所述第2视点方向的图像而输入所述第2视点方向的临时的视差图像。4.一种图像处理装置，其特征在于，具有：输入通过一个光学系统对全部光束中的从彼此不同的区域通过的部分光束的被摄物体像进行拍摄而得到的第1视点方向的图像和第2视点方向的图像的至少两个视差图像的机构；对所述第1视点方向的图像和所述第2视点方向的图像分别至少在将第1视点和第2视点连接的方向上施加平滑化滤波器，由此分别生成第1平滑化图像和第2平滑化图像的机构；生成基于所述第1平滑化图像的值和所述第2平滑化图像的值的几何平均而得到的值构成的基准图像的机构；通过将所述基准图像的值除以所述第1平滑化图像的值来生成第1增益分布数据的机构；通过将所述基准图像的值除以所述第2平滑化图像的值来生成第2增益分布数据的机构；基于所述第1增益分布数据对所述第1视点方向的图像进行各像素的增益修正的机构；基于所述第2增益分布数据对所述第2视点方向的图像进行各像素的增益修正的机构；将进行所述增益修正后的第1视点方向的图像和进行所述增益修正后的第2视点方向的图像合并并作为用于立体显示的视差图像而输出的机构；以及通过使所述平滑化滤波器的滤波直径可变来调节所述用于立体显示的视差图像之间的视差量的机构，使所述滤波直径在消除视差时缩向零、在保存视差时与在所述输入图像的两个视差像素之间能够产生的最大视差量为相同程度或扩大至其以上。5.如权利要求4所述的图像处理装置，其特征在于，在具有获取第1视点方向的临时的视差图像和第2视点方向的临时的视差图像、且以比所述临时的视差图像分别高的高析像获取第1视点方向与第2视点方向之间的基准方向的基准图像，并使用所述第1视点方向的临时的视差图像、所述第2视点方向的临时的视差图像和所述基准图像生成第1视点方向的高析像的视差图像和第2视点方向的高析像的视差图像的机构时，作为所述第1视点方向的图像而输入所述第1视点方向的临时的视差图像，作为所述第2视点方向的图像而输入所述第2视点方向的临时的视差图像。6.一种图像处理装置，其特征在于，具有：图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；平滑化数据生成部，其分别对所述第1图像数据及所述第2图像数据，以将由所述第1图像数据及所述第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成部，其使用所述第1平滑化数据和所述第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；以及增益修正部，其使用所述目标图像数据相对于所述第1平滑化数据之比来修正所述第1图像数据。7.如权利要求6所述的图像处理装置，其特征在于，所述增益修正部使用所述目标图像数据相对于所述第2平滑化数据之比来修正所述第2图像数据。8.如权利要求6或7所述的图像处理装置，其特征在于，所述平滑化数据生成部将在所述第1图像数据与所述第2图像数据之间产生的视差量作为采样幅度来进行平滑化。9.如权利要求6或7所述的图像处理装置，其特征在于，所述图像数据获取部获取作为基准方向的第3视点所对应的基准图像数据，具有高析像图像数据生成部，其使用所述第1图像数据、所述第2图像数据和所述基准图像数据来生成高析像基准图像数据，使用所述高析像基准图像数据和修正后的所述第1图像数据来生成高析像第1图像数据，使用所述高析像基准图像数据和修正后的所述第2图像数据来生成高析像第2图像数据。10.一种图像处理装置，其特征在于，具有：图像数据获取部，其获取通过至少一部分共通的光学系统而获取的第1视点所对应的第1图像数据、和第2视点所对应的第2图像数据；平滑化数据生成部，其分别对所述第1图像数据及所述第2图像数据，以将由所述第1图像数据及所述第2图像数据表示的像分别相对于视差方向平滑化的方式进行滤波，由此生成第1平滑化数据及第2平滑化数据；目标图像数据生成部，其使用所述第1平滑化数据和所述第2平滑化数据所对应的各个像素值的几何平均来生成目标图像数据；增益修正部，其使用所述目标图像数据相对于所述第1平滑化数据之比来修正所述第1图像数据，并且使用所述目标图像数据相对于所述第2平滑化数据之比来修正所述第2图像数据；以及视差量调整部，其通过调整所述平滑化的采样幅度，来调整基于所述增益修正部修正后的所述第1图像数据与所述第2图像数据之间的视差量。11.如权利要求10所述的图像处理装置，其特征在于，在维持由所述图像数据获取部获取的时刻下的所述视差量的情况下，所述视差量调整部将所述采样幅度调整为所述第1图像数据和所述第2图像数据的最大视差量以上，在减小由所述图像数据获取部获取的时刻下的所述视差量的情况下，将所述采样幅度调整为不足所述第1图像数据和所述第2图像数据的最大视差量。12.如权利要求10或11所述的图像处理...

【专利技术属性】
技术研发人员：高梨祐介，石贺健一，
申请(专利权)人：株式会社尼康，
类型：发明
国别省市：日本;JP