图像处理装置、摄像装置、图像处理方法以及程序制造方法及图纸

本发明专利技术提供一种图像处理装置、摄像装置、图像处理方法以及程序，能够对表示基于闪光的被摄体的图像分量的闪光图像分量数据中根据被摄体的颜色引起的明度的不同进行补偿。在本发明专利技术的优选的方式中，图像处理装置(31)的闪光图像分量获取部(40)根据通过在闪光发射下拍摄被摄体而获取的第1图像数据获取闪光图像分量数据。闪光校正数据获取部(42)获取闪光校正数据，闪光校正数据反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。闪光明度校正部(44)根据闪光图像分量数据以及闪光校正数据获取闪光图像校正分量数据，所述闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。

Image processing apparatus, image pickup apparatus, image processing method, and program

The present invention provides an image processing device, camera device, image processing method and program, to compensate the subject said flash flash image data in the image component component according to the object based on the different color caused by brightness. In a preferred embodiment of the present invention, a flash image component acquisition section (40) of an image processing apparatus (31) obtains a flash image component data based on a first image data obtained by photographing the subject under the flash emission. The flash correction data acquisition section (42) obtains the flash correction data, and the flash correction data reflects the difference in the brightness of the flash image component data caused by the color of the subject. Flash brightness correction part (44) according to the data acquisition data flash flash image correction component component image data and flash correction, the flash image correction component data compensation flash image data according to the components caused by the object color lightness difference.

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种图像处理装置、摄像装置、图像处理方法以及程序，尤其涉及一种在闪光发射下拍摄获取的图像数据的图像处理。
技术介绍
通过不使闪光发射而进行的摄影(以下，还称作“非闪光发射摄影”)而获取的图像(以下，还称作“非闪光发射图像”)基本上是受只来自环境光的光线的影响的图像。另一方面，通过在闪光发射下进行的摄影(以下，还称作“闪光发射摄影”)获取的图像(以下，还称作“闪光发射图像”)是除了受环境光的影响之外，还受闪光的影响的图像。在该闪光发射图像中混杂有“闪光的影响大的主要被摄体等部分”和“闪光的影响小或实际上没有影响的背景等部分”。即，存在于闪光发射部的附近的主要被摄体等在闪光发射图像中成为除了受环境光的影响之外，还受闪光的影响的图像。另一方面，不存在于闪光发射部的附近的背景等在闪光发射图像中成为主要受环境光的影响的图像。这样，1个闪光发射图像中存在光源的种类实际上不同的多个图像部分。因此，在对闪光发射图像整体的白平衡一律进行调整的情况下，很难使光源的种类实际上不同的多个图像部分的白平衡同时最佳化。因此，在闪光发射图像的白平衡处理中，将背景等图像部分以及主要被摄体等图像部分视为个别的光源区域，对各图像部分个别地进行白平衡处理，从而改善图像的色泽。例如，专利文献1公开了根据摄影图像数据以及监视器图像数据计算白平衡映射的图像处理装置。该白平衡映射是摄影图像数据中用于分别对照射频闪灯(闪光)而变亮的像素区域以及频闪灯照射不到而发暗的像素区域进行适当的白平衡的调整的数据。并且，专利文献2公开了在通过频闪灯(闪光)发射摄影而获取的图像的白平衡处理中，进行以实现稳定的白平衡校正为目的的图像处理的摄像装置。在该摄像装置中，根据频闪灯发射图像数据、非频闪灯发射图像数据以及非频闪灯发射时的过去图像数据计算白平衡校正值。以往技术文献专利文献专利文献1：日本特开2012-19293号公报专利文献2：日本特开2010-193002号公报专利技术的概要专利技术要解决的技术课题如上所述，例如可以考虑如下方法：使用闪光发射图像的数据和非闪光发射图像的数据等，根据被摄体相同但主要被摄体等图像部分的明度不同的多个摄影图像，将“受闪光的影响的图像部分”与“不受闪光的影响的图像部分”进行分离。然而，即使在闪光发射摄影时闪光均匀地照射到被摄体上，实际的摄影图像的明度也会依赖被摄体的颜色而发生改变。因此，只根据闪光发射图像的数据与非闪光发射图像的数据之间的差分数据，很难准确地推断与闪光发射图像的明度相关的闪光的影响。作为一例，分别将粘贴于平坦的板上的红色比色图表、绿色比色图表以及蓝色比色图表作为被摄体，进行了闪光发射摄影以及非闪光发射摄影。在这些摄影中，使用具备具有RGB(红绿蓝)滤色器的成像元件的数码相机(摄像装置)，在距离该数码相机大致相等的位置分别配置红色比色图表、绿色比色图表以及蓝色比色图表。然后，根据由闪光发射图像与非闪光发射图像之间的差分数据计算的亮度值，关于基于闪光的图像分量求出比色图表之间的明度(亮度值)的关系。在此，根据RGB数据(RGB像素值)求出闪光发射图像与非闪光发射图像之间的差分数据，将该差分数据的RGB数据应用于用“Y＝0.3*R+0.6*G+0.1*B”表示的算式，进行“亮度值(Y)”的计算，从而获得了图32所示的结果。图32是例示与红色比色图表、绿色比色图表以及蓝色比色图表相关的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度的关系的图表。图32的纵轴表示各比色图表的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度值(Y)的大小。在假设为拍摄获取的图像的明度不依赖被摄体的颜色的情况下，认为粘贴在平板上的红色比色图表、绿色比色图表以及蓝色比色图表的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度值互不相等。然而，实际上，由图32也明确可知，红色比色图表、绿色比色图表以及蓝色比色图表的“闪光发射图像与非闪光发射图像之间的差分数据”的亮度值相互不同，闪光发射图像的明度依赖于被摄体的颜色。因此，闪光发射图像与非闪光发射图像之间的差分数据成为除了反映了闪光的影响之外还反应了依赖于被摄体自身颜色的影响的数据。根据“未消除依赖于被摄体的颜色的影响的数据”未必能准确地获得“闪光发射图像中的显示闪光的影响的数据”。因此，从高精度地进行白平衡处理等各种图像处理的观点来看，优选对处理对象的图像数据中根据被摄体的颜色引起的明度的不同进行补偿。然而，以往没有提出关注根据被摄体的颜色引起的明度的不同而进行白平衡处理等各种图像处理的方法。例如，在专利文献1的图像处理装置中，在将摄影图像数据分类为明亮的像素区域和暗的像素区域之后进行白平衡处理，但是完全没有关注根据被摄体的颜色引起的明度的不同。并且，在专利文献2公开的白平衡处理中，根据频闪灯发射图像数据以及非频闪灯发射图像数据计算白平衡校正值，但是在白平衡处理中完全没有考虑根据被摄体的颜色引起的明度的不同。本专利技术是鉴于上述情况而完成的，其目的在于提供一种能够对处理对象的图像数据中根据被摄体的颜色引起的明度的不同进行补偿的图像处理技术及其相关技术。用于解决技术课题的手段本专利技术的一个方式涉及图像处理装置，其具备：闪光图像分量获取部，其根据第1图像数据获取闪光图像分量数据，第1图像数据通过在闪光发射下拍摄被摄体而获取，闪光图像分量数据表示基于闪光的被摄体的图像分量；闪光校正数据获取部，其根据闪光图像分量数据获取闪光校正数据，闪光校正数据反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同；以及闪光明度校正部，其根据闪光图像分量数据以及闪光校正数据获取闪光图像校正分量数据，闪光图像校正分量数据补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同。根据本方式，根据“表示基于闪光的被摄体的图像分量的闪光图像分量数据”和“反映了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的闪光校正数据”获取补偿(校正)了闪光图像分量数据的明度的不同的闪光图像校正分量数据。通过根据该闪光图像校正分量数据进行对第1图像数据的各种图像处理，能够获得补偿了根据被摄体的颜色引起的闪光图像分量数据的明度的不同的处理结果。在此所说的“表示基于闪光的被摄体的图像分量的闪光图像分量数据”例如能够用从在闪光和环境光的影响下获取的闪光发射图像的数据(第1图像数据)中消除了环境光的影响的数据表示。另外，“闪光图像分量数据”能够通过直接或间接地表示闪光的影响的数据表示，例如也可以用受到具有与摄影中使用的闪光同等的颜色分量比的光线的影响的数据表示。并且，在此所说的“环境光”是指在摄影时影响被摄体的除了闪光以外的光分量，可以由来自单一光源的光线构成“环境光”，也可以混合来自多个光源的光线而构成“环境光”。优选闪光图像分量获取部根据第1差分数据获取闪光图像分量数据，第1差分数据表示第1图像数据与通过在非闪光发射下拍摄被摄体而获取的第2图像数据的差分。根据本方式，通过表示“通过在闪光发射下拍摄被摄体而获取的第1图像数据”与“通过在非闪光发射下拍摄被摄体而获取的第2图像数据”的差分的第1差分数据，能够高精度地表示“直接表示基于闪光的被摄体的图像分量的闪光图像分量数据”。优选闪光图像分量获取部根据第1差分数据获取闪光图像本文档来自技高网...

【技术保护点】
一种图像处理装置，其具备：闪光图像分量获取部，其根据第1图像数据获取闪光图像分量数据，所述第1图像数据通过在闪光发射下拍摄被摄体而获取，所述闪光图像分量数据表示基于所述闪光的所述被摄体的图像分量；闪光校正数据获取部，其根据所述闪光图像分量数据获取闪光校正数据，所述闪光校正数据反映了根据所述被摄体的颜色引起的所述闪光图像分量数据的明度的不同；以及闪光明度校正部，其根据所述闪光图像分量数据以及所述闪光校正数据获取闪光图像校正分量数据，所述闪光图像校正分量数据补偿了根据所述被摄体的颜色引起的所述闪光图像分量数据的明度的不同。

【技术特征摘要】
【国外来华专利技术】2014.07.08 JP 2014-1404301.一种图像处理装置，其具备：闪光图像分量获取部，其根据第1图像数据获取闪光图像分量数据，所述第1图像数据通过在闪光发射下拍摄被摄体而获取，所述闪光图像分量数据表示基于所述闪光的所述被摄体的图像分量；闪光校正数据获取部，其根据所述闪光图像分量数据获取闪光校正数据，所述闪光校正数据反映了根据所述被摄体的颜色引起的所述闪光图像分量数据的明度的不同；以及闪光明度校正部，其根据所述闪光图像分量数据以及所述闪光校正数据获取闪光图像校正分量数据，所述闪光图像校正分量数据补偿了根据所述被摄体的颜色引起的所述闪光图像分量数据的明度的不同。2.根据权利要求1所述的图像处理装置，其中，所述闪光图像分量获取部根据第1差分数据获取所述闪光图像分量数据，所述第1差分数据表示所述第1图像数据与通过在非闪光发射下拍摄所述被摄体而获取的第2图像数据的差分。3.根据权利要求1所述的图像处理装置，其中，所述闪光图像分量获取部根据第1差分数据获取所述闪光图像分量数据，所述第1差分数据表示所述第1图像数据与第2图像数据的差分，所述第1图像数据通过在第1发光量的闪光发射下拍摄所述被摄体而获取，所述第2图像数据通过在不同于所述第1发光量的第2发光量的闪光发射下拍摄所述被摄体而获取。4.根据权利要求2或3所述的图像处理装置，其中，所述闪光图像分量获取部通过将闪光用白平衡增益应用于所述第1差分数据来获取所述闪光图像分量数据。5.根据权利要求1至4中任一项所述的图像处理装置，其中，所述闪光校正数据获取部获取色比数据，所述色比数据表示被划分为多个处理块的所述闪光图像分量数据的该多个处理块各自中的所述闪光图像分量数据的颜色分量比，根据所述闪光图像分量数据的所述色比数据获取所述闪光校正数据，所述闪光校正数据反应了根据所述被摄体的颜色引起的所述闪光图像分量数据在所述多个处理块之间的明度的不同。6.根据权利要求5所述的图像处理装置，其中，所述闪光校正数据是，通过应用于表示所述闪光图像分量数据的明度的第1明度数据，对根据所述被摄体的颜色引起的所述闪光图像分量数据的明度的不同进行补偿的数据，所述闪光校正数据获取部分别关于所述闪光图像分量数据的所述多个处理块获取所述闪光校正数据。7.根据权利要求5或6所述的图像处理装置，其中，所述闪光校正数据获取部以无彩色的所述色比数据为基准获取分别与所述多个处理块相关的所述闪光校正数据。8.根据权利要求5至7中任一项所述的图像处理装置，其中，所述第1图像数据通过包含多个颜色的滤色器的成像元件获取，所述闪光图像分量数据包含分别与该多个颜色相关的颜色分量数据，所述闪光校正数据获取部根据所述颜色分量数据获取所述多个处理块各自中的所述闪光图像分量数据的所述色比数据。9.根据权利要求8所述的图像处理装置，其中，所述闪光图像分量数据的所述色比数据基于如下比：所述闪光图像分量数据的分别和所述多个颜色相关的所述颜色分量数据与所述多个处理块各自中的所述闪光图像分量数据的所述多个颜色的所述颜色分量数据的总和的比。10.根据权利要求9所述的图像处理装置，其中，所述闪光校正数据获取部基于运算处理根据所述多个处理块各自中的所述闪光图像分量数据的所述色比数据获取所述多个处理块各自中的所述闪光图像分量数据的所述明度指标数据，所述运算处理从所述闪光图像分量数据的所述色比数据导出明度指标数据，所述明度指标数据表示与所述被摄体的颜色相应的所述闪光图像分量数据的明度，基于所述运算处理根据无彩色的所述色比数据获取与该无彩色相关的所述明度指标数据，所述无彩色的所述色比数据中，分别与所述多个颜色相关的所述颜色分量数据与所述多个处理块各自中的所述多个颜色的所述颜色分量数据的总和的比相互相等，根据所述多个处理块各自中的所述闪光图像分量数据的所述明度指标数据与和所述无彩色相关的所述明度指标数据的比，获取分别与所述闪光图像分量数据的所述多个处理块相关的所述闪光校正数据。11.根据权利要求5至10中任一项所述的图像处理装置，其中，所述多个处理块分别由单一像素构成。12.根据权利要求5至10中任一项所述的图像处理装置，其中，所述多个处理块分别由多个像素构成。13.根据权利要求12所述的图像处理装置，其中，在所述第1图像数据的拍摄中使用的成像元件是包含多个颜色的滤色器的单板式成像元件，该多个颜色的滤色器通过重复配置特定的颜色图案的基本排列而构成，构成所述多个处理块各自的所述多个像素与构成所述基本排列的像素对应。14.根据权利要求5至13中任一项所述的图像处理装置，其还具备：环境光图像分量获取部，其获取表示基于环境光的所述被摄体的图像分量的环境光图像分量数据；环境光校正数据获取部，其根据所述环境光图像分量数据获取环境光校正数据，所述环境光校正数据反映了根据所述被摄体的颜色引起的所述环境光图像分量数据的明度的不同；以及环境光明度校正部，其根据所述环境光图像分量数据以及所述环境光校正数据获取环境光图像校正分量数据，所述环境光图像校正分量数据补偿了根据所述被摄体的颜色引起的所述环境光图像分量数据的明度的不同。15.根据权利要求14所述的图像处理装置，其中，所述环境光图像分量获取部以第2图像数据为基础数据获取所述环境光图像分量数据，所述第2图像数据通过在非闪光发射下拍摄所述被摄体而获...

【专利技术属性】
技术研发人员：斋藤太郎，藤原慎也，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP