图像处理装置、图像处理方法及程序制造方法及图纸

本发明专利技术的目的在于提供一种即使在生成要求实时性的显示用图像时，也能够使用增益值对相位差检测用像素的像素值的增益进行插值的图像处理装置、图像处理方法及程序。图像处理装置(60)依次获取动态图像的时间顺序的各帧图像，根据所获取的时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值。并且，图像处理装置(60)使用增益值，对当前帧图像的相位差检测用像素的像素值进行插值。

Image processing device, image processing method and program

The object of the invention is to provide an image processing device, image processing method and program which can use the gain value to interpolate the gain of the pixel value of the phase difference detection pixel even when generating the image for display requiring real-time performance. The image processing apparatus (60) acquires each frame image of the time sequence of the dynamic image in turn, and calculates the gain value used in the gain interpolation of the pixel value of the pixel used for the phase difference detection of the current frame image according to the past frame image of the acquired time sequence. Moreover, the image processing apparatus (60) uses the gain value to interpolate the pixel value of the pixel used for the phase difference detection of the current frame image.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法及程序
本专利技术涉及一种图像处理装置、图像处理方法及程序，尤其涉及一种进行从相位差检测用像素输出的像素值的插值的技术。
技术介绍
一直以来，已知有通过像面相位差AF(自动聚焦，Autofocus)技术进行对焦的摄像装置。通过像面相位差AF技术进行对焦的摄像装置中，具备有普通像素和相位差检测用像素离散地排列的成像元件。相位差检测用像素中，遮光膜开口的面积比普通像素小，因此当根据相位差检测用像素的输出值生成图像时，需要对相位差检测用像素的像素值进行校正来使用。因此，提出有与相位差检测用像素的像素值的校正相关的技术。例如，专利文献1中记载有如下内容，即，一种能够装卸透镜装置的摄像装置，存在与从透镜装置获取的透镜信息中包含的透镜ID(identification)对应的校正增益值时，选择通过增益校正处理对所有的相位差检测用像素的输出信号进行校正的方法，没有与透镜ID对应的校正增益值时，选择通过插值校正处理对所有的相位差检测用像素的输出信号进行校正的方法。在此，插值校正处理是指，通过将校正对象像素的输出信号(像素值)替换为利用摄像用像素的输出信号生成的信号来进行校正，所述摄像用像素的输出信号检测位于校正对象像素周围的与校正对象像素相同的颜色。并且，例如专利文献2中记载有如下技术，即，一种具有相位差检测用像素及普通像素的成像元件，根据相位差检测用像素的像素数据的混入率，改变被增益调整的相位差检测像素的像素数据的加权系数来进行校正处理。以往技术文献专利文献专利文献1：日本特开2016-076998号公报专利文献2：日本特开2014-180000号公报
技术实现思路
专利技术要解决的技术课题在此，作为对相位差检测用像素的像素值进行插值的代表性方法，有平均值插值(周边像素插值)及增益插值。平均值插值是使用位于进行插值的相位差检测用像素的周边的多个普通像素的像素值的加权平均值来进行插值的方法。为了提高相位差检测的精度，需要以高密度配置相位差检测用像素，但另一方面，若增加相位差检测用像素的密度，则导致在加权平均值的计算中使用的普通像素的数量减少，因此导致平均值插值的精度下降。增益插值是将相位差检测用像素的像素值乘以增益值来使信号电平与周围的普通像素的像素值一致的插值方法。相位差检测用像素的像素值依赖于像高、F值、散焦量等而变动，因此很难预先以高精度计算增益值，需要分析实际加以校正的RAW数据，计算相位差检测用像素与普通像素的信号比(＝增益值)。但是，在需要在拍摄被摄体之后立刻显示摄像图像的(要求实时性的)动态图像等即时预览的显示用图像的生成中，没有足够的时间计算增益值。生成要求实时性的显示用图像时，通过可进行增益插值，针对来自以高密度配置有相位差检测用像素的成像元件的图像数据，也能够实现高精度的相位差检测用像素的像素值的插值。专利文献1及2中，并未提及针对生成要求实时性的显示用图像时的相位差检测用像素的像素值的增益插值。本专利技术是鉴于这种情况而完成的，其目的在于提供一种即使在生成要求实时性的显示用图像的生成时，也能够使用增益值对相位差检测用像素的像素值的增益进行插值的图像处理装置、图像处理方法及程序。用于解决技术课题的手段为了实现上述目的，作为本专利技术的一方式的图像处理装置具备：成像元件，二维地配置有多个相位差检测用像素和多个普通像素；图像获取部，在动态图像的拍摄中从成像元件依次获取具有多个相位差检测用像素的像素值及多个普通像素的像素值的帧图像的动态图像的时间顺序的各帧图像；增益值计算部，根据通过图像获取部获取的时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值；第1增益插值部，使用增益值，对当前帧图像的相位差检测用像素的像素值进行插值；及显示用图像生成部，根据通过第1增益插值部进行插值的当前帧图像的相位差检测用像素的像素值及普通像素的像素值，生成当前帧图像的显示用图像。根据本方式，根据时间顺序的过去帧图像，计算在当前帧图像的相位差检测用像素的像素值的增益插值中使用的增益值，使用该计算出的增益值，对当前帧图像的相位差检测用像素的像素值进行插值。由此，本方式即使在生成要求实时性的显示用图像时，也能够对相位差检测用像素的像素值进行增益插值，因此能够生成图像质量良好的显示用图像。优选图像处理装置具备：周边像素值计算部，根据位于当前帧图像的相位差检测用像素的周边区域的普通像素的像素值，计算周边像素值；及周边像素插值部，使用周边像素值，进行当前帧图像的相位差检测用像素的像素值的插值。根据本方式，根据位于当前帧图像的相位差检测用像素的周边区域的普通像素的像素值计算周边像素值，使用计算出的周边像素值，对当前帧图像的相位差检测用像素的像素值进行插值。由此，本方式对当前帧的相位差检测用像素的像素值，不仅能够进行增益插值，还能够进行周边像素插值，因此能够生成图像质量良好的显示用图像。优选图像处理装置具备：插值控制部，控制第1增益插值部和周边像素插值部的动作，当增益值计算部计算出增益值时，插值控制部使第1增益插值部进行插值，当增益值计算部未计算出增益值时，插值控制部使周边像素插值部进行插值。根据本方式，当增益值计算部计算出增益值时，使第1增益插值部进行插值，当增益值计算部未计算出增益值时，使周边像素插值部进行插值。由此，本方式中，在无法进行增益插值时，进行周边像素插值，因此能够稳定地生成图像质量良好的显示用图像。优选如下，即，当增益值计算部不计算增益值时，显示用图像生成部不生成当前帧图像的显示用图像。根据本方式，不生成不计算增益值而不进行增益插值的当前帧图像的显示用图像。由此，本方式中，不生成不进行增益插值的当前帧图像的显示用图像，由已进行增益插值的帧图像构成显示用图像，因此能够稳定地生成没有违和感且优质的图像。优选图像处理装置具备：参数获取部，获取用于推断增益值的信息即增益值推断参数；推断增益值计算部，根据通过参数获取部获取的增益值推断参数，计算推断增益值；及第2增益插值部，使用推断增益值，对当前帧图像的相位差检测用像素的像素值进行插值，当推断增益值计算部计算出推断增益值时，插值控制部使第2增益插值部进行插值。根据本方式，获取用于推断增益值的信息即增益值推断参数，根据所获取的增益值推断参数计算推断增益值，使用推断增益值对当前帧图像的相位差检测用像素的像素值进行插值。由此，本方式中，即使在不计算增益值时也根据所推断的推断增益值进行增益插值，因此通过进行增益插值的帧图像增加，能够生成成为稳定的图像质量且没有违和感的显示用图像。优选如下，即，当参数获取部未获取增益值推断参数时，显示用图像生成部不生成当前帧图像的显示用图像。根据本方式，未获取增益值推断参数时，不生成当前帧图像的显示用图像。由此，本方式中，不显示未获取增益值推断参数而未进行增益校正的帧图像，因此能够提供显示用图像的图像质量变得稳定且没有违和感的显示用图像。本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其具备：/n成像元件，二维地配置有多个相位差检测用像素和多个普通像素；/n图像获取部，在动态图像的拍摄中从所述成像元件依次获取具有所述多个相位差检测用像素的像素值及所述多个普通像素的像素值的帧图像的所述动态图像的时间顺序的各帧图像；/n增益值计算部，根据通过所述图像获取部获取的所述时间顺序的过去帧图像，计算在当前帧图像的所述相位差检测用像素的像素值的增益插值中使用的增益值；/n第1增益插值部，使用所述增益值，对所述当前帧图像的所述相位差检测用像素的像素值进行插值；及/n显示用图像生成部，根据通过所述第1增益插值部进行插值的所述当前帧图像的所述相位差检测用像素的像素值及所述普通像素的像素值，生成所述当前帧图像的显示用图像。/n

【技术特征摘要】
【国外来华专利技术】20170330 JP 2017-0685581.一种图像处理装置，其具备：
成像元件，二维地配置有多个相位差检测用像素和多个普通像素；
图像获取部，在动态图像的拍摄中从所述成像元件依次获取具有所述多个相位差检测用像素的像素值及所述多个普通像素的像素值的帧图像的所述动态图像的时间顺序的各帧图像；
增益值计算部，根据通过所述图像获取部获取的所述时间顺序的过去帧图像，计算在当前帧图像的所述相位差检测用像素的像素值的增益插值中使用的增益值；
第1增益插值部，使用所述增益值，对所述当前帧图像的所述相位差检测用像素的像素值进行插值；及
显示用图像生成部，根据通过所述第1增益插值部进行插值的所述当前帧图像的所述相位差检测用像素的像素值及所述普通像素的像素值，生成所述当前帧图像的显示用图像。


2.根据权利要求1所述的图像处理装置，其具备：
周边像素值计算部，根据位于所述当前帧图像的所述相位差检测用像素的周边区域的所述普通像素的像素值，计算周边像素值；及
周边像素插值部，使用所述周边像素值，进行所述当前帧图像的所述相位差检测用像素的像素值的插值。


3.根据权利要求2所述的图像处理装置，其具备：
插值控制部，控制所述第1增益插值部和所述周边像素插值部的动作，
当所述增益值计算部计算出所述增益值时，所述插值控制部使所述第1增益插值部进行插值，当所述增益值计算部未计算出所述增益值时，所述插值控制部使所述周边像素插值部进行插值。


4.根据权利要求3所述的图像处理装置，其中，
当所述增益值计算部不计算所述增益值时，所述显示用图像生成部不生成所述当前帧图像的所述显示用图像。


5.根据权利要求3或4所述的图像处理装置，其具备：
参数获取部，获取用于推断所述增益值的信息即增益值推断参数；
推断增益值计算部，根据通过所述参数获取部获取的所述增益值推断参数，计算推断增益值；及
第2增益插值部，使用所述推断增益值，对所述当前帧图像的所述相位差检测用像素的像素值进行插值，
当所述推断增益值计算部计算出所述推断增益值时，所述插值控制部使所述第2增益插值部进行插值。


6.根据权利要求5所述的图像处理装置，其中，
当所述参数获取部未获取所述增益值推断参数时，所述显示用图像生成部不生成所述当前帧图像的所述显示用图像。


7.根据权利要求5或6所述的图像处理装置，其中，
所述参数获取部所获取的所述增益值推断参数包含与所述成像元件接收的光束所通过的透镜光瞳的形状相关的信息及与所述相位差检测用像素和所述普通像素的入射光线角度特性相关的信息中的至少一个。


8.根据权利要求3至7中任一项所述的图像处理装置，其具备：
摄像条件获取部，针对所述当前帧图像及所述过去帧图像，获取与摄像条件相关的信息，
在所述当前帧图像及...

【专利技术属性】
技术研发人员：田中康一，田中诚二，小林诚，河合智行，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP