图像处理装置和图像处理方法以及图像捕获装置制造方法及图纸

视差检测单元36a基于第一视点的第一成像信号PS‑H以及不同于第一视点的第二视点的具有比第一成像信号更少的白色像素和更大比例的彩色分量像素的第二成像信号PS‑C，检测第二视点处的相对于包括白色像素和彩色分量像素的第一视点的视差。视差补偿单元37基于由视差检测单元36a检测到的视差对第二视点成像信号进行视差补偿，以生成针对第一视点进行了视差补偿的色差信号。回退确定单元38和信号选择单元41根据在使用经视差补偿的第二色差信号相对于第一视点的色差信号执行的融合处理中图像质量劣化的风险，选择经视差补偿的第二色差信号或者第一视点的色差信号，以获得高灵敏度捕获图像，同时抑制图像质量的劣化。

Image processing device, image processing method and image capture device

The parallax detection unit 36a detects parallax at the second viewpoint relative to the first viewpoint including white pixels and color component pixels based on the first imaging signal PS \u2011 h of the first viewpoint and the second imaging signal PS \u2011 C having fewer white pixels and a larger proportion of color component pixels than the first imaging signal of the second viewpoint. The parallax compensation unit 37 performs parallax compensation on the second viewpoint image signal based on the parallax detected by the parallax detection unit 36a to generate a color difference signal for which parallax compensation is performed on the first viewpoint. The fallback determination unit 38 and the signal selection unit 41 select the second color difference signal compensated by the disparity or the color difference signal of the first viewpoint according to the risk of image quality degradation in the fusion processing performed by the second color difference signal compensated by the disparity with respect to the color difference signal of the first viewpoint, so as to obtain a high-sensitivity captured image and suppress the degradation of image quality at the same time.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法以及图像捕获装置
本技术涉及图像处理装置、图像处理方法和成像装置，并且使用由多个成像部获取的捕获图像来获得高灵敏度捕获图像，同时抑制图像质量性能的劣化。
技术介绍
在相关技术中，在便携式电子装置中，例如信息处理终端如智能电话，由于信息处理终端的尺寸和厚度减小，因此与单镜头反光式相机相比，成像部提供劣化的图像质量。因此，例如，如专利文献1中所述，通过无线电通信向信息处理终端提供由可以被安装在信息处理终端中并可以从信息处理终端移除的相机生成的捕获图像。另外，专利文献2公开了设置多个成像部，以同时生成具有不同图像质量水平的多个图像，例如，具有第一视角的图像以及具有小于第一视角的第二视角的图像。[引用列表][专利文献][专利文献1]日本专利公开第2015-088824号[专利文献2]日本专利公开第2013-219525号
技术实现思路
[技术问题]另外，可移动相机具有比信息处理终端的成像部更大的尺寸，并且在利用可移动相机的情况下，需要在可移动相机与信息处理终端之间建立通信。因此，用于获得有利的捕获图像的操作是复杂的，从而导致可移植性劣化。另外，即使有多个成像部，可获取的图像仍然对应于各个成像部的能力。因此，本技术的目的是提供一种图像处理装置、图像处理方法和成像装置，其可以使用由多个成像部获取的捕获图像来获得高灵敏度捕获图像，同时抑制图像质量性能的劣化。[问题的解决方案]本技术的第一方面是一种图像处理装置，包括：视差检测部，其基于用于第一视点的第一成像信号以及用于不同于第一视点的第二视点的第二成像信号来检测第二视点相对于第一视点的视差；以及图像生成部，其使用第一成像信号以及基于由视差检测部检测到的视差对第二成像信号进行视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像，其中，第一成像信号包括白色像素和彩色分量像素，并且第二成像信号包括与第一成像信号相比更少的白色像素和更多的彩色分量像素。在本技术中，视差检测部例如基于与第一视点对应的并且在2×2像素块内包括在数目上等于或大于彩色分量像素的白色像素的第一成像信号以及第二成像信号来检测第二视点相对于第一视点的视差，该第二成像信号与不同于第一视点的第二视点对应，并且比第一成像信号包括更少的白色像素，以增大彩色分量像素在第二成像信号中的数目。图像生成部基于由视差检测部检测到的视差对第二成像信号执行视差补偿，以生成经视差补偿的第二成像信号。在满足预定条件的情况下，即，在使用第一成像信号和经视差补偿的第二成像信号生成的彩色图像与根据第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险低于阈值的情况下，图像生成部使用第一成像信号和经视差补偿的第二成像信号来生成彩色图像，而在不满足预定条件的情况下，图像生成部根据第一成像信号生成彩色图像。图像生成部例如基于第一成像信号和经视差补偿的第二成像信号来确定图像质量性能劣化的风险，并且以与所确定的风险对应的合成比率将第一成像信号与经视差补偿的第二成像信号进行合成，以生成彩色图像。另外，图像生成部根据第一成像信号生成第一亮度信号和第一彩色信号，根据第二成像信号生成第二亮度信号和第二彩色信号，基于第二彩色信号以及由视差检测部检测到的视差来生成经视差补偿的第二彩色信号，并且根据使用经视差补偿的第二成像信号生成的彩色图像与根据第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险，选择第一彩色信号和经视差补偿的第二彩色信号中的一个，或者将第一彩色信号与经视差补偿的第二彩色信号进行合成。另外，根据风险，图像生成部以捕获图像为单位选择第一彩色信号和经视差补偿的第二彩色信号中的一个，或者以像素为单位将第一彩色信号与经视差补偿的第二彩色信号进行合成。视差检测部使用第一亮度信号和第二亮度信号或者第一亮度信号、第二亮度信号、第一彩色信号和第二彩色信号来执行视差检测。另外，图像处理装置包括视差检测控制部，该视差检测控制部基于第一成像信号来执行频率检测，并且根据检测结果控制视差检测部，视差检测部使用基于第一亮度信号和第二亮度信号计算出的成本值以及基于第一彩色信号和第二彩色信号计算出的成本值来执行视差检测，并且视差检测控制部基于以与频率检测的结果对应的合成比率对这两个成本值进行综合而得到的综合成本值来使得执行视差检测。另外，图像生成部基于第一亮度信号来执行频率检测，并且根据频率检测的结果对第一彩色信号执行图像质量改进处理。另外，图像生成部对第二亮度信号执行视差补偿，以生成经视差补偿的第二亮度信号，并且将第一亮度信号与经视差补偿的第二亮度信号进行合成，以改进第一亮度信号的图像质量。例如，亮度图像质量改进部根据生成第一亮度信号的成像部的噪声强度设置第一亮度信号与经视差补偿的第二亮度信号之间的合成比率。另外，图像生成部通过对第一成像信号中的白色像素信号进行插值处理、使用用于彩色分量像素的像素信号以及由插值处理得到的白色像素信号进行去马赛克处理、以及对由去马赛克处理得到的信号进行颜色空间转换，生成第一彩色信号。例如，图像生成部使用基于由插值处理得到的白色像素信号与用于彩色分量像素的像素信号的颜色比率以及用于处理目标像素的白色像素信号，生成用于处理目标像素的每个彩色分量的像素信号。另外，图像生成部对第一成像信号中的白色像素信号执行插值处理，以生成第一亮度信号，并且视差检测部使用由信号生成部通过对白色像素信号进行插值处理而生成的第一成像信号来执行视差检测。本技术的第二方面是一种图像处理方法，包括：基于与第一视点对应并且包括白色像素和彩色分量像素的第一成像信号以及第二成像信号，在视差检测部中检测第二视点相对于第一视点的视差，第二成像信号与不同于第一视点的第二视点对应，并且包括与第一成像信号相比更少的白色像素，以增大彩色分量像素在第二成像信号中的比率；以及在图像生成部中使用第一成像信号以及由基于由视差检测部检测到的视差进行的视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像。本技术的第三方面是一种成像装置，包括：第一成像部，其生成与第一视点对应并且包括白色像素和彩色分量像素的第一成像信号；第二成像部，其生成第二成像信号，第二成像信号与不同于第一视点的第二视点对应，并且包括与第一成像部相比更少的白色像素，以增大彩色分量像素在第二成像信号中的比率；视差检测部，其基于第一成像信号和第二成像信号来检测第二视点相对于第一视点的视差；以及图像生成部，其使用第一成像信号以及基于由视差检测部检测到的视差进行视差补偿而得到的经视差补偿的第二成像信号生成彩色图像。[本专利技术的有益效果]根据本技术，视差检测部基于用于第一视点的第一成像信号以及用于不同于第一视点的第二视点的第二成像信号检测第二视点相对于第一视点的视差。另外，图像生成部使用第一成像信号以及基于由视差检测部检测到的视差进行视差补偿生成的经视差补偿的第二成像信号来生成彩色图像。此外，第一成像信号包括白色像素和彩色分量像素，并且第二成像信号包括比第一成像信号更少的白色像素，以增大本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n视差检测部，其基于用于第一视点的第一成像信号以及用于不同于所述第一视点的第二视点的第二成像信号来检测所述第二视点相对于所述第一视点的视差；以及/n图像生成部，其使用所述第一成像信号以及基于由所述视差检测部检测到的视差对所述第二成像信号进行视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像，/n其中，所述第一成像信号包括白色像素和彩色分量像素，并且所述第二成像信号包括与所述第一成像信号相比更少的白色像素和更多的彩色分量像素。/n

【技术特征摘要】
【国外来华专利技术】20170327 JP 2017-0606941.一种图像处理装置，包括：
视差检测部，其基于用于第一视点的第一成像信号以及用于不同于所述第一视点的第二视点的第二成像信号来检测所述第二视点相对于所述第一视点的视差；以及
图像生成部，其使用所述第一成像信号以及基于由所述视差检测部检测到的视差对所述第二成像信号进行视差补偿而得到的经视差补偿的第二成像信号来生成彩色图像，
其中，所述第一成像信号包括白色像素和彩色分量像素，并且所述第二成像信号包括与所述第一成像信号相比更少的白色像素和更多的彩色分量像素。


2.根据权利要求1所述的图像处理装置，其中，
所述图像生成部在满足预定条件的情况下使用所述第一成像信号和所述经视差补偿的第二成像信号生成所述彩色图像，而在不满足所述预定条件的情况下根据所述第一成像信号生成所述彩色图像。


3.根据权利要求2所述的图像处理装置，其中，
满足所述预定条件的情况是以下情况：与根据所述第一成像信号生成的彩色图像相比，使用所述第一成像信号和所述经视差补偿的第二成像信号生成的彩色图像具有劣化的图像质量性能的风险被确定为低于阈值。


4.根据权利要求3所述的图像处理装置，其中，
所述图像生成部基于所述第一成像信号和所述经视差补偿的第二成像信号来确定所述图像质量性能劣化的风险，并且以与所确定的风险对应的合成比率将所述第一成像信号与所述经视差补偿的第二成像信号进行合成。


5.根据权利要求1所述的图像处理装置，其中，
所述图像生成部根据所述第一成像信号生成第一亮度信号和第一彩色信号，根据所述第二成像信号生成第二亮度信号和第二彩色信号，基于所述第二彩色信号以及由所述视差检测部检测到的视差来生成经视差补偿的第二彩色信号，并且根据使用所述经视差补偿的第二成像信号生成的彩色图像与根据所述第一成像信号生成的彩色图像相比具有劣化的图像质量性能的风险，选择所述第一彩色信号和所述经视差补偿的第二彩色信号中的一个，或者将所述第一彩色信号与所述经视差补偿的第二彩色信号进行合成，并且
所述视差检测部使用所述第一亮度信号和所述第二亮度信号执行视差检测。


6.根据权利要求5所述的图像处理装置，其中，
根据所述风险，所述图像生成部以捕获图像为单位选择所述第一彩色信号和所述经视差补偿的第二彩色信号中的一个，或者以像素为单位将所述第一彩色信号与所述经视差补偿的第二彩色信号进行合成。


7.根据权利要求5所述的图像处理装置，其中，
所述视差检测部使用所述第一亮度信号和所述第二亮度信号以及所述第一彩色信号和所述第二彩色信号执行视差检测。


8.根据权利要求7所述的图像处理装置，包括：
视差检测控制部，其基于所述第一成像信号来执行频率检测，并且根据检测结果来控制所述视差检测部，其中，
所述视差检测部使用基于所述第一亮度信号和所述第二亮度信号计算出的成本值以及基于所述第一彩色信号和所述第二彩色信号计算出的成本值来执行视差检测，并且
所述视差检测控制部基于以与频率检测结果对应的合成比率对这两个成本值进行综合而得到的综合成本值来使得执行所述视差检测。


9.根据权利要求5所述的图像处理装置，其中，
所述图像生成部基于所述第一亮度信号来执行频率检测，并且根据频率检测结果对所述第一彩色信号执行图像质量...

【专利技术属性】
技术研发人员：横川昌俊，内田真史，永野隆浩，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP