成像设备和成像方法以及图像处理设备和图像处理方法技术

本公开内容涉及能够通过有效地使用在微透镜的正下方针对其执行光瞳分割的多个像素的各个像素信号来捕获高分辨率图像的成像设备和成像方法以及图像处理设备和图像处理方法。基于针对其执行光瞳分割的多个分割像素的各个像素值，以光瞳为单位检测视差，以光瞳为单位对多个分割像素的像素值求和以获得总像素值，根据视差以分割像素为单位将分割像素的像素值与总像素值彼此混合。本公开内容适用于成像设备。

【技术实现步骤摘要】
【国外来华专利技术】成像设备和成像方法以及图像处理设备和图像处理方法
本公开内容涉及成像设备和成像方法以及图像处理设备和图像处理方法，更具体地，涉及均能够捕获高分辨率图像的成像设备和成像方法以及图像处理设备和图像处理方法。
技术介绍
已经提出了一种成像设备，该成像设备通过光瞳分割在一个微透镜的正下方限定一对左像素和右像素，并且使用左像素和右像素的像素值来获取视差图像，以基于视差图像来测量距离(参见专利文献1)。根据上面确定的专利文献1中描述的成像设备，与在微透镜的正下方分割的多个像素的像素值的平均值对应的像素信号被用作指示构成要捕获的图像的一个像素的像素值的信号，以生成要捕获的图像。[引用列表][专利文献][专利文献1]JP2012-029194A
技术实现思路
[技术问题]然而，当无论成像设备的每个像素上是否存在焦点都使用左像素和右像素的像素值的平均值作为一个像素来生成图像时，仅可以获取分辨率低于传感器的原始分辨率的模糊图像。考虑到这些情况而开发的本公开内容特别地通过有效地使用在微透镜正下方由光瞳分割限定的多个像素的各个像素信号来实现高分辨率图像的捕获。[问题的解决方案]根据本公开内容的一个方面的成像设备是包括下述的成像设备：成像装置，其包括由光瞳分割限定的多个分割像素并且捕获图像；视差检测部，其以光瞳为单位检测分割像素之间的视差；以及处理单元，其对由光瞳分割限定的多个分割像素的像素值执行处理，处理以光瞳为单位并且根据视差来执行。处理单元可以包括：求和部，其以光瞳为单位计算多个分割像素的像素值的平均值，并且将平均值指定为求和像素值；以及像素值混合处理部，其根据视差将分割像素的像素值与求和像素值进行混合。成像装置还可以包括像素值混合比计算部，其根据视差计算用于将分割像素的像素值与求和像素值进行混合的像素值混合比。像素值混合处理部可以以根据视差所计算的像素值混合比将分割像素的像素值与求和像素值进行混合。像素值混合比计算部可以计算随着视差的增大而增大求和像素值的比例的像素值混合比，并且计算随着视差的减小而增大分割像素的像素值的比例的像素值混合比。成像装置可以包括第一成像装置和第二成像装置。第一成像装置可以包括以光瞳为单位以预定颜色排列设置的RGB像素。第二成像装置可以仅包括白色像素。视差检测部可以包括：第一视差检测部，其基于由第一成像装置捕获的分割像素中的每一个的像素值以光瞳为单位检测第一视差，以及第二视差检测部，其基于由第二成像装置捕获的分割像素中的每一个的像素值以光瞳为单位检测第二视差。求和部可以包括：第一求和部，其以光瞳为单位将由第一成像装置捕获的多个分割像素的像素值求和，以将求和像素值的平均值指定为第一求和像素值，以及第二求和部，其以光瞳为单位将由第二成像装置捕获的多个分割像素的像素值求和，以将求和像素值的平均值指定为第二求和像素值。像素值混合处理部可以包括：第一混合处理部，其根据第一视差将由第一成像装置捕获的分割像素的像素值与第一求和像素值进行混合，以及第二混合处理部，其根据第二视差将由第二成像装置捕获的分割像素的像素值与第二求和像素值进行混合。处理单元可以包括：亮度混合处理部，其将由第一混合处理部混合的像素值的第一亮度与由第二混合处理部混合的像素值的第二亮度进行混合。亮度混合处理部可以以预定亮度混合比将由第一混合处理部混合的像素值的第一亮度与由第二混合处理部混合的像素值的第二亮度进行混合。成像设备还可以包括亮度混合比计算部，其基于第一亮度和第二亮度来计算亮度混合比。亮度混合比计算部可以包括：差异亮度混合比计算部，其基于第一亮度与第二亮度之间的差来计算差异亮度混合比；动态范围亮度混合比计算部，其针对第二亮度，基于从每个像素的周边像素的最大值和最小值获得的动态范围来计算动态范围亮度混合比；以及选择部，其从差异亮度混合比和动态范围亮度混合比中选择较小的比率作为亮度混合比。成像设备还可以包括：光学单元，其在成像装置之前的级中会聚进入成像装置的光；焦点控制单元，其通过控制光学单元来控制光被会聚的焦点位置，并且输出与作为焦点位置的基准的位置相关联的信息；以及深度检测单元，其检测深度并且生成深度图。像素值混合比计算部可以在被包括在深度图中并且深度基本上等于位置的深度的深度图的区域中，计算将求和像素值与区域中的分割像素的像素值进行混合的像素混合比，区域是视为视差基本上为零的区域。处理单元可以包括估计部，其基于视差，根据通过预定学习而获得的预定数目的系数与包括与分割像素具有预定位置关系的像素组的估计抽头中包括的各个像素的像素值的乘积之和来估计分割像素的像素值。处理单元可以输出从估计部接收的估计结果，作为通过根据视差以光瞳为单位进行处理而获得的处理结果。成像装置还可以包括：类别分类部，其基于包括与分割像素具有预定位置关系的像素组的类别抽头以及由视差检测部检测到的视差，将分割像素中的每一个分类为类别；以及系数集存储部，其针对类别中的每一个类别存储包括预定数目的系数的系数集。估计部可以从系数集存储部读取与由类别分类部建立的类别对应的系数集，并且基于系数集中的各个系数与包括与分割像素具有预定位置关系的像素组的估计抽头中包括的各个像素的像素值的乘积之和来估计分割像素的像素值。预定学习可以是下述学习：使用包括高分辨率图像的教师图像以及通过以光瞳为单位基于视差扭曲教师图像并且降低教师图像的图像质量而生成的学生图像，以及确定系数，使得与教师图像对应的像素位置处的像素值与预定数目的系数和包括与学生图像中的每个像素具有预定位置关系的像素组的估计抽头中包括的像素的像素值的乘积之和的结果之间的误差在统计上变得最小。成像设备还可以包括噪声去除部，其根据由处理单元以光瞳为单位基于视差处理的多个分割像素的像素值，基于视差来去除噪声。在对图像的一部分进行缩放期间，可以指定缩放的范围中的像素的像素值包括由光瞳分割限定并且由处理单元以光瞳为单位根据视差处理的多个分割像素的像素值。成像装置可以包括图像表面相位差型成像装置。成像装置的分割像素可以包括在水平方向上由光瞳分割限定的分割像素。成像装置可以包括光场相机。根据本公开内容的一个方面的成像方法包括以下步骤：检测捕获图像的成像装置的多个分割像素之间的视差，成像装置中包括的分割像素由光瞳分割限定；以及对由光瞳分割限定的多个分割像素的像素值执行处理，处理以光瞳为单位并且根据视差来执行。根据本公开内容的一个方面的图像处理设备包括：成像装置，其包括由光瞳分割限定的多个分割像素并且捕获图像；视差检测部，其以光瞳为单位检测分割像素之间的视差；以及处理单元，其对由光瞳分割限定的多个分割像素的像素值执行处理，处理以光瞳为单位并且根据视差来执行。根据本公开内容的一个方面的图像处理方法包括以下步骤：检测捕获图像的成像装置的多个分割像素之间的视差，成像装置中包括的分割像素由光瞳分割限定；以及对由光瞳分割限定的多个分割像素的像素值执行处理，处理以光瞳为单位并且根据视差来执行。根据本公开内容的一个方面，设置由光瞳分割限定的多个分割像素以捕获图像。以光瞳为单位检测分割像素之间的视差。针对由光瞳分割限定的多个分割像素的像素值，以光瞳为单位执行与视差对应的处理。[本专利技术的有益效果]根据本公开内容的一个方面，通过有效地使用在微透镜的正下方由光本文档来自技高网...

【技术保护点】
1.一种成像设备，包括：成像装置，其包括由光瞳分割限定的多个分割像素并且捕获图像；视差检测部，其以光瞳为单位检测所述分割像素之间的视差；以及处理单元，其对由所述光瞳分割限定的多个分割像素的像素值执行处理，所述处理以光瞳为单位并且根据所述视差来执行。

【技术特征摘要】
【国外来华专利技术】2017.03.08 JP 2017-0438061.一种成像设备，包括：成像装置，其包括由光瞳分割限定的多个分割像素并且捕获图像；视差检测部，其以光瞳为单位检测所述分割像素之间的视差；以及处理单元，其对由所述光瞳分割限定的多个分割像素的像素值执行处理，所述处理以光瞳为单位并且根据所述视差来执行。2.根据权利要求1所述的成像设备，其中，所述处理单元包括：求和部，其以光瞳为单位计算所述多个分割像素的像素值的平均值，并且将所述平均值指定为求和像素值，以及像素值混合处理部，其根据所述视差将所述分割像素的像素值与所述求和像素值进行混合。3.根据权利要求2所述的成像设备，还包括：像素值混合比计算部，其根据所述视差计算用于将所述分割像素的像素值与所述求和像素值进行混合的像素值混合比，其中，所述像素值混合处理部以根据所述视差所计算的像素值混合比将所述分割像素的像素值与所述求和像素值进行混合。4.根据权利要求3所述的成像设备，其中，所述像素值混合比计算部计算随着所述视差的增大而增大所述求和像素值的比例的像素值混合比，并且计算随着所述视差的减小而增大所述分割像素的像素值的比例的像素值混合比。5.根据权利要求3所述的成像设备，其中，所述成像装置包括第一成像装置和第二成像装置，所述第一成像装置包括以光瞳为单位以预定颜色排列设置的RGB像素，所述第二成像装置仅包括白色像素，所述视差检测部包括：第一视差检测部，其基于由所述第一成像装置捕获的分割像素中的每一个的像素值以光瞳为单位检测第一视差，以及第二视差检测部，其基于由所述第二成像装置捕获的分割像素中的每一个的像素值以光瞳为单位检测第二视差，所述求和部包括：第一求和部，其以光瞳为单位将由所述第一成像装置捕获的多个分割像素的像素值求和，以将求和像素值的平均值指定为第一求和像素值，以及第二求和部，其以光瞳为单位将由所述第二成像装置捕获的多个分割像素的像素值求和，以将求和像素值的平均值指定为第二求和像素值，所述像素值混合处理部包括：第一混合处理部，其根据所述第一视差将由所述第一成像装置捕获的分割像素的像素值与所述第一求和像素值进行混合，以及第二混合处理部，其根据所述第二视差将由所述第二成像装置捕获的分割像素的像素值与所述第二求和像素值进行混合，并且所述处理单元包括：亮度混合处理部，其将由所述第一混合处理部混合的像素值的第一亮度与由所述第二混合处理部混合的像素值的第二亮度进行混合。6.根据权利要求5所述的成像设备，其中，所述亮度混合处理部以预定亮度混合比将由所述第一混合处理部混合的像素值的第一亮度与由所述第二混合处理部混合的像素值的第二亮度进行混合。7.根据权利要求5所述的成像设备，还包括：亮度混合比计算部，其基于所述第一亮度和所述第二亮度来计算亮度混合比。8.根据权利要求7的成像设备，其中，所述亮度混合比计算部包括：差异亮度混合比计算部，其基于所述第一亮度与所述第二亮度之间的差来计算差异亮度混合比，动态范围亮度混合比计算部，其针对所述第二亮度，基于从每个像素的周边像素的最大值和最小值获得的动态范围来计算动态范围亮度混合比，以及选择部，其从所述差异亮度混合比和所述动态范围亮度混合比中选择较小的比率作为所述亮度混合比。9.根据权利要求3所述的成像设备，还包括：光学单元，其在所述成像装置之前的级中会聚进入所述成像装置的光；焦点控制单元，其通过控制所述光学单元来控制所述光被...

【专利技术属性】
技术研发人员：横川昌俊，永野隆浩，内田真史，市桥英之，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP