处理来自多层传感器的图像中的超分辨率制造技术

本发明专利技术提供了一种成像装置和成像方法。阵列的各个像素针对输入图像获取值。获取的值对应于获取这些值的各个像素的像素中心点。还可通过获取的值来计算关于输入图像的额外值。这些额外值可对应于可与任何像素中心点不同的额外中心点。可通过获取的值加上额外值构成输出图像。这些值可存储在一起和/或作为输出图像一起显示。实施例可应用于诸如来自多层传感器的图像。由于可通过比由可用数量的像素获取的那些值总数更多的值来产生输出图像，因此这种图像处理可被称作超分辨率，并且可针对静止图片、视频和运动图片等应用于成像装置中的图像处理。

【技术实现步骤摘要】
处理来自多层传感器的图像中的超分辨率相关申请的交叉引用本专利申请要求于2013年10月30日提交的美国临时专利申请No.61/897,773的优先权，针对所有目的，该美国临时专利申请的公开内容以引用方式并入本文。
本专利技术一般涉及一种成像装置及其相关方法，具体地，涉及一种利用超分辨率对图像进行处理的成像装置及其相关方法。
技术介绍
现代成像装置使用像素获取图像。像素将输入图像划分为各个元素，并且获取图像的各个元素的值。通过各种技术获取图像的这些值，诸如在短暂的曝光时间之后的每像素的电子数。无论是彩色的还是黑白的输出图像通常都由获取的值构成。
技术实现思路
本说明书提供了装置、计算机和方法的实例，它们的使用可有助于克服现有技术的问题和限制。在一些实施例中，阵列的各个像素可针对输入图像获取值。获取的值可对应于获取这些值的各个像素的像素中心点。还可通过获取的值来计算关于输入图像的一个或多个额外值。这些额外值中的至少一些对应于可与任何像素中心点不同的额外中心点。可通过获取的值与额外值一起构成输出图像。这些值可一起存储和/或作为输出图像一起显示。实施例的优点在于可通过比由可用数量的像素获取的那些值的总数更多的值来产生输出图像。这种图像处理可被称作超分辨率，并且可应用于针对静止图片、视频和运动图片等的成像装置中的图像处理。附图说明通过提供以下参照附图描述的具体实施方式，本说明书的这些和其它特点和优点将变得更加容易理解，其中：图1是根据实施例制备的成像装置的框图；图2是根据实施例的具有用于计算额外值的额外示例选择位置的示例像素阵列的示图；图3是根据实施例的计算机的示图；图4是示出根据实施例的方法的流程图；图5是图2的像素阵列的可能的单层传感器实施例的区块的示图；图6是根据实施例制备的可能的二层堆叠的传感器阵列的区块对的示图；图7是根据实施例制备的可能的三层堆叠的传感器阵列的四区块的示图；图8是根据实施例制备的二层错开堆叠的传感器阵列部分的示图；图9是根据旋转的实施例制备的二层错开堆叠的传感器阵列部分的示图；图10是根据实施例制备的三层错开堆叠的传感器阵列部分的示图；图11是根据旋转的实施例制备的三层错开堆叠的传感器阵列部分的示图；图12是根据实施例制备的三层错开堆叠的传感器阵列部分的示图；图13描绘了用于成像装置的基于控制器的系统，该成像装置使用了根据实施例制备的成像阵列；图14是根据实施例的物理二层错开堆叠的传感器阵列部分的示图；图15是根据实施例的物理示例图像构造网格的一部分的示图；图16是根据实施例的示例图像构造网格的一部分的示图；图17是根据实施例示出单层传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；图18是根据实施例示出三层堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；图19是根据实施例示出二层堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；图20是根据实施例示出二层错开堆叠的传感器阵列部分、并进一步识别用于定位针对额外值的额外中心点的示例区块的示图；图21根据实施例示出了描绘从图20的阵列部分至图像构造网格的另一进程的序列图；图22根据实施例示出了描绘收集获取的值的序列图，该获取的值用于计算针对图14的阵列部分中的额外中心点的额外值；图23根据实施例示出了描绘收集获取的值的序列图，该获取的值用于计算针对图14的阵列部分中的不同的额外中心点的额外值；图24根据实施例示出了可用于计算R、G、B图像值的等式；图25A、图25B、图25C和图25D根据实施例示出了可用于计算亮度和色度图像值的等式；图26是用于描述根据实施例的滤波器训练操作的示图；图27是示出了根据实施例的滤波器训练方法的流程图；图28根据实施例示出了可用于直接利用RGB值训练滤波器的等式；图29A、图29B、图29C和图29D根据实施例示出了可用于首先通过亮度和色度值训练滤波器的等式；图30是示出根据实施例的图像操作的示图；图31是根据实施例示出了输出图像相对于输入图像改变尺寸的示图；图32是示出根据实施例的额外合成图像操作的示图；以及图33是示出根据实施例的特定合成图像操作的示图。具体实施方式如上所述，本说明书是关于可执行特定类型的图像处理的装置、计算机和方法。现在更加详细地描述实施例。图1是根据实施例制备的成像装置100的框图。成像装置100具有外壳102。诸如LED的光源105可设置在外壳102上。开口OP设置在外壳102中。透镜LN可以可选地设置在开口OP中，但是这不是必要的。成像装置100还具有根据实施例制备的像素阵列110。像素阵列110构造为通过开口OP接收光，从而成像装置100可获取对象OBJ、人或景物的图像。有时，通过光源105辅助图像获取。可以看出，像素阵列110和开口OP限定了标称视场FOV-N。当然，视场FOV-N和对象OBJ是三维的，而图1将它们显示为二维的。此外，如果实际设置了透镜LN，则所得的实际视场可与标称视场FOV-N不同。将成像装置100校直以使得待成像的对象OBJ、人或景物处于实际视场中。像素阵列110的各个像素可获取图像的各个元素。在许多实施例中，像素阵列110具有二维像素阵列。阵列可按照多行多列排列。成像装置100可通过由像素获取的元素来呈现图像。可选地，成像装置100还包括显示器180，其可包括可显示所呈现的图像或其变化形式的屏幕或触摸屏。成像装置100还包括控制器120，其用于控制像素阵列110和成像装置100的其它组件的操作。控制器120可以可选地与像素阵列110一体形成，并且还可与成像装置100的其它组件一体形成。根据实施例，成像装置100可另外包括图像处理器125，其用于处理输入图像。更具体地说，图像处理器125可处理通过像素阵列110的各个像素获取的输入图像的值，以产生构成输出图像的值。图像处理器125可以可选地与控制器120、像素阵列110和/或成像装置100的其它组件一体形成。成像装置100可以可选地包括存储器140。存储器140可存储输入图像，即由像素阵列110的各个像素针对输入图像的各个元素获取的值。根据实施例，存储器140还可存储输出图像的各方面，例如针对输出图像计算的值。图2是示例像素阵列210的示图。像素阵列210具有像素232，为了清楚起见，仅示出了其中的几个像素，并且标记了更少的像素。像素232可由无机材料和/或有机材料制成。像素232示为方形，但这仅出于描述的目的。实际上，像素232可具有不同的形状，并且它们的感光区域可小于整个像素的区域。因此，像素232的感光区域加在一起不一定覆盖像素阵列210的整个区域。实际上，在一些实施例中，成像在像素232的感光区域之间的输入图像的元素会没有被成像，这意味着会没有获取到针对这些元素的值。像素232按照矩形图案沿着各行222和各列224布置，但这仅是出于示例而非限制的目的。如稍后将在本文中的其它示例中看出的那样，可存在布置像素的多种图案。在图2中，仅示出了一层像素232，但情况不一定是这样。如稍后将在本文中的其它示例中看出的那样，可存在多层(诸如两层或更多层)像素，它们可堆叠。通常，一对这种层的特征可在于下层和竖直堆叠在下层上本文档来自技高网...

【技术保护点】
一种成像装置，包括：阵列，其具有构造为针对输入图像获取各个值的一组像素，获取的值对应于获取这些值的各个像素的像素中心点；处理器，其构造为通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与任何所述像素中心点不同的额外中心点；以及一个或多个存储器，其构造为存储所述获取的值和所述额外值。

【技术特征摘要】
2013.10.30 US 61/897,773;2014.02.26 US 14/191,4171.一种成像装置，包括：阵列，其具有构造为针对输入图像获取各个值的一组像素，获取的值对应于获取这些值的各个像素的像素中心点；处理器，其构造为通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与任何所述像素中心点不同的额外中心点；以及一个或多个存储器，其构造为存储所述获取的值和所述额外值。2.根据权利要求1所述的成像装置，其中在存储所述额外值时使所述额外值与所述获取的值进一步合并。3.根据权利要求1所述的成像装置，还包括：显示器，其构造为显示通过所述获取的值和所述额外值二者构成的输出图像。4.根据权利要求3所述的成像装置，其中联合地将所述额外值与所述获取的值去马赛克，并且通过联合去马赛克处理来构成所述输出图像。5.根据权利要求1所述的成像装置，其中通过所述像素中心点限定实质上相同的区块，并且通过特定区块中的一个获取的值和所述特定区块以外的一个获取的值来计算对应于所述特定区块中的一个额外中心点的一个或多个额外值。6.根据权利要求1所述的成像装置，其中所述获取的值的数量加上所述额外值的数量之和大于所述阵列中的像素的数量。7.根据权利要求1所述的成像装置，其中所述阵列的各个像素至少布置在下层和竖直堆叠在所述下层之上的上层中，并且所述像素中心点限定为所述上层的像素的像素中心点加上所述下层的像素在所述上层的平面上的投影的像素中心点。8.根据权利要求7所述的成像装置，还包括：显示器，其构造为显示通过所述获取的值和所述额外值二者构成的输出图像。9.根据权利要求8所述的成像装置，其中联合地将所述额外值与所述获取的值去马赛克，并且通过联合去马赛克处理来构成所述输出图像。10.根据权利要求1所述的成像装置，其中利用滤波函数计算所述额外值。11.根据权利要求10所述的成像装置，其中通过处理器来训练所述滤波函数，所述处理器执行导致以下操作的行为，所述操作包括：接收针对参考图像的输入测试值；选择用于所述滤波函数的参数的试验值；利用所述试验值通过输入测试值来计算关于所述参考图像的额外测试值；以及调整参数值。12.根据权利要求11所述的成像装置，其中通过将测试像素阵列暴露于所述参考图像来确定所述输入测试值。13.根据权利要求11所述的成像装置，其中通过计算由于暴露于所述参考...

【专利技术属性】
技术研发人员：伊利亚·欧弗西亚尼科夫，石立龙，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR