【技术实现步骤摘要】
本公开涉及一种采用透镜阵列的图像获取装置和方法。
技术介绍
1、图像传感器可以包括以预定图案布置在光感测像素上的红色滤色器、绿色滤色器和蓝色滤色器，以用于彩色图像的成像。例如，滤色器可以被配置为相同颜色的2×2个像素位于一个微透镜下方的四拜耳图案。
2、四拜耳图案可以用于通过使用穿过相同微透镜的光的视差对拍摄目标进行自动聚焦。图像传感器需要去马赛克处理，以将所有红色、绿色和蓝色信息包括在一个像素中。然而，在四拜耳图案的情况下，相同颜色的像素之间发生视差，并且因此，去马赛克处理需要视差恢复处理。
3、高清图像获取装置可能具有以下问题：随着常规图像传感器中包括的滤色器阵列中的像素数量增加，需要更多的用于视差恢复处理的逻辑和存储器。
技术实现思路
1、提供了能够最小化用于去马赛克处理中的视差恢复处理的逻辑和存储器的增加的图像获取装置和方法。
2、根据本公开的一个方面，一种图像获取装置包括：图像传感器，包括微透镜、以及彼此相邻布置且共享微透镜的多个像素；以及处理器，被配置为处理由图像传感器获取的输入图像，其中，处理器还可以被配置为：通过从输入图像中提取并组合具有相同视差的子图像，生成多个视差图像；通过使用周围像素的颜色值对多个视差图像中的每一个的空像素的颜色值进行插值，生成rgb去马赛克图像；通过将rgb去马赛克图像中的每一个上采样为输入图像尺寸，生成多个上采样图像；以及通过基于选自上采样图像的一个参考上采样图像与其他上采样图像之间的相似度对该一个参考上
3、该处理器还可以被配置为：通过使用平均值插值、线性插值、三次插值和方向双线性插值之一，生成rgb去马赛克图像。
4、该图像传感器可以包括：四拜耳图案阵列，在该四拜耳图案阵列中，以2×2矩阵布置的像素包括具有相同颜色的相应滤色器；或者四方拜耳图案阵列，在该四方拜耳图案阵列中，以4×4矩阵布置的像素包括具有相同颜色的相应滤色器。
5、该处理器还可以被配置为：根据输入图像生成视差a图像、视差b图像、视差c图像和视差d图像作为多个视差图像。
6、该处理器可以包括：多个逻辑，被配置为对视差a图像、视差b图像、视差c图像和视差d图像中的每一个同时进行插值；或者单个逻辑，被配置为对视差a图像、视差b图像、视差c图像和视差d图像顺序地进行插值。
7、该处理器还可以被配置为：通过使用双线性插值、双三次插值和深度学习网络之一来生成上采样图像。
8、该处理器还可以被配置为：通过使用绝对差之和(sad)、平方差之和(ssd)、归一化互相关(ncc)和零均值归一化互相关(zncc)之一，确定参考上采样图像与其他上采样图像之间的相似度。
9、该处理器还可以被配置为：检测上采样图像的混叠区域。
10、该处理器还可以被配置为：在参考上采样图像与其他上采样图像之间的相似度在混叠区域中低于预设值的情况下，在混叠区域中增大权重。
11、该处理器还可以被配置为：通过使用方向滤波器，输出边缘结果值；通过执行边缘结果值的绝对值处理，输出边缘绝对值；以及通过使用基于边缘绝对值和控制信号确定的输入值，生成边缘图。
12、方向滤波器包括水平方向滤波器、竖直方向滤波器、45度方向滤波器和135度方向滤波器。
13、控制信号可以包括以下之一：第一控制信号，用于通过使用以下各项之中的最大值作为输入值来生成边缘图：水平方向滤波器的边缘绝对值、竖直方向滤波器的边缘绝对值、45度方向滤波器的边缘绝对值、以及135度方向滤波器的边缘绝对值；第二控制信号，用于通过使用以下各项的平均值作为输入值来生成边缘图：水平方向滤波器的边缘绝对值、竖直方向滤波器的边缘绝对值、45度方向滤波器的边缘绝对值、以及135度方向滤波器的边缘绝对值；以及第三控制信号，用于通过使用以下各项的最大值作为输入值来生成边缘图：水平方向滤波器的边缘绝对值和竖直方向滤波器的边缘绝对值的加权平均值、以及45度方向滤波器的边缘绝对值和135度方向滤波器的边缘绝对值的加权平均值。
14、该处理器还可以被配置为：基于输入值小于第一阈值，确定输入值不是边缘；基于输入值大于第二阈值，确定输入值是边缘；以及基于确定输入值在第一阈值与第二阈值之间，执行线性插值。
15、该处理器还可以被配置为：在生成多个视差图像之前，对输入图像执行白平衡处理。
16、该处理器还可以被配置为：在白平衡处理之前，对输入图像执行颜色阴影补偿。
17、该处理器还可以被配置为：在颜色阴影补偿与白平衡处理之间，从输入图像中仅裁剪目标区域。
18、根据本公开的一个方面，一种由包括图像传感器的图像获取装置使用的图像获取方法，该图像传感器包括微透镜、以及彼此相邻布置且共享微透镜的多个像素，该图像获取方法包括：通过从由图像传感器获取的输入图像中提取并组合具有相同视差的子图像，生成多个视差图像；通过使用周围像素的颜色值对多个视差图像中的每一个的空像素的颜色值进行插值，对图像进行去马赛克；通过将插值后的视差图像中的每一个上采样为输入图像尺寸，生成多个上采样图像；以及图像合成，包括通过以下方式来生成输出图像：基于选自上采样图像的一个上采样图像与其他上采样图像之间的相似度，对该一个上采样图像和其他上采样图像进行加权求和。
19、该图像传感器可以包括：四拜耳图案阵列，在该四拜耳图案阵列中，以2×2矩阵布置的像素包括具有相同颜色的相应滤色器；或者四方拜耳图案阵列，在该四方拜耳图案阵列中，以4×4矩阵布置的像素包括具有相同颜色的相应滤色器。
20、该图像合成还可以包括：检测上采样图像的混叠区域。
21、在该图像合成中，在相似度在混叠区域中低于预设值的情况下，在混叠区域中增大权重。
本文档来自技高网...【技术保护点】
1.一种图像获取装置，包括：
2.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：通过使用平均值插值、线性插值、三次插值和方向双线性插值之一，生成所述RGB去马赛克图像。
3.根据权利要求1所述的图像获取装置，其中，所述图像传感器包括：
4.根据权利要求3所述的图像获取装置，其中，所述处理器还被配置为：根据所述输入图像生成视差A图像、视差B图像、视差C图像和视差D图像作为所述多个视差图像。
5.根据权利要求4所述的图像获取装置，其中，所述处理器包括：
6.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：通过使用双线性插值、双三次插值和深度学习网络之一来生成所述上采样图像。
7.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：通过使用绝对差之和SAD、平方差之和SSD、归一化互相关NCC和零均值归一化互相关ZNCC之一，确定所述参考上采样图像与所述其他上采样图像之间的相似度。
8.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：检测所述上采样图
9.根据权利要求8所述的图像获取装置，其中，所述处理器还被配置为：在所述参考上采样图像与所述其他上采样图像之间的相似度在所述混叠区域中低于预设值的情况下，在所述混叠区域中增大权重。
10.根据权利要求8所述的图像获取装置，其中，所述处理器还被配置为：
11.根据权利要求10所述的图像获取装置，其中，所述方向滤波器包括水平方向滤波器、竖直方向滤波器、45度方向滤波器和135度方向滤波器。
12.根据权利要求11所述的图像获取装置，其中，所述控制信号包括以下之一：
13.根据权利要求10所述的图像获取装置，其中，所述处理器还被配置为：
14.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：在生成所述多个视差图像之前，对所述输入图像执行白平衡处理。
15.根据权利要求14所述的图像获取装置，其中，所述处理器还被配置为：在所述白平衡处理之前，对所述输入图像执行颜色阴影补偿。
16.根据权利要求15所述的图像获取装置，其中，所述处理器还被配置为：在所述颜色阴影补偿与所述白平衡处理之间，从所述输入图像中仅裁剪目标区域。
17.一种由包括图像传感器的图像获取装置使用的图像获取方法，所述图像传感器包括微透镜、以及彼此相邻布置且共享所述微透镜的多个像素，所述图像获取方法包括：
18.根据权利要求17所述的图像获取方法，其中，所述图像传感器包括：
19.根据权利要求17所述的图像获取方法，其中，所述图像合成还包括：检测所述上采样图像的混叠区域。
20.根据权利要求19所述的图像获取方法，其中，在所述图像合成中，在所述相似度在所述混叠区域中低于预设值的情况下，在所述混叠区域中增大权重。
...【技术特征摘要】
1.一种图像获取装置，包括：
2.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：通过使用平均值插值、线性插值、三次插值和方向双线性插值之一，生成所述rgb去马赛克图像。
3.根据权利要求1所述的图像获取装置，其中，所述图像传感器包括：
4.根据权利要求3所述的图像获取装置，其中，所述处理器还被配置为：根据所述输入图像生成视差a图像、视差b图像、视差c图像和视差d图像作为所述多个视差图像。
5.根据权利要求4所述的图像获取装置，其中，所述处理器包括：
6.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：通过使用双线性插值、双三次插值和深度学习网络之一来生成所述上采样图像。
7.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：通过使用绝对差之和sad、平方差之和ssd、归一化互相关ncc和零均值归一化互相关zncc之一，确定所述参考上采样图像与所述其他上采样图像之间的相似度。
8.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为：检测所述上采样图像的混叠区域。
9.根据权利要求8所述的图像获取装置，其中，所述处理器还被配置为：在所述参考上采样图像与所述其他上采样图像之间的相似度在所述混叠区域中低于预设值的情况下，在所述混叠区域中增大权重。
10.根据权利要求8所述的图像获取装置，其中，所述处理器还被配...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。