用于图像数据的组合的下采样和校正的电路制造技术

本发明专利技术公开一种用于图像中的色差的组合的下采样和校正的注视点下采样和校正(FDS

【技术实现步骤摘要】
【国外来华专利技术】用于图像数据的组合的下采样和校正的电路
[0001]相关申请的交叉引用
[0002]本申请要求2021年1月7日提交的美国实用专利申请号17/143,995的权益，该美国实用专利申请据此全文以引用方式并入。

技术介绍
1.

[0003]本公开涉及用于处理图像数据的电路，并且更具体地涉及用于图像数据的组合的下采样和校正以校正捕获的图像中的色差的电路。
[0004]2.相关技术描述
[0005]由图像传感器捕获的图像数据或从其他数据源接收的图像数据通常在进一步处理或消耗之前在图像处理流水线中处理。例如，在提供给诸如视频编码器的后续部件之前，可校正、滤波或以其他方式修改原始图像数据。为了对捕获的图像数据执行校正或增强，可采用各种部件、单元级或模块。
[0006]可构造这样的图像处理管道，使得能够以有利的方式执行对捕获的图像数据的校正或增强，而不消耗其他系统资源。虽然可通过在中央处理单元(CPU)上执行软件程序来执行许多图像处理算法，但是在CPU上执行这些程序将消耗CPU和其他外围资源的大量带宽以及增加功耗。因此，图像处理管道通常被实现为与CPU分离的硬件部件，并且专用于执行一个或多个图像处理算法。
[0007]然而，图像处理管道没有考虑使用广角镜头(例如，鱼眼镜头)来生成图像数据。当使用广角镜头来生成图像数据时，具有不同波长的光的折射角发生变化，从而在图像传感器上将其自身表现为在红色、绿色和蓝色通道之间未对准的移位的焦点。因此，彩色边纹出现在从图像数据生成的全色图像的清晰且高对比度的边缘处。r/>
技术实现思路

[0008]实施方案涉及一种图像处理器，该图像处理器包括用于校正由耦接到图像处理器的一个或多个图像传感器捕获的图像中的色差的注视点下采样和校正电路。注视点下采样和校正电路包括第一校正电路(例如，垂直注视点下采样和校正电路)和耦接到第一校正电路的第二校正电路(例如，水平校正电路)。第一校正电路使用第一下采样缩放因子和第一插值系数来执行对原始图像中的相同颜色的像素的第一子集的像素值的下采样和插值，以生成原始图像的第一校正版本中的相同颜色的像素的第一校正像素值。第一子集中的像素布置在第一方向(例如，垂直方向)上，第一下采样缩放因子沿着第一方向逐渐变化，并且第一插值系数对应于第一偏移值。第一偏移值表示从沿着第一方向的每个下采样像素位置到第一方向上的对应第一虚拟像素的第一距离。
[0009]第二校正电路接收第一校正版本的第一校正像素值，并且使用第二插值系数来执行对第一校正版本中的像素的第二子集的像素值的插值，以生成原始图像的第二校正版本
中的相同颜色的像素的第二校正像素值。第二子集中的像素布置在垂直于第一方向的第二方向(例如，水平方向)上，并且第二插值系数对应于第二偏移值。第二偏移值表示从像素的第二子集到第二方向上的对应第二虚拟像素的第二距离。
[0010]在一些实施方案中，图像处理器还包括耦接到第二校正电路的下采样电路。下采样电路接收第二校正版本中的相同颜色的像素的第二校正像素值。下采样电路使用第二下采样缩放因子来执行第二校正版本的相同颜色的像素的子集的下采样，以生成原始图像的校正版本中的相同颜色的像素的校正像素值。子集中的像素布置在第二方向上，并且第二下采样缩放因子沿着第二方向逐渐变化。
附图说明
[0011]图1是根据一个实施方案的电子设备的高级图。
[0012]图2是示出根据一个实施方案的电子设备中的部件的框图。
[0013]图3是根据一个实施方案示出了使用图像信号处理器实现的图像处理管道的框图。
[0014]图4A是示出根据一个实施方案的纵向/轴向色差的概念图。
[0015]图4B是示出根据一个实施方案的侧向/横向色差的概念图。
[0016]图5是示出根据一个实施方案的由使用广角镜头的图像传感器生成的原始图像数据的概念图。
[0017]图6是示出根据一个实施方案的注视点下采样和校正电路的详细视图的框图。
[0018]图7A是示出根据一个实施方案的原始图像数据的组合的垂直注视点下采样和插值的概念图。
[0019]图7B是示出根据一个实施方案的原始图像数据的水平插值的概念图。
[0020]图8是示出根据一个实施方案的给定像素的像素邻域的图。
[0021]图9是示出根据一个实施方案的执行注视点下采样和校正以减少原始图像数据的彩色边纹的方法的流程图。
[0022]仅仅出于示例目的，附图描绘以及详细说明描述各种非限定性实施方案。
具体实施方式
[0023]现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。然而，可以在没有这些具体细节的情况下实施所述实施方案。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
[0024]本公开的实施方案涉及图像处理器中的注视点下采样和校正电路，该电路用于校正由耦接到图像处理器的一个或多个图像传感器生成的捕获的图像中的色差。注视点下采样和校正电路包括垂直注视点下采样和校正电路以及耦接到垂直注视点下采样和校正电路的输出端的水平校正电路。垂直注视点下采样和校正电路在由一个或多个图像传感器生成的原始图像的垂直方向上执行组合的注视点下采样和色差恢复。垂直注视点下采样和校正电路生成原始图像的第一校正版本中的相同颜色的像素的第一校正像素值。水平校正电路从垂直注视点下采样和校正电路接收第一校正像素值，并且在原始图像的第一校正版本
的水平方向上执行色差恢复。水平校正电路生成原始图像的第二校正版本中的相同颜色的像素的第二校正像素值，该第二校正版本与原始图像相比色差减小。
[0025]示例性电子设备
[0026]本文描述了电子设备、此类设备的用户界面和使用此类设备的相关联的进程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如个人数字助理(PDA)和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的设备、iPod设备、Apple设备和设备。可选地使用其他便携式电子设备，诸如可穿戴设备、膝上型电脑或平板计算机。在一些实施方案中，该设备不是便携式通信设备，而是台式计算机或不是为便携式使用而设计的其他计算设备。在一些实施方案中，所公开的电子设备可包括触敏表面(例如，触摸屏显示器和/或触摸板)。下文结合图1描述的示例电子设备(例如，设备100)可包括用于接收用户输入的触敏表面。电子设备还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
[0027]图1是根据一个实施方案的电子设备100的高级图。设备100可包括一个或多个物理按钮，诸如“home”按钮或菜单按钮104。菜单按钮104例如用于导航到在设备100上执行的一组应用程序中的任何应用程序。在一些本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理器，包括：第一校正电路，所述第一校正电路被配置为使用第一下采样缩放因子和第一插值系数来执行对原始图像中的相同颜色的像素的第一子集的像素值的下采样和插值，以生成所述原始图像的第一校正版本中的所述相同颜色的像素的第一校正像素值，所述像素的第一子集布置在第一方向上，所述第一下采样缩放因子沿着所述第一方向逐渐变化，并且所述第一插值系数对应于第一偏移值；以及第二校正电路，所述第二校正电路耦接到所述第一校正电路，所述第二校正电路被配置为：接收所述第一校正版本的所述第一校正像素值，并且使用第二插值系数来执行对所述第一校正版本中的所述像素的第二子集的像素值的插值，以生成所述原始图像的第二校正版本中的所述相同颜色的像素的第二校正像素值，所述像素的第二子集布置在垂直于所述第一方向的第二方向上，并且所述第二插值系数对应于第二偏移值。2.根据权利要求1所述的图像处理器，其中：所述第一偏移值表示从沿着所述第一方向的每个下采样像素位置到所述第一方向上的对应第一虚拟像素的第一距离，并且所述第二偏移值表示从所述像素的第二子集到所述第二方向上的对应第二虚拟像素的第二距离。3.根据权利要求1所述的图像处理器，其中所述第一校正电路被进一步配置为通过使用所述第一下采样缩放因子中的对应第一下采样缩放因子和所述第一插值系数的对应子集对所述原始图像的相同列中的多个像素进行下采样和插值，来生成所述第一校正版本中的像素的所述第一校正像素值中的一个第一校正像素值。4.根据权利要求1所述的图像处理器，其中所述第二校正电路被进一步配置为通过使用所述第二插值系数的对应子集对所述第一校正版本的相同行中的多个像素进行插值，来生成所述第二校正版本中的像素的所述第二校正像素值中的一个第二校正像素值。5.根据权利要求1所述的图像处理器，其中所述像素的第一子集在具有Bayer模式的所述原始图像的相同列中，并且所述像素的第二子集在具有Bayer模式的所述原始图像的所述第一校正版本的相同行中。6.根据权利要求1所述的图像处理器，其中每个第一下采样缩放因子的值取决于所述原始图像的相同列中沿着所述第一方向的多个像素的位置，所述多个像素用于下采样和插值以生成所述第一校正版本中的像素的对应第一校正像素值。7.根据权利要求1所述的图像处理器，其中所述第一下采样缩放因子基于分段固定缩放、曲率连续缩放或线性连续缩放而沿着所述第一方向逐渐变化。8.根据权利要求1所述的图像处理器，其中：所述第一下采样缩放因子的一个或多个部分在所述第一方向上的每个定义的下采样像素位置处逐渐按比例缩小，并且所述第一下采样缩放因子的一个或多个其他部分在所述第一方向上的每个定义的下采样像素位置处逐渐按比例增大。9.根据权利要求1所述的图像处理器，还包括：
下采样和像素定位器电路，所述下采样和像素定位器电路被配置为基于所述第一下采样缩放因子中的对应第一下采样缩放因子来确定所述第一方向上的每个下采样像素位置。10.根据权利要求1所述的图像处理器，还包括：偏移插值器电路，所述偏移插值器电路被配置为通过至少执行对与和所述原始图像中的所述像素相邻的网格点相关联的预定第一偏移值和预定第二偏移值的双线性插值或双三次插值来确定所述原始图像输入数据中的所述像素的所述第一偏移值和所述第二偏移值。11.根据权利要求10所述的图像处理器，还包括：偏移查找表，所述偏移查找表被配置为存储与所述网格点相关联的所述预定第一偏移值和所述预定第二偏移值；第一相位查找表，所述第一相位查找表被配置为存储由所述第一距离或从所述第一距离导出的第一参数索引的所述第一插值系数；以及第二相位查找表，所述第二相位查找表被配置为存储由所述第二距离或从所述第二距离导出的第二参数索引的所述第二插值系数。12.根据权利要求1所述的图像处理器，还包括：下采样电路，所述下采样电路耦接到所述第二校正电路，所述下采样电路被配置为：接收所述第二校正版本中的所述相同颜色的像素的所述第二校正像素值，并且使用第二下采样缩放因子来执行对所述第二校正版本的所述相同颜色的所述像素的子集的下采样，以生成所述原始图像的校正版本中的所述相同颜色的像素的校正像素值，所述像素的子集布置在所述第二方向上，并且所述第二下采样缩放因子沿着所述第二方向逐渐变化。13.根据权利...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：苹果公司，
类型：发明
国别省市：