硬件和软件分界的图像处理流水线制造技术

方法和系统给出一图像处理流水线，该图像处理流水线具有用于沿水平方向对原始图像进行空间滤波以获得中间图像数据的硬件模块。流水线还包括一组存储的指令，如果由处理器处理这些指令，则使流水线沿垂直方向对中间图像数据进行空间滤波。

【技术实现步骤摘要】
【国外来华专利技术】CN 102918561 A说明书1/5页硬件和软件分界的图像处理流水线
技术介绍
数字照相机包括对原始图像数据进行重采样和空间滤波(例如，内插)的图像处理流水线。例如，照相机流水线组件(诸如，去马赛克组件、向下采样组件、光学畸变校正组件和色差校正组件)可全部对单个图像运用内插技木。传统的图像处理流水线可串行并完全用硬件地实现这些功能。由于连续运用若干个低通式滤波器，这些串行处理可能降低图像质量。完全用硬件执行内插也会具有效率缺点。这些利害因素中的每ー个在高数据率操作模式(例如预览和视频录制)下可能特别相关。附图说明·通过阅读以下说明和所附权利要求，以及通过參考以下附图，本专利技术的实施例的各种优点将对于本领域普通技术人员变得显而易见，在附图中图I是根据一实施例的图像处理流水线的示例的方框图；图2是根据一实施例的水平内插硬件模块的示例的方框图；图3是根据一实施例的执行垂直内插的方法的示例的流程图；图4是根据一实施例的在逐列的基础上确定绿色值的进程的示例的流程图；图5是根据一实施例的平台的示例的方框图；以及图6A-6C是根据一实施例的图像数据的示例的图例。具体实施例方式各实施例可提供ー种方法，其中使用硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据。该方法也涉及使用软件以沿垂直方向对中间图像数据进行空间滤波。各实施例也可包括具有硬件模块的装置，该硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据。另外，该装置可包括计算机可读存储介质，该计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使装置沿垂直方向对中间图像数据进行空间滤波。其它实施例可包括一系统，该系统具有处理器、用于产生原始图像的图像传感器以及沿水平方向对原始图像进行空间滤波以获得中间图像数据的硬件模块。该系统还可包括计算机可读存储介质，该计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使系统沿垂直方向对中间图像数据进行空间滤波。现在转向图1，其示出图像处理流水线10。在图示示例中，流水线10包括内插部16，该内插部16 —般被用来对来自其它硬件处理模块22的原始图像24进行空间滤波(例如，劣像素校正)，以使空间滤波根据需要提供对原始图像24的去马赛克、向下采样、光学畸变校正和色差校正。内插部16可部分地用流水线10的硬件(HW)部分12实现，部分地用流水线10的软件(SW)部分14实现。具体地说，图示的内插部16包括水平内插硬件模块18和垂直内插软件模块20，其中水平内插硬件模块18在逐行的基础上处理原始图像244CN 102918561 A书明说2/5页而垂直内插硬件模块20在逐列的基础上处理中间图像数据26(26a-26b)。在一个示例中，原始图像24可包括拜尔模式图像，其中每一行包含处于全分辨率下的红-绿(R/G)数据或蓝-绿(B/G)数据。总地来说，图示的硬件模块18沿水平方向对原始图像24进行空间滤波以获得经几何校正和水平向下采样的中间图像数据26a，该中间图像数据26a被存储至缓冲器/存储 器28，且行已由硬件模块18(例如在逐行的基础上)进行处理。如下文中更详细讨论的那样，中间图像数据26a的行中的每个像素可包括红色和緑色(R+G)值或蓝色和緑色(B+G)值，其中这些值可以任何适宜的色度(例如0-256、0-4096等)表达。当已通过硬件模块18处理了足够数量的行以使垂直内插软件模块20开始处理列时(例如所研究的I行之前的5行+之后的5行=11行)，可在逐列的基础上从存储器28获取中间图像数据26b。中间图像数据26b的列中的每个像素可能包括R+G值或B+G值。图示的软件模块20可实现为ー组指令，如果这组指令由处理器执行，则使软件模块20沿垂直方向对中间图像数据26b进行空间滤波以获得经几何校正和垂直向下采样的最终图像数据30，该最终图像数据30可进ー步由其它软件模块32处理。在一个示例中，最终图像数据30的每个像素可包括红色、緑色和蓝色(R+G+B，RGB)值。图2示出水平内插硬件模块34的ー个示例。很容易取代已讨论的硬件模块18 (图I)的硬件模块34可实现为固定功能硬件中的嵌入式逻辑，该固定功能硬件使用诸如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或者晶体管-晶体管逻辑(TTL)技术，或者其任何组合的电路技木。在图示示例中，硬件模块34处理具有交替的R/G和B/G线的原始像素流38并使用低通(LP) R/B滤波器36在逐行的基础上确定原始图像中的像素的R/B平均值40(例如R/B AV)。由此，从LP R/B滤波器36输出的每个行的像素基于对LP R/B滤波器36建立的滤波器系数而具有红色值或蓝色值。这些系数可基于从像素计数输入52获得的像素位置藉由来自输出像素请求器54的系数线50来设定。例如，由输出像素请求器54所建立的系数可依赖于相对于输入原始数据标格的准确采样点。图示的输出像素请求器54也可为绿色模块42选择滤波器系数，如下文中更详细描述的那样。另外，输出像素请求器54可基于从控制信号58获得的向下采样率(例如I. 875)而产生有效输出标志56。硬件模块34也可包括绿色模块42以在逐行的基础上确定原始图像中的像素的绿色值44 (例如G_0UT)。可使用乘法模块48 (例如具有乘数值K)和求和模块46基于绿色值44来校正R/B平均值40，其中LP R/B滤波器36也可包括高通(HP)绿色(G)滤波分量以捕获每行中的緑色像素的派生物。HP G滤波分量可与乘法模块48的值(即“K”)相关联。结果，可从求和模块46输出经校正的R/B值47，其中一行中的每个像素可具有绿色值44和经校正的R/B值47 (即R+G或B+G)。在图示示例中，绿色模块42包括LP G滤波器60以在逐行的基础上确定原始图像中的像素的绿色平均值62 (例如G_AV)。因此，每个绿色平均值62可表示一行中某一数量像素上的平均绿色值。LP G滤波器60也可具有HP R/B滤波分量以捕获每行中的R/B像素的派生物。另外，可使用緑色最近邻滤波器64在逐行基础上计算原始图像中的像素的緑色最近邻值66 (例如G_NN)。每个绿色最近邻值66可因此表示这行中的最近邻像素(例如所研究像素的任一侧上的像素)的緑色值。緑色模块42的滤波器和LP R/B滤波器36可包5CN 102918561 A书明说3/5页括被设计成支持很宽范围采样比的多相滤波器。图示的緑色模块42也包括差计算器68，用以基于逐行基础上对原始图像中的像素的差计算来计算绿色平均值62和緑色最近邻值66的相对权重。该相对权重可被表达为单參数信号70 (例如alpha)，其中可使用混合模块72基于绿色平均值62、緑色最近邻值66以及反映在信号70中的相对权重来计算绿色值44。例如，混合模块72可使用下面的表达 式来计算每个绿色值，blend_out=alpha*G_NN+(1-alpha)*G_AV(I)由此，随着所计算出的基于行的像素差(alpha)増加，在图像的行中将更可能出现边缘/边界，并且绿色值44可朝向緑色最近邻值66被赋予更大的权重以更好地捕获边缘/边界。替代地，随着计算出的基于行的像素差减小，图像的行可能在纹理上是平滑的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：D·斯坦希尔，
申请(专利权)人：英特尔公司，
类型：
国别省市：