【技术实现步骤摘要】
【国外来华专利技术】
概括而言，本公开内容的各方面涉及图像信号处理。一些特征可以实现并提供改进的通信，包括去模糊操作以补偿由大孔径大小引入的模糊。
技术介绍
1、图像捕获设备是可以捕获一个或多个数字图像的设备，无论是用于照片的静止图像还是用于视频的图像序列。捕获设备可以并入到各种各样的设备中。举例来说，图像捕获设备可以包括独立数码相机或数字视频摄录机、配备有相机的无线通信设备手持机，诸如移动电话、蜂窝式或卫星无线电话、个人数字助理(pda)、面板或平板设备、游戏设备、诸如网络摄像机的计算机设备、视频监视相机或具有数字成像或视频能力的其它设备。
2、场景的数字表示可以采用数字数据的不同布置的形式。图像传感器包括被配置为获得多个光测量的硬件。可以通过彩色滤光器阵列(cfa)进行光测量，所述彩色滤光器阵列产生对应于场景中的不同色彩的强度的测量的单独光测量。例如，图像传感器上的滤光器阵列可以包括多个红色滤光器、绿色滤光器和蓝色滤光器，并且来自图像传感器的所得输出对应于场景中的不同位置处的红色、蓝色和绿色的测量。虽然对于cfa而言，许多不同的颜色布置和阵列大小是可能的，但是具有cfa的图像传感器的输出通常被转换成拜耳颜色图案以用于进一步处理。
3、转换成拜耳颜色图案的方式可能影响场景的表示，并且特别是对场景的表观缩放。例如，当将nxn cfa转换成拜耳时，可以使用重拼接(remosaicing)来调整场景的表示中的缩放水平。作为另一示例，当将nxn cfa转换为拜耳时，可以使用分仓和放大的组合来调整场景的表示中的缩放水平。然而，这些重拼
技术实现思路
1、以下概述了本公开内容的一些方面，以提供对所讨论的技术的基本理解。本概述不是本公开内容的所有预期特征的广泛概述，并且既不旨在标识本公开内容的所有方面的关键或重要要素，也不旨在描绘本公开内容的任何或所有方面的范围。其唯一目的是以概述形式呈现本公开内容的一个或多个方面的一些概念，作为稍后呈现的更详细描述的序言。
2、可以将第一配置的第一颜色图案(诸如mxm彩色滤光器阵列(cfa))变换为第二配置的第二颜色图案(诸如nxn彩色滤光器阵列(cfa))。变换可以允许m与n的非整数。在一些实施例中，非整数比变换可以用于提供可通过重拼接和分箱获得的缩放水平之间的缩放水平。可以在不放大的情况下执行变换，这允许变换的输出避免由放大引起的图像质量损失。在一些实施例中，变换器可重新配置为处理来自具有不同彩色滤光器阵列(cfa)的不同图像传感器配置的输入数据。在一些实施例中，变换器可以被配置为以对应于将图像数据转换成拜耳颜色图案的固定功能电路的颜色图案来输出图像数据。例如，固定功能qcfa(2x2cfa)去马赛克块可以耦合到变换器，并且变换器被配置为接受不同的mxm颜色图案并且变换到2x2 cfa以匹配固定功能qcfa去马赛克块。用于执行mxm颜色图案到nxn颜色图案的变换的变换器或其它电路可以被包括在图像传感器中，使得图像传感器的输出从存在于图像传感器上的彩色滤光器阵列变换。变换器或其它电路还可以或替代地被包括在图像信号处理器中并且被应用为使得来自图像传感器的图像数据部分地或完全地在isp中被变换。
3、图像捕获设备(可以捕获一个或多个数字图像(无论是静态图像照片还是用于视频的图像序列)的设备)可以合并到各种设备中。举例来说，图像捕获设备可以包括独立数字相机或数字摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝或卫星无线电话)、个人数字助理(pda)、面板或平板设备、游戏设备、计算机设备，诸如网络相机、视频监视相机、或具有数字成像或视频能力的其它设备。
4、一般来说，本公开内容描述了涉及具有图像传感器及图像信号处理器(isp)的数码相机的图像处理技术。isp可以被配置为控制来自一个或多个图像传感器的图像帧的捕获并且处理来自一个或多个图像传感器的一个或多个图像帧以生成经校正的图像帧中的场景的视图。经校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可以包括从图像传感器或其它图像传感器接收的其它图像帧和/或基于来自图像传感器或另一图像传感器的输入的其它经校正的图像帧。在一些实施例中，可以在图像传感器内执行一个或多个图像帧的处理。本文公开的实施例中描述的图像处理技术可以由图像传感器、图像信号处理器(isp)、应用处理器(ap)或这些组件中的两个或全部的组合中的电路来执行。
5、在一个示例中，图像信号处理器可以接收用于响应于软件(诸如相机应用)的加载而捕获图像帧序列以从图像捕获设备产生预览显示的指令。图像信号处理器可以被配置为基于从一个或多个图像传感器接收的图像帧来产生单个输出帧流。单个输出帧流可以包括来自图像传感器的原始图像数据或由图像信号处理器内的一个或多个算法处理的经校正的图像帧。例如，可以在图像信号处理器中通过图像后处理引擎(ipe)和/或用于执行色调映射、人像照明、对比度增强、伽马校正等中的一个或多个的其它图像处理电路处理图像帧来在图像信号处理器中处理从图像传感器获得的图像帧，该图像传感器在将数据输出到图像信号处理器之前可能已经对其执行了某种处理。
6、在由图像信号处理器使用本文的各种实施例中描述的图像校正确定表示场景的输出帧之后，输出帧可以作为单个静止图像和/或作为视频序列的一部分在设备显示器上显示、作为图片或视频序列保存到存储设备、通过网络传输和/或打印到输出介质。例如，图像信号处理器可以被配置为从不同图像传感器获得图像数据的输入帧(例如，像素值)，并且进而产生图像数据的对应输出帧(例如，预览显示帧、静止图像捕获、用于视频的帧等)。在其它示例中，图像信号处理器可以将图像数据的帧输出到各种输出设备和/或相机模块以用于进一步处理，诸如用于3a参数同步(例如，自动聚焦(af)、自动白平衡(awb)和自动曝光控制(aec))，经由输出帧产生视频文件，配置用于显示的帧，配置用于存储的帧，通过网络连接发送帧等。也就是说，图像信号处理器可以从一个或多个图像传感器获得传入帧，每个图像传感器耦合到一个或多个相机镜头，并且进而可以产生输出帧流并将其输出到各种输出目的地。在此类示例中，图像信号处理器可以被配置为产生在弱光条件下可以具有改进的外观的输出帧流。
7、在一些方面中，可以通过将本公开内容的图像校正的方面与其它计算摄影技术(例如高动态范围(hdr)摄影或多帧降噪(mfnr))组合来产生经校正的图像帧。在hd本文档来自技高网...
【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，其中，所述第一缩放水平、所述第二缩放水平和所述第三缩放水平对应于顺序整数缩放水平。
4.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来基于对应的第一颜色图案中的第二多个值来确定所述第二颜色图案中的第一多个值：基于所述第二多个值中的一个值的强度和所述第二多个值中的所述一个值到所述第一多个值中的对应一个值的距离来对所述第二多个值中的每个值进行加权。
5.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换和对所述第二图像数据进行重拼接以生成所述输出图像帧能够是在一个或多个缩放水平处执行的，
6.根据权利要求1所述的方法，其中，确定所述第二图像数据包括：确定以第二颜色图案组织的第二图像数据，所述第二颜色图案具有与四彩色滤光器阵列(QCFA)图案相对应的2乘2大小。
7.根据权利要求6所述的方法，其中，对所述第二图像数据进行重拼接以生成所述输出图像帧是由固定功能电路来执行的
8.根据权利要求1所述的方法，其中，M与N的比值是非整数。
9.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来将所述第一颜色图案顺序地变换为较小的颜色图案：
10.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换以形成第二图像数据和对所述第二图像数据进行重拼接以生成输出图像帧是在图像传感器中执行的，所述图像传感器被配置为将所述输出图像帧输出到图像信号处理器。
11.一种设备，包括：
12.根据权利要求11所述的设备，其中，所述指令还使得所述设备执行包括以下各项的操作：
13.根据权利要求12所述的设备，其中，所述第一缩放水平、所述第二缩放水平和所述第三缩放水平对应于顺序整数缩放水平。
14.根据权利要求11所述的设备，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来基于对应的第一颜色图案中的第二多个值来确定所述第二颜色图案中的第一多个值：基于所述第二多个值中的一个值的强度和所述第二多个值中的所述一个值到所述第一多个值中的对应一个值的距离来对所述第二多个值中的每个值进行加权。
15.根据权利要求11所述的设备，其中，N与M的比值是非整数。
16.根据权利要求11所述的设备，其中，确定所述第二图像数据包括：确定以第二颜色图案组织的第二图像数据，所述第二颜色图案具有与四彩色滤光器阵列(QCFA)图案相对应的2乘2大小。
17.根据权利要求11所述的设备，还包括：耦合到所述处理器的图像传感器，其中，所述处理器被配置为从所述图像传感器接收所述第一图像数据。
18.根据权利要求17所述的设备，还包括：耦合到所述处理器的显示器，其中，所述处理器被配置为在所述显示器上呈现所述输出图像帧。
19.根据权利要求11所述的设备，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来将所述第一颜色图案顺序地变换为较小的颜色图案：
20.一种设备，包括：
21.根据权利要求20所述的设备，其中，所述变换器和所述重拼接块被配置为生成处于第一缩放水平的所述输出图像帧，
22.根据权利要求21所述的设备，其中，所述第一缩放水平、所述第二缩放水平和所述第三缩放水平对应于顺序整数传感器内缩放水平。
23.根据权利要求20所述的设备，其中，所述变换器被配置为通过以下操作来基于对应的第一颜色图案中的第二多个值来确定所述第二颜色图案中的第一多个值：基于所述第二多个值中的一个值的强度和所述第二多个值中的所述一个值到所述第一多个值中的对应一个值的距离来对所述第二多个值中的每个值进行加权。
24.根据权利要求20所述的设备，其中，N与M的比值是非整数。
25.一种存储指令的非暂时性计算机可读介质，所述指令在由设备的处理器执行时使得所述设备执行包括以下各项的操作：
26.根据权利要求25所述的非暂时性计算机可读介质，其中，所述指令还使得所述设备执行包括以下各项的操作：
27.根据权利要求25所述的非暂时性计算机可读介质，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来基于对应的第一颜色图案中的第二多个值来确定所述第二颜色图案中的第一多个值：基于所述第二多个值中的一个值的强度和所述第二多...
【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，其中，所述第一缩放水平、所述第二缩放水平和所述第三缩放水平对应于顺序整数缩放水平。
4.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来基于对应的第一颜色图案中的第二多个值来确定所述第二颜色图案中的第一多个值：基于所述第二多个值中的一个值的强度和所述第二多个值中的所述一个值到所述第一多个值中的对应一个值的距离来对所述第二多个值中的每个值进行加权。
5.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换和对所述第二图像数据进行重拼接以生成所述输出图像帧能够是在一个或多个缩放水平处执行的，
6.根据权利要求1所述的方法，其中，确定所述第二图像数据包括：确定以第二颜色图案组织的第二图像数据，所述第二颜色图案具有与四彩色滤光器阵列(qcfa)图案相对应的2乘2大小。
7.根据权利要求6所述的方法，其中，对所述第二图像数据进行重拼接以生成所述输出图像帧是由固定功能电路来执行的，所述固定功能电路被配置用于将qcfa图案重拼接为拜耳颜色图案。
8.根据权利要求1所述的方法，其中，m与n的比值是非整数。
9.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来将所述第一颜色图案顺序地变换为较小的颜色图案：
10.根据权利要求1所述的方法，其中，对所述第一图像数据进行变换以形成第二图像数据和对所述第二图像数据进行重拼接以生成输出图像帧是在图像传感器中执行的，所述图像传感器被配置为将所述输出图像帧输出到图像信号处理器。
11.一种设备，包括：
12.根据权利要求11所述的设备，其中，所述指令还使得所述设备执行包括以下各项的操作：
13.根据权利要求12所述的设备，其中，所述第一缩放水平、所述第二缩放水平和所述第三缩放水平对应于顺序整数缩放水平。
14.根据权利要求11所述的设备，其中，对所述第一图像数据进行变换以形成第二图像数据包括通过以下操作来基于对应的第一颜色图案中的第二多个值来确定所述第二颜色图案中的第一多个值：基于所述第二多个值中的一个值的强度和所述第二多个值中的所述一个值到所述第一多个值中的对应一个值的距离来对所述第二多个值中的每个值进行加权。
15.根据权利要求11所述的设备，其中，n与m的比值是非整数。
16.根据权利要求11所述的设备，其中，确定所述第二图像数据包括：确定以第二颜色图案组织...
【专利技术属性】
技术研发人员：J·王，SC·庄，江晓云，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。