一种图像处理系统，其包括：至少两个互补的角度敏感像素（ASP）结构，其能响应光输入而产生空间频率域ASP输出，所述空间频率域ASP输出包括背景输出和多个ASP响应输出；ASP响应输出减法器组件，其能抑制背景输出，并对至少两个ASP响应输出结果进行减法处理；以及处理组件，其能对经减法处理的空间频率域ASP响应输出进行处理。一种光域图像处理方法包括以下步骤：提供至少两个互补的角度敏感像素（ASP）结构；获得响应光输入的空间频率域ASP输出，所述输出包括多个互补的ASP响应输出；在数字域内进行任何操作前，在光域内对ASP响应输出进行类小波变换；以及获得所述光输入所需的输出。
【技术实现步骤摘要】
【国外来华专利技术】基于角度敏感像素(ASP)的图像处理系统、处理方法和应用交叉引用相关专利串请本专利申请要求申请日为2010年8月3日申请号为61/370，193的美国临时申请，和申请日为2011年6月21日申请号为61/499，372的美国临时申请的优先权，其整体引用并入本文。
技术介绍
1.专利
本专利技术的实施方式主要涉及图像处理领域。更具体地说，本专利技术的实施方式涉及基于使用和不使用透镜的角度敏感像素(ASP)设备的图像处理系统、处理方法和应用。所述的实施系统、方法和应用，使用由ASP装置所提供的可测的光场强度和方向角。本专利技术的实施方式还与使用像素-尺度衍射光学元件进行芯片图像处理相关，该处理过程无需电源，其进一步包括但不限于:基于ASP的集成CMOS微型照相机成像设备，与所述设备实施方式相关的成像方法，及其相关应用。2.相关
的讨论视觉系统的图像编码视觉系统分数个步骤捕捉和处理信息，始于使用透镜将外部的光聚焦到传感器的均匀阵列上。远场成像时，所述的方法就是用透镜将光的入射角转换至二维空间位置。然后传感器(脊椎动物眼睛的视杆细胞和视锥细胞，典型电子图像传感器的光电二极管)将所述局部光强度转换成电流或电压。所述的脊椎动物的视觉系统中，视网膜局部处理视觉信息，提高空间对比度，并将每个局部视觉信息重新编码为至少12个平行通道。所述的每个通道选择性响应于场景内的某些特征，如不同空间尺度的边缘和定向运动。所述的这些不同信号被视神经编码为离散尖峰，传递至大脑。在视觉皮层中，通过对边缘方向和空间尺度相关的信息进行编码处理，使信号的差异性进一步增大。因而，自然的视觉处理过程包括针对特定的视觉结构将视觉世界重新编码处理为更加多样化的通道组。现代图像和视频捕捉系统越来越多地使用了类似的方法。大型的光传感器阵列已司空见惯，而以单纯的位图形式存储或传输此类信息就很少见。更常见的是在捕捉图像和数字化处理后进行即时压缩(通常会造成图像失真)。此外，虽然大多数图像和视频经捕捉和编码后看起来很自然，但为特定的任务(如传送符号语言)而捕捉和压缩图像及视频通常也有意义。这种情况下，即使传输的信息构成的图像不足以重构“看起来”感觉自然的场景，但任务相关信息也能被解读。此外，所述的图像信息可能完全不会被自然人解读，而是由机器提取某些特定的信息片段，如导航光流、目标跟踪、文本提取、或面部和指纹识别，来直接解读信息。如上所述的所有情况，从简单压缩，到特定的任务提取，及机器视觉，处理的关键步骤之一是对视觉场景的一组异构特征进行重新编码。不足为奇的是，所述的多个特征与脊椎动物视觉系统中对各通道的响应有惊人的相似之处，尤其是对Vi神经元的响应。大多数现代图像处理以几个标准的数学工具为基础，例如傅立叶变换和Gabor滤波器。在自然场景中使用所述工具时，这些变换的输出接近零，使得场景中大部分信息在其余输出中被重新编码:即其输出是稀疏的。此外，非零输出结果的格式比原始像素更容易解读。因此，一旦对图像信息进行了上述转换，此后的图像处理就变得更有效。然而，为应用如上所述的技术，必须首先将场景中的光线聚焦到图像传感器中，转换、缓冲、数字化，并在数字域中进行变换(过滤)。即使后续处理非常有效，数字化和过滤将消耗大量电能。因此，视觉信息一般无法从严格控制功率的平台，如无线传感器节点收集。压缩和解读图像和视频最常用的滤波器之一是Gabor滤波器(有时被称为Gabor小波)。Gabor滤波器，通过高斯型包络视窗化，基本进行局部低位阶二维傅立叶变换。空间位置(X，Y)的二维脉冲响应计算方程式如下:G(x,y) = txp -—- Cosfay + ^ + α (I) 、2σ- ) \ σ J通过变换周期(^/77歹)、方向(ta^1 (ba))、相位(α)和整体空间尺度(σ)，就能衍生出不同的Gabor滤波器(如附图说明图1所示)。大多数a和b数值下，滤波基本为零。因此，当用自然图像进行卷积时，这些滤波器在亮度均匀的区域(如图1a中的天空和男士的衣服)的输出为零，即滤波器在稀疏区域产生输出。例如，图1a中使用的滤波器仅在空间尺度约为10像素的水平特征区域产生明显的输出。本例中，男士的眼睛、下巴和手指符合这一标准，而大多数其它区域不符合 所述的标准，所产生的输出为零。为捕捉场景中其它特征，可以通过改变各种参数使用其它滤波器(如图1 (b-e)所示)。为确保保存场景的所有信息，必须使用足量不同的滤波器以覆盖输入的值域。这就要求滤波器的输出至少与被分析原图的像素相同。所述情况的一个示例是基于图块的滤波器，其中图像被分割成数个图块进行分析。然后利用一组不同方向、相位和周期的不同滤波器过滤其中 的每个图块。如果滤波器选择适当，过滤结果与对该图块进行二维傅立叶变换处理的结果相似。如此说来，每个图块必须接受与图块像素同样多的不同滤波器加以处理，且所述的变换是可逆的，即未丢失任何信息。然而，如图1a所示，所述的大部分输出将接近零。将这些输出取整为零，并进行有效编码，能使得在不产生明显的信息减损时，充分压缩场景。图块级别变换后的取整是大多数有损压缩算法的基础(如JPEG)。如果使用多个空间尺度的滤波器(如图1e所示),如小波变换，图像稀疏度可能更大。虽然同量的输入和独立的输出能确保结果可逆，但输出多于输入(超完整)时能实际得到更有效的图像再现。例如，超完整的Gabor滤波器基组已被证明比正交基组能产生更稀疏的输出。现已开发出多种方法寻找最佳稀疏比，其中最常用的方法是“基追踪”算法，该算法可以最小化输入和输出的均方误差(即L2模误差)，以及输出绝对值的总和(LI模输出)。除简单的图像压缩外，Gabor滤波器和二维傅立叶变换是各种高阶视觉分析的基础，如目标识别和分割、运动检测和纹理鉴定。所述的许多功能使用基于图块的变换，包括多尺度Gabor滤波器(如图1e所示)，能进行“尺度不变性”的变换，转而实现各种有效的目标和纹理识别技术。所述的许多分析不需要完整、可逆的滤波器组。例如，超完整滤波器组能包括精确匹配的性能输出，减少后续处理。同样地，如果为特定的视觉任务进行调整，不完整滤波器组足以完成所述任务。例如，即使图1a中的滤波器不能重构整个场景，也足以检测和定位水平边缘(如地平线)。角度敏感像素(ASP)专利技术人近期展示了一类新的像素尺度光传感器，其能捕捉检测到光强度和入射角分布信息(参见国际专利申请，申请号:W0/2012/044943，其全部内容通过整体引用并入本申请)。所述的角度敏感像素(ASPs)按图2所示方式进行实施。光电二极管被一组层叠的金属衍射光栅所覆盖。上光栅的入射光会在光栅下方一定深度产生周期性衍射图案(“自成像”，如图2a所示)，这种效应被称为塔尔博特效应。某个特定塔尔博特距离的自成像强度最大，其距离是光栅间距(d)平方的整数倍除以光波长(λ):zT = d2 λ(2)ASP的衍射光被投射到等间距的第二“分析栅”，该分析栅被设置在塔尔博特的深度之处，h=n.ζτ。自成像横向移动以响应入射角的变化,分析栅根据自成像峰和分析栅的相对位置阻断光或允许光通过(如图2b所示)。当自成像峰与光栅间隙对齐时，光能通过；当峰与金属丝对齐时，光被阻断。用所述光栅下方的光电二极管测量通过光栅的光。本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2010.08.03 US 61/370,193;2011.06.21 US 61/499,3721.一种图像处理系统，其包括: 至少两个互补的角度敏感像素(ASP)结构，其能响应光输入而产生空间频率域ASP输出，所述空间频率域ASP输出包括背景输出和多个ASP响应输出； ASP响应输出减法器组件，其能抑制所述背景输出，并对至少两个所述ASP响应输出进行减法处理；以及 处理组件，其能对经减法处理的空间频率域ASP响应输出进行处理。2.根据权利要求1所述的图像处理系统，其中至少部分的所述至少两个ASP的结构为不同的ASP结构，所述不同的ASP结构的周期、方向、相位和空间尺度中至少一种是不同的。3.根据权利要求1所述的图像处理系统，其中所述至少两个ASP结构包括足量能提供可逆ASP信号输出的ASP结构。4.根据权利要求1所述的图像处理系统，其中所述ASP响应输出减法器组件的特征在于对互补偏移(complementary offsets)的至少两个ASP响应输出进行减法处理。5.根据权利要求1所述的图像处理系统，其还包括至少一个透镜元件，所述透镜元件沿轴向设置在所述至少两个ASP结构的输入侧。6.根据权利要求5所述的图像处理系统，其还包括多个透镜元件和多个不同的ASP，所述多个不同的ASP的周期、方向、相位和空间尺度中至少一种是不同的。7.根据权利要求6所述的图像处理系统，其中所述多个透镜元件相同。8.根据权利要求5所述的图像处理系统，其中所述至少一个透镜元件设置于所述ASP结构前的焦距距离以外。9.根据权利要求1所述的图像处理系统，其中所述至少两个ASP结构具有的过滤功能与二维傅里叶变换的基函数相 匹配，并且所述至少两个ASP结构形成傅立叶阵列，从而其能进一步在闻达最闻空间频率的频率_空间内形成完整或超完整基组。10.根据权利要求1所述的图像处理系统，其中所述至少两个ASP结构具有的过滤功能与二维哈特莱变换的基函数相匹配，并且所述至少两个ASP结构形成哈特莱阵列，从而其能进一步在闻达最闻空间频率的频率_空间内形成完整或超完整基组。11.根据权利要求9所述的图像处理系统，所述图像处理系统包含多个傅立叶阵列。12.根据权利要求1所述的图像处理系统，其中所述图像处理系统整体设置在CMOS组件内。13.根据权利要求12所述的图像处理系统，其中所述图像处理系统是照相机。14.一种光域图像处理方...
【专利技术属性】
技术研发人员：A·莫尔纳，A·王，P·吉尔，
申请(专利权)人：康奈尔大学，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。