计算传感器制造技术

本发明专利技术公开了用于控制所收集图像数据的特性的系统和方法。所述系统和方法包括：使用GPU来执行图像的预处理；基于所述预处理来配置光学器件，所述配置被设计成考虑到所述经预处理的图像的特征；使用所述经配置的光学器件来获取图像；使用GPU来处理所述已获取图像；以及确定所述经处理的已获取图像是否考虑到所述经预处理的图像的特征，并且如果所述确定是肯定的，则输出所述图像，其中如果所述确定是否定的，则重复所述光学器件的所述配置并且重新获取所述图像。

Computational Sensor

The invention discloses a system and method for controlling the characteristics of the collected image data. The system and method include: using GPU to perform image preprocessing; configuring optical devices based on the preprocessing, which is designed to take into account the characteristics of the preprocessed image; using the configured optical devices to obtain images; using GPU to process the acquired images; and determining whether the processed acquired images take into account the described features. The characteristics of the preprocessed image and if the determination is positive, the image is output, where if the determination is negative, the configuration of the optical device is repeated and the image is retrieved.

【技术实现步骤摘要】
计算传感器背景对原始传感器数据的早期处理使得能够为计算机视觉应用程序(检测、跟踪等)更精确(噪声更低)地处理图像数据、或更有效地管理图像数据。但是，需要实现的是：对捕获数据的有效处理效率和使用高级算法；以及通过精密控制曝光动态，即使在有限的良构像素/传感器的情况下也捕获具有高动态范围的数据。附图简述可以从结合附图以举例方式给出的以下描述中获得更详细的了解，在附图中：图1示出系统框图，所述系统框图示出可在其中实现本专利技术的一个或多个特征的示例性系统；图2是可在其中实现本公开的一个或多个特征的示例性设备的框图；图3是图2的设备的框图，其示出附加细节；图4示出从图1的对象散发的光场的图；图5示出图1的焦平面元件的进一步细节；图6示出图5的像素阵列的附加细节；图7示出控制图6的预处理以便通过选择性合并来选择感兴趣区(ROI)的实例；图8示出控制图6的预处理以便通过选择性合并来选择ROI的另一个实例；图9示出通过GPU使用抽取来控制预处理的实例；图10A-10D示出通过GPU使用滤波来控制预处理的实例；图11示出使用感兴趣区(ROI)来控制预处理的实例；图12示出通过GPU使用裁剪来控制预处理的实例；图13示出表示用于提供光圈控制的对微光学器件的GPU控制的示例性系统；图14示出表示提供光圈控制的光学器件的示例性系统；图15示出表示提供光圈控制的光学器件的示例性系统；图16示出表示微光学器件的示例性系统，所述微光学器件提供局部光调制以处理HDR来实现色调映射的下游管理；图17示出表示微光学器件的示例性系统，所述微光学器件在光学器件的增益在视场上并不恒定的条件下提供噪声管理控制；以及图18示出在图1的系统内执行的用于控制所收集图像数据的特性的方法。详述描述了将处理元件的网格与通常存在于图像传感器中的焦平面元件的阵列集成。具体地说，每个焦平面元件可以被视为处理元件的“局部元件”并且被相应地调度和管理。这提供了对捕获数据的更早访问以及对焦平面元件的更精密控制。图1示出系统框图，所述系统框图示出可在其中实现本专利技术的一个或多个特征的示例性系统10。系统10用于对至少一个对象20进行成像，并且包括至少一个光路机构30、一个或多个焦平面元件40和多个GPU50。为了清楚起见，系统10被描绘为使用单个光路机构30、单个焦平面元件40和一个GPU50对单个对象20进行成像，但是应当理解，可以利用任何数量的对象20、光路机构30、焦平面元件40和GPU50中的任一项。至少一个对象20是能够通过光学系统或系统10观看的任何对象。对象20能够从其反射许多光线，这将在下文中描述。至少一个光路机构30包括与包括在系统(诸如系统10)中的光线束的任何交互。所述至少一个光路机构30包括但不限于：光学元件、反向数字微镜设备(DMD)元件、纳米机电系统(NEMS)结构、微机电系统(MEMS)结构、碳纳米管、以及按多个GPU50的控制来操纵光的其他设备。以下包括关于光路机构30的附加细节。一个或多个焦平面元件40包括任何数量的焦平面阵列或传感器，其包括图像系统中的检测器和其他焦点元件。以下包括关于焦平面元件40的附加细节。多个GPU50包括用于处理像素级数据且/或控制焦平面元件和/或光路机构的任何处理设备和/或计算资源。多个GPU50用于集成光路机构处的处理能力，以便在焦平面元件40进行捕获之前预处理光束。例如，多个GPU50中的每个处理元件(如以下将描述的)能被分配来控制在光场内发现的特定光束(如以下将描述的)。可选地，多个GPU50用于与通常存在于图像传感器中的焦平面元件40的阵列集成，以使得每个焦平面元件40能够被视为多个GPU50中的处理元件的局部元件以便被相应地调度和管理。以下包括关于多个GPU50的附加细节。图2是可在其中实现本公开的一个或多个特征的示例性设备100的框图。设备100可以包括例如计算机、游戏设备、手持式设备、机顶盒、电视、移动电话或平板计算机。设备100包括处理器102、存储器104、存储设备106、一个或多个输入设备108和一个或多个输出设备110。设备100还可任选地包括输入驱动器112和输出驱动器114。应理解的是，设备100可包括图2中未展示的附加部件。在各种替代方案中，处理器102包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一晶粒上的CPU和GPU，或一个或多个处理器核心，其中每个处理器核心可以是CPU或GPU。在各种替代方案中，存储器104与处理器102位于同一晶粒上，或与处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(RAM)、动态RAM或高速缓存。存储设备106包括固定存储设备或可移除存储设备，例如硬盘驱动器、固态驱动器、光盘或闪存驱动器。输入设备108包括但不限于键盘、小键盘、触摸屏、触摸板、检测器、麦克风、加速度计、陀螺仪、生物识别扫描器或网络连接(例如，用于发射和/或接收无线IEEE802信号的无线局域网卡)。输出设备110包括但不限于显示器、扬声器、打印机、触觉反馈设备、一个或多个灯、天线或网络连接(例如，用于发射和/或接收无线IEEE802信号的无线局域网卡)。输入驱动器112与处理器102和输入设备108通信，并且容许处理器102接收来自输入设备108的输入。输出驱动器114与处理器102和输出设备110通信，并且容许处理器102向输出设备110发送输出。应注意的是，输入驱动器112和输出驱动器114为任选部件，并且在输入驱动器112和输出驱动器114不存在的情况下，设备100将以相同方式操作。输出驱动器116包括联接到显示设备118的加速处理设备(APD)116。APD被配置来：从处理器102接受计算命令和图形呈现命令，处理这些计算命令和图形呈现命令，并且向显示设备118提供像素输出以用于显示。如以下更详细描述的，APD116包括被配置来根据单指令多数据(SIMD)范例执行计算的一个或多个并行处理单元。因此，尽管各种功能在本文中被描述为由APD116执行或结合APD116执行，但是在各种替代方案中，被描述为由APD116执行的功能另外或可选地由具有类似能力的其他计算设备执行，所述计算设备不是由主机处理器(例如，处理器102)驱动的并且被配置来向显示设备118提供图形输出。例如，可以设想的是，根据SIMD范例执行处理任务的任何处理系统能被配置来执行本文描述的功能。可选地，可以设想的是，未根据SIMD范例执行处理任务的计算系统执行本文描述的功能。图3是设备100的框图，其示出与在APD116上执行处理任务相关的附加细节。处理器102在系统存储器104中维持用于供处理器102执行的一个或多个控制逻辑模块。控制逻辑模块包括操作系统120、内核模式驱动程序122和应用程序126。这些控制逻辑模块控制处理器102和APD116的操作的各种特征。例如，操作系统120与硬件直接通信，并且为在处理器102上执行的其他软件提供到硬件的接口。例如，内核模式驱动程序122通过例如向在处理器102上执行的软件(例如，应用程序126)提供应用程序编程接口(“API”)以访问APD116的各种功能来控制APD116的操作。内核模式驱动程序122还包括实时编译器本文档来自技高网...

【技术保护点】
1.一种用于控制所收集图像数据的特性的方法，所述方法包括：使用图形处理单元(GPU)来执行图像的预处理；基于所述预处理来配置光学器件，其中所述配置考虑到所述经预处理的图像的至少一个特征；使用所述经配置的光学器件来获取图像；使用所述GPU来处理所述已获取图像；确定所述经处理的已获取图像是否考虑到所述经预处理的图像的所述至少一个特征；当所述确定是肯定的时，输出所述已获取图像；以及当所述确定是否定的时，重复所述光学器件的所述配置并且重新获取所述图像。

【技术特征摘要】
1.一种用于控制所收集图像数据的特性的方法，所述方法包括：使用图形处理单元(GPU)来执行图像的预处理；基于所述预处理来配置光学器件，其中所述配置考虑到所述经预处理的图像的至少一个特征；使用所述经配置的光学器件来获取图像；使用所述GPU来处理所述已获取图像；确定所述经处理的已获取图像是否考虑到所述经预处理的图像的所述至少一个特征；当所述确定是肯定的时，输出所述已获取图像；以及当所述确定是否定的时，重复所述光学器件的所述配置并且重新获取所述图像。2.如权利要求1所述的方法，其中所述预处理包括拍摄至少一个图像。3.如权利要求2所述的方法，其中所述一个图像是子图像。4.如权利要求1所述的方法，其中配置光学器件包括更改微光学器件以控制传感器处的输出。5.如权利要求1所述的方法，其中所述特征是高动态范围(HDR)。6.如权利要求1所述的方法，其中所述特征是多景深(DOF)捕获。7.如权利要求1所述的方法，其中所述特征是用于光束的快门机构。8.如权利要求7所述的方法，其中所述光束对应于焦平面中的区域。9.如权利要求1所述的方法，其中所述特征是光圈控制。10.如权利要求1所述的方法，其中所述特征允许裁剪所述图像以减小数据收集资源。11.如权利要求10所述的方法，其中所述资源包括存储设备、带宽或处理能力...

【专利技术属性】
技术研发人员：艾伦·H·拉什，周汇，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：美国,US