用于将图像基元部署至计算构造的图像流管线控制器制造技术

根据一些实施例，图像管线控制器可以确定具有要被执行的多个图像基元的图像流。每个图像基元可以例如与图像算法和基元属性集相关联。然后，图像管线控制器可以至少部分地基于基元属性将图像基元集自动地部署至图像计算构造。

Image flow line controller for deploying an image primitive to a computing construct

According to some embodiments, the image line controller may determine an image stream having a plurality of image primitives to be executed. Each image primitive can be associated with an image algorithm and a primitive property set, for example. The image line controller may then automatically deploy the image base set to the image computing structure based at least in part on the base element property.

【技术实现步骤摘要】
用于将图像基元部署至计算构造的图像流管线控制器
技术介绍
许多设备包括一个或多个图像传感器和/或图像显示器，并且图像处理单元可以促进来自传感器的、被提供至显示器的、和/或以其它方式由运行在设备上的应用所利用的数据的处理。例如，智能电话可以包括多个不同的摄像机和触摸屏。图像处理单元可以包括具有多个不同的组件以处理图像信息的图像计算构造（fabric）。在一些情况下，图像处理单元可以基于输入图像数据（例如，从智能电话的摄像机接收到的）来执行一系列图像基元（primitive）以创建输出图像数据（例如，要被发送至触摸屏的）。图像基元例如可以与图像基元库相关联，并且可以包括例如传感器基元、校准基元、光学基元等。通常，结合图像处理单元而执行的应用确定将由图像计算构造的各种组件执行哪些图像基元。例如，应用可以确定将由固定功能硬件执行过滤器基元。然而，此类方法会具有若干缺点。例如，应用可能未觉察到另一应用也在尝试使用相同的固定功能硬件。因而，应用可能“停止（stall）”或者需要等待直到固定功能硬件变为空闲，并且系统的性能可能降级。此外，图像基元的大量数目和相对复杂性（以及它们可以结合不同的图像执行构造的不同组件来不同地操作的事实）可能导致大量的软件开发成本并抑制应用软件开发者（他们可能被促使创建针对每个新平台的定制软件）的创新。附图说明图1是设备的框图。图2是成像处理单元的框图。图3是根据一些实施例的成像处理单元的框图。图4是图示根据一些实施例的方法的流程图。图5图示根据一些实施例的卷积（convolution）图像基元的基元属性。图6是根据一些实施例的具有基元属性数据库或其它数据结构的成像处理单元的框图。图7是根据一些实施例的具有初始化组件和定序器组件的成像处理单元的框图。图8是根据一些实施例的处理多个图像流的成像处理单元的框图。图9是根据一些实施例的提供固定功能硬件的软件代理仿真的成像处理单元的框图。图10A至10C图示根据一些实施例的图像流中的区段。图11是根据一些实施例的用于区段属性定义的图形用户界面的示例。图12是图示根据一些实施例的与图像流区段相关联的方法的流程图。图13是根据一些实施例的包括图像计算构造和软件架构特性的总体视图。具体实施方式图1是可以包括例如一个或多个图像传感器110和/或图像显示器120的设备100的框图。传感器110可以包括例如摄像机、视频摄像机、深度传感器、和/或立体图像传感器。显示器120可以包括例如触摸屏、高分辨率显示器、和/或三维图像。图像处理单元130可以促进来自传感器110的、被提供至显示器120的、和/或以其它方式由运行在设备100上的应用所利用的数据的处理。注意，设备100可以进一步包括一个或多个补充接口140，诸如数字显示接口（例如，要被耦合至数字电视或计算机监视器）、无线天线、或者通用串行总线（USB）接口。注意，设备可以与例如智能电话、平板计算机、移动计算设备、移动电话、台式计算机、膝上型计算机、游戏系统、机顶盒、或者电视相关联。图1中所图示的设备100可以经由任何通信网络交换信息，所述通信网络可以是以下中的一个或多个：局域网（“LAN”）、城域网（“MAN”）、广域网（“WAN”）、专有网络、公共交换电话网络（“PSTN”）、无线应用协议（“WAP”）网络、蓝牙网络、无线LAN网络、和/或网际协议（“IP”）网络，诸如因特网、内联网、外联网。注意，本文所描述的任何设备可以经由一个或多个此类通信网络进行通信。本文所讨论的所有的系统和过程可以采用存储在一个或多个非临时计算机可读介质上的程序代码来体现。此类介质可以包括例如固态随机存取存储器（“RAM”）或者只读存储器（“ROM”）存储单元。因此，实施例不限于硬件和软件的任何特定组合。图2是可以被用于图1的显示设备中的成像处理单元200的框图。图像处理单元200包括可以处理图像信息的图像计算构造210。图像计算构造210可以包括例如固定功能硬件图像处理单元212、单指令多数据（SIMD）图像执行单元214、超长指令字（VLIW）处理单元216、和/或通用处理单元218。图像处理单元200可以基于输入图像数据（例如，从智能电话的摄像机接收到的）来执行一系列图像基元220以创建输出图像数据（例如，要被发送至触摸屏的）。图像基元220可以与存储在图像基元数据库260中的图像基元库相关联，并且可以包括例如传感器基元、校准基元、光学基元、发光基元、深度基元、分段基元、色彩基元、过滤器基元、和/或三维深度基元。在图像信息的流上执行的图像基元集200可以表示被应用用来处理图像数据的资源集。例如，成像应用可以需要小的图像基元集200来提供处理以实现特定的高级算法，诸如面部识别、手势识别等。也就是说，图像基元220可以一起被用来处理图像数据并完成更高级的目标。图像基元220可以表示用于更大算法的构建块，并且可以是必须被管理并且使得可用于多个同时的成像和视觉计算应用的资源。图像基元集220可以与许多不同类型的图像算法相关联，诸如与像素校正、伪迹（artifact）去除、直方图信息、扫描功能、面部识别、视觉对象识别、视觉场面分析、机器视觉、手势识别、和/或深度图计算相关联的那些。此外，仅以示例的方式，不同类型的图像基元220可以与摄像机传感器格式处理（Bayer红绿蓝（RGB）、AptinaTMRGB、KodakTMRGBW等）、摄像机传感器尺寸（1080p等）、摄像机传感器帧速率、校准（自动白平衡、自动快门、自动聚焦等）、死像素检测和校正、发光控制、光学控制、三维深度传感器控制（结构光、立体三角测量等）、色彩转换（RGB、YUV、HIV等）、查找表（LUT）处理和值替换、布尔运算、将图像分段成各种组件部分（前景、背景、对象等）、过滤器（锐化、模糊、中间等）、边缘检测（Sobel、Roberts、Prewitt等）、点运算（像素数学等）、和/或域处理（傅里叶、HAAR、Karhunen-Loeve、斜变换等）。通常，结合图像处理单元200而执行的应用确定将由图像计算构造210的各种组件212、214、216、218执行哪些图像基元220。例如，应用可以确定将由固定功能硬件212执行过滤器基元。然而，此类方式会具有若干缺点。例如，应用可能未觉察到另一应用也在尝试使用固定功能硬件212。因而，应用可以“停止”或者需要等待直到固定功能硬件变为空闲，从而系统的性能可能降级。此外，图像基元220的大量数目和相对复杂性（以及它们可以结合不同的图像执行构造210的不同组件来不同地操作的事实）可能导致大量的软件开发成本并抑制应用软件开发者（他们可能被促使创建针对每个新平台的定制软件）的创新。因此，本文提供的实施例可以提供图像基元到计算构造的改进的部署。特别地，图3是根据一些实施例的成像处理单元300的框图。如前面那样，图像处理单元300包括可以处理图像信息的图像计算构造310。图像计算构造310可以包括例如固定功能硬件图像处理单元312、SIMD图像执行单元314、VLIW处理单元316、和/或通用处理单元318。图像处理单元300可以基于输入图像数据（例如，从智能电话的摄像机接收到的）来执行一系列图像基元320以创建输出图像数据（例如，本文档来自技高网...

【技术保护点】
一种用于部署图像基元的方法，包括：使用运行时框架生成被分组为图像区段的多个图像基元，其中至少一个所述图像基元用于创建输出图像数据；其中至少一个图像基元与图像基元库相关联，所述图像基元是以下中的至少一个：（i）直方图基元，（ii）标度基元；或（iii）机器视觉基元；以及由所述运行时框架将所述多个图像基元部署到硬件以供执行。

【技术特征摘要】
1.一种用于部署图像基元的方法，包括：使用运行时框架生成被分组为图像区段的多个图像基元，其中至少一个所述图像基元用于创建输出图像数据；其中至少一个图像基元与图像基元库相关联，所述图像基元是以下中的至少一个：（i）直方图基元，（ii）标度基元；或（iii）机器视觉基元；以及由所述运行时框架将所述多个图像基元部署到硬件以供执行。2.根据权利要求1所述的方法，其中针对有序地执行或无序地执行中的至少一个来对图像区段进行分组。3.根据权利要求1所述的方法，其中图像区段在所述运行时框架中被分组以用于有序地执行和无序地执行，其中第一运行时框架有序地执行，并且第二运行时框架无序地执行。4.根据权利要求1所述的方法，其中所述输出图像数据被输出到显示器。5.根据权利要求1所述的方法，其中所述图像基元基于从图像传感器接收的输入图像输入生成输出图像数据。6.根据权利要求1所述的方法，其中所述运行时框架的生成由电池电源供电。7.根据权利要求1所述的方法，其中所述运行时框架包括以下中的至少一个：（i）硬件运行时框架，（ii）软件运行时框架，或（iii）硬件和软件运行时框架组件的组合。8.根据权利要求1所述的方法，其中部署与多个图像区段相关联的图像基元。9.根据权利要求1所述的方法，其中，所述区段中的至少一个由操作系统执行，并且关于所述区段的信息与应用编程接口相关联。10.根据权利要求1所述的方法，进一步包括用于执行的硬件，其包括芯片上系统、计算构造、处理单元或固定功能硬件图像处理单元中的至少一项。11.根据权利要求1所述的方法，进一步包括：针对运行时框架中的有序图像基元执行而执行定序算法以对图像区段内的图像基元进行排序。12.根据权利要求1所述的方法，其中所述图像基元包括原始次序，并且所述执行针对运行时框架中的无序图像基元执行而对图像基元的至少一些采用不同于所述原始次序的次序被执行。13.根据权利要求1所述的方法，其中所述输出图像数据由所述图像基元在数据的任何读取者对其进行访问之前产生。14.根据权利要求1所述的方法，其中至少一个图像区段包括以下项中的至少一个：...

【专利技术属性】
技术研发人员：S克里，S泰勒，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US