并行计算机视觉和图像缩放架构制造技术

本发明专利技术的实施方案涉及包括在图像信号处理器中的视觉管道的架构。该架构包括前端部分，该前端部分包括产生更新的亮度图像数据的一对图像信号流水线。视觉管道架构的后端部分从前端部分接收更新的亮度图像，并对更新的亮度图像数据并行地执行缩放和各种计算机视觉操作。后端部分可以对连续缩放的亮度图像重复执行计算机视觉操作的该并行操作，以生成金字塔图像。

Parallel Computer Vision and Image Scaling Architecture

The embodiment of the present invention relates to the architecture of a visual pipeline included in an image signal processor. The architecture includes a front-end part, which includes a pair of image signal pipelines to generate updated brightness image data. The rear part of the visual pipeline architecture receives the updated brightness image from the front part, and performs scaling and various computer vision operations on the updated brightness image data in parallel. The back end part can repeat the parallel operation of computer vision for continuously scaled brightness images to generate pyramid images.

【技术实现步骤摘要】
【国外来华专利技术】并行计算机视觉和图像缩放架构
技术介绍
由图像传感器捕获的图像数据或从其他数据源接收的图像数据通常在进一步处理或消耗之前在图像处理流水线中处理。例如，在提供给诸如视频编码器的后续部件之前，可校正、过滤或以其他方式修改原始图像数据。为了对捕获的图像数据执行校正或增强，可采用各种部件、单元级或模块。可构造这样的图像处理流水线，使得能够以有利的方式执行对捕获的图像数据的校正或增强，而不消耗其他系统资源。虽然可通过在中央处理单元(CPU)上执行软件程序来执行许多图像处理算法，但是在CPU上执行这些程序将消耗CPU和其他外围资源的大量带宽以及增加功耗。因此，图像处理流水线通常被实现为与CPU分离的硬件部件，并且专用于执行一个或多个图像处理算法。当处理更传统的图像信号处理算法时，传统的用于处理更复杂的图像信号处理算法的图像信号处理流水线结构常常牺牲性能。可向体系结构添加附加的硬件部件来提高性能，但是会导致更大的设备大小。然而，附加的硬件部件占用大量CPU带宽、增加功耗并增加设备大小。
技术实现思路
本专利技术实施方案涉及包括在图像信号处理器中的视觉管道的架构，其中调整大小操作和计算机视觉操作并行执行。所述本文档来自技高网...

【技术保护点】
1.一种图像信号处理器，包括：接口电路，所述接口电路被配置为接收图像；前端电路部分，所述前端电路部分被配置为：经由所述接口电路接收所述图像并基于所接收的图像生成当前亮度图像，以及生成更新的亮度图像，所述更新的亮度图像为所述当前亮度图像的调整大小的版本；和后端电路部分，所述后端电路部分耦接到所述前端电路的输出部，所述后端电路包括：缩放器电路，所述缩放器电路被配置为在第一时间段期间生成缩放亮度图像，所述缩放亮度图像为所述更新的亮度图像的调整大小的版本，所述缩放器电路被进一步配置为在所述第一时间段之后的第二时间段期间通过调整所述缩放亮度图像的大小来生成更新的缩放亮度图像，和计算机视觉电路，所述计算机...

【技术特征摘要】
【国外来华专利技术】2016.06.30 US 15/198,9071.一种图像信号处理器，包括：接口电路，所述接口电路被配置为接收图像；前端电路部分，所述前端电路部分被配置为：经由所述接口电路接收所述图像并基于所接收的图像生成当前亮度图像，以及生成更新的亮度图像，所述更新的亮度图像为所述当前亮度图像的调整大小的版本；和后端电路部分，所述后端电路部分耦接到所述前端电路的输出部，所述后端电路包括：缩放器电路，所述缩放器电路被配置为在第一时间段期间生成缩放亮度图像，所述缩放亮度图像为所述更新的亮度图像的调整大小的版本，所述缩放器电路被进一步配置为在所述第一时间段之后的第二时间段期间通过调整所述缩放亮度图像的大小来生成更新的缩放亮度图像，和计算机视觉电路，所述计算机视觉电路被配置为在所述第一时间段期间对所述缩放亮度图像执行计算机视觉操作并在所述第二时间段期间对所述更新的缩放亮度图像执行所述计算机视觉操作。2.根据权利要求1所述的图像信号处理器，其中所述缩放器电路被进一步配置为在所述第二时间段之后的第三时间段期间调整所述更新的缩放亮度图像的大小。3.根据权利要求2所述的图像信号处理器，所述计算机视觉电路被配置为在所述第三时间段期间对所述更新的缩放亮度图像执行所述计算机视觉操作。4.根据权利要求1所述的图像信号处理器，其中所述计算机视觉电路包括耦接到所述缩放器电路的方向梯度直方图(HOG)电路，所述HOG电路被配置为：在所述第一时间段期间生成所述更新的亮度图像的第一HOG数据，以及在所述第二时间段期间生成所述缩放亮度图像的第二HOG数据。5.根据权利要求4所述的图像信号处理器，其中所述计算机视觉电路还包括耦接到所述HOG电路的卷积电路，所述卷积电路被配置为在所述第一时间段期间对所述第一HOG数据执行卷积操作，并在所述第二时间段期间对所述第二HOG数据执行所述卷积操作。6.根据权利要求1所述的图像信号处理器，其中所述计算机视觉电路还包括耦接到所述前端电路的所述输出部的卷积电路，所述卷积电路被配置为接收所述更新的亮度图像，并在所述第一时间段期间对所述更新的亮度图像数据执行卷积操作。7.根据权利要求1所述的图像信号处理器，其中所述计算机视觉电路还包括关键点检测电路，所述关键点检测电路被耦接以：在所述第一时间段期间检测所述更新的亮度图像内的一个或多个图像位置，所述更新的亮度图像内所检测到的一个或多个图像位置包括用于匹配另一图像中的位置的候选位置；以及在所述第二时间段期间检测所述缩放亮度图像内的一个或多个图像位置，所述缩放亮度图像内的所检测到的一个或多个图像位置包括用于匹配所述另一图像中的位置的候选位置。8.根据权利要求1所述的图像信号处理器，其中所述前端电路部分包括一对图像信号流水线以生成所述更新的亮度图像，所述图像信号流水线中的每一者被配置为处理所接收的图像的一部分以生成所述更新的亮度图像的一部分。9.根据权利要求8所述的图像信号处理器，其中所述图像信号流水线中的每一者还包括被配置为将来自所述接口电路的图像数据转换成颜色校正亮度数据的预处理器。10.根据权利要求8所述的图像信号处理器，其中所述图像信号流水线中的每一者包括缩...

【专利技术属性】
技术研发人员：林石焕，D·A·西尔弗斯坦，D·R·波普，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US