图像处理设备制造技术

本发明专利技术题为“图像处理设备”。本发明专利技术涉及一种图像处理设备，该图像处理设备确定用于计算输出图像像素的顺序，该顺序最大化地重复使用本地存储器中的数据以用于计算所有相关的输出图像像素。因此，重复使用同一数据集，直到不再需要它为止。浏览输出图像像素位置，以确定可用输入数据施加的顺序的像素值，而不是输出图像中由像素位置施加的顺序的像素值。因此，使本地存储器所需的存储量以及从包含输入图像的存储器读取的输入图像读取请求和数据的数量最小化。

【技术实现步骤摘要】
图像处理设备
本专利技术涉及用于对输入图像的执行组合采样和旋转的图像处理设备。
技术介绍
现在参考图1，如PCT申请WO2017/032468(参考：FN-469-PCT)中所公开的，存在许多应用，其中可能期望处理模块(无论是基于软件还是基于硬件)接收固定大小的图像。例如，神经网络可能需要在像素(宽度和高度)具有固定尺寸的矩形图像上运行，以及可能在给定取向上并且位于图像中心的对象上运行。原始图像可能无法满足这些约束条件，因为对象可能与相机之间的距离不同，并且对象可以相对于相机旋转。在图1所示的示例中，期望重新采样和旋转引擎10，以产生具有4×6像素的W×H尺寸的固定大小的图像12，用于后续处理。如果将输出图像12叠加在输入图像14上，其中包括对象的感兴趣区域(ROI)的分辨率比输出图像所需的分辨率高，在这种情况下为10:4，并且角度为α，则可以看出需要对多个输入图像像素进行插值以产生每个输出像素值。因此，例如，对于输入图像ROI与输出图像的比率为2:1并使用双线性插值，需要16个输入图像像素才能产生单个输出像素值。因此，取决于ROI和输出图像12的相对大小以及所使用的插值的类型，在多个输出像素的计算中可以涉及至少一些输入像素。本专利技术的一个目的是提供改善的硬件解决方案，用于对输入图像进行重新采样(上采样或下采样)并且在后续处理之前对其进行旋转。
技术实现思路
根据本专利技术，提供了一种根据权利要求1所述的图像处理设备。本专利技术的实施方案确定用于计算输出图像像素的顺序，该顺序最大化地重复使用本地存储器中的数据以用于计算所有相关的输出图像像素。因此，将重复使用同一数据集，直到不再需要它为止。浏览输出图像像素位置，以确定可用输入数据施加的顺序的像素值，而不是输出图像中由像素位置施加的顺序的像素值。因此，使本地存储器所需的存储量以及从包含输入图像的存储器读取的输入图像读取请求和数据的数量最小化。实施方案从突发中的输入图像读取有限数量的条带，该条带覆盖输入图像的所需宽度，而不仅是像素周围的区域。效率的增加来自使用相同的数据集(条带)来计算适合条带之间的所有输出图像像素，即使这些输出图像像素不是相邻像素也是如此。从存储器读取必要的输入图像数据的任务(在时间上)可能与输出图像像素值的计算重叠，因此与顺序执行相比，系统可以以更快的数据速率执行。本专利技术的实施方案既可以用于分数下采样标度[1…2)，也可以用于分数上采样标度[0.5…1)。在下采样的情况下，例如可以使用标度[1…512]进行附加的整数下采样。附图说明现在将参考附图以举例的方式来描述本专利技术的实施方案，在附图中：图1示出了重新采样和旋转引擎的功能，其中将输入图像内的感兴趣区域(ROI)转换为具有固定尺寸的输出图像；图2示出了根据本专利技术的实施方案的包括重新采样和旋转引擎的系统；图3示出了在本专利技术的实施方案中采用的用于输出图像的索引方案；图4示出了本专利技术的实施方案的下采样示例中的输出图像像素处理的顺序；图5示出了本专利技术的实施方案的上采样示例中的输出图像像素处理的顺序；图6是由图2的重新采样和旋转引擎采用的有限状态机的状态表，以确定用于计算输出图像的像素值的顺序；图7示出了图6的表的状态过渡；图8示出了从当前输出图像像素的向上和向下导航；并且图9示出了本专利技术的实施方案的另一个下采样示例中的输出图像像素处理的顺序。具体实施方式现在参考图2，示出了根据本专利技术实施方案的包括归一化模块70的系统100，该归一化模块包括采样和旋转引擎76。如PCT申请WO2017/032468(参考：FN-469-PCT)中所述，将包含感兴趣区域(ROI)的输入图像40-1存储在主存储器40中。输入图像40-1内的ROI可使用例如脸部检测模块60在图像之间检测和跟踪，并且指示图像40-1内任何此类ROI的位置的元数据可以与图像或存储器40的任何其他合适的部分一起存储，其中数据可由其他图像处理模块检索。在该实施方案中，归一化模块70内的采样模块72横跨系统总线30从主存储器40读取界定ROI的输入图像的至少一部分，同时对输入图像进行整数采样以在本地存储器中提供中间输入图像74。如在PCT申请WO2017/032468(参考：FN-469-PCT)中那样，采样模块72可以采用平均或最近邻采样。在该实施方案中，中间输入图像74内的ROI在标准化ROI78所需的标度的[0.5...2)的标度之内。应当理解，在例示的实施方案的变型中，输入图像40-1可以被预先缩放，以使得ROI在[0.5…2)归一化ROI78所需的标度的范围内，并且因此可以不需要采样模块72。此类实施方案不仅有利于使采样和旋转引擎76所需的本地缓冲器的大小最小化，而且还有利于使归一化模块70横跨系统总线30对主存储器40的访问最小化。无论如何，采样和旋转引擎76采样并且旋转中间输入图像74，以提供包括归一化ROI78的所需输出图像。该输出图像78可在归一化模块70内进一步处理，以基于归一化ROI78生成各种标测图，诸如梯度直方图(HOG)的标测图、统计图或归一化ROI78的一个或多个卷积，并且这些图中的任一个连同归一化ROI78都可以返回到主存储器40并且存储40-2，以通过专用硬件模块诸如模块80或由在通用CPU(未示出)上运行的应用进行后续处理。本说明书基于输入图像74从上到下存储，并且采样和旋转模块76从上到下以条带读取输入图像74，以产生具有与输入图像40-1中的ROI对应固定尺寸的输出图像78。因此，在该上下文中，顶部和底部以及左侧和右侧的表达应理解为相对术语，并且实际上，如果需要，可以翻转所有描述的处理。条带是按比例缩放的中间图像帧/平面中的矩形(水平)形状，由图像74的一个或多个连续行构成。条带中的行数量是从中间输入图像74到输出图像78的缩放程度的函数。术语“标度”定义为中间图像74中的ROI与输出图像78之间的比率。在实施方案中，在采用采样模块72的情况下，标度将是在[0.5…2)范围内的任何实数。Scaleint定义为标度的整数部分；并且Scalefract为分数标度，同样具有[0.5…2)的范围，并且从以下公式推导：标度＝Scaleint*Scalefract。每个条带中输入图像的行数量等于整数采样标度Scaleint。因此，按比例缩小2，每个条带包含2行，而按比例缩小2以下和0.5以上，每个条带包含1行。列数量是Scaleint的倍数。条带水平延伸以覆盖所有用于确定输出图像中至少一个像素值的输入像素。应当理解，在不采用采样模块72的情况下，标度可以是任何数字。然而，这将增加每个条带的行数量，并且因此增加采样和旋转模块76所需的本地缓冲器的大小。采样和旋转模块76采用FIFO本地缓冲器，该FIFO本地缓冲器能够存储来自中间输入图像74的两条信息stripe_idx和(s本文档来自技高网...

【技术保护点】
1.一种用于在输入图像内对感兴趣区域ROI进行取样和旋转以提供固定尺寸的输出图像的图像处理设备，所述ROI具有相对于所述输入图像的所述轴线的非正交倾角并且具有相对于所述输出图像的所述尺寸的标度，所述设备被配置为：/n从存储在第一存储器中的所述输入图像依次读取像素值的条带到所述图像处理设备本地的存储器中，每个条带对应于在所述输入图像中横跨所述感兴趣区域延伸的区域，每个条带包括用于所述输入图像的行数量的像素值，所述数量与所述标度成比例，所述本地存储器包括比所述第一存储器少的存储空间，并且能够存储来自所述输入图像的像素值的有限条带集；/n对于所述本地存储器中的给定条带集，通过以下步骤来处理所述条带集：/n确定所述输出图像中对应于所述ROI的边界与所述本地存储器中的所述条带提供的所述输入图像区域相交的位置的初始像素位置；/n浏览来自所述初始像素位置的横跨输出图像像素位置的至少一条路径，以将每个输出图像像素位置定位在本地存储器中由所述条带提供的所述输入图像的所述区域内，所述浏览包括测试与浏览的输出图像像素位置相邻的至少一些输出图像像素位置是否位于由所述本地存储器中的所述条带提供的所述输入图像区域之外，以确定用于所述浏览的后续路径；以及/n对于位于本地存储器中由所述条带提供的所述输入图像的所述区域内的每个输出图像像素位置：/n通过在围绕所述输出图像像素位置的所述本地存储器中对来自所述输入图像的多个像素值进行插值来计算所述输出图像像素位置的像素值；以及/n将所述像素值写入存储器以存储所述输出图像；以及/n响应于完成对所述本地存储器中的给定条带集的浏览，在重复对连续条带集的所述处理之前，直到已经计算出所述输出图像的所有像素位置为止，用随后的输入图像信息条带替换所述条带集内的输入图像信息图像的条带。/n...

【技术特征摘要】
20181105 US 16/180,9251.一种用于在输入图像内对感兴趣区域ROI进行取样和旋转以提供固定尺寸的输出图像的图像处理设备，所述ROI具有相对于所述输入图像的所述轴线的非正交倾角并且具有相对于所述输出图像的所述尺寸的标度，所述设备被配置为：
从存储在第一存储器中的所述输入图像依次读取像素值的条带到所述图像处理设备本地的存储器中，每个条带对应于在所述输入图像中横跨所述感兴趣区域延伸的区域，每个条带包括用于所述输入图像的行数量的像素值，所述数量与所述标度成比例，所述本地存储器包括比所述第一存储器少的存储空间，并且能够存储来自所述输入图像的像素值的有限条带集；
对于所述本地存储器中的给定条带集，通过以下步骤来处理所述条带集：
确定所述输出图像中对应于所述ROI的边界与所述本地存储器中的所述条带提供的所述输入图像区域相交的位置的初始像素位置；
浏览来自所述初始像素位置的横跨输出图像像素位置的至少一条路径，以将每个输出图像像素位置定位在本地存储器中由所述条带提供的所述输入图像的所述区域内，所述浏览包括测试与浏览的输出图像像素位置相邻的至少一些输出图像像素位置是否位于由所述本地存储器中的所述条带提供的所述输入图像区域之外，以确定用于所述浏览的后续路径；以及
对于位于本地存储器中由所述条带提供的所述输入图像的所述区域内的每个输出图像像素位置：
通过在围绕所述输出图像像素位置的所述本地存储器中对来自所述输入图像的多个像素值进行插值来计算所述输出图像像素位置的像素值；以及
将所述像素值写入存储器以存储所述输出图像；以及
响应于完成对所述本地存储器中的给定条带集的浏览，在重复对连续条带集的所述处理之前，直到已经计算出所述输出图像的所有像素位置为止，...

【专利技术属性】
技术研发人员：D·尼库拉，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰;IE