图像处理系统技术方案

本发明专利技术公开了一种包括模板匹配引擎(TME)的图像处理系统。所述TME从存储器读取图像；并且当正在读取所述图像的每个像素时，作为所述像素值的函数来计算多个特征图的相应特征值。预滤器响应于当前像素位置包括要应用于所述图像内的窗口的有限检测器级联内的节点以便：将来自多个特征图中的选定特征图的对应于所述像素位置的特征值与阈值进行比较；并且响应于要应用于所述窗口的有限检测器级联内的所有节点的像素已经被读取，确定所述窗口的分数。分类器响应于所述预滤器指示窗口的分数低于窗口阈值，在指示所述窗口不包括待检测对象之前，不向所述窗口应用较长的检测器级联。

【技术实现步骤摘要】
【国外来华专利技术】图像处理系统
本专利技术涉及图像处理系统。
技术介绍
图像和图像流内的特征检测正在成为图像采集和处理装置中越来越重要的功能。例如，如在欧洲专利No.EP2052347(参考号：FN-143)中所述的面部检测和跟踪是图像处理中的特征检测的公知示例。这些技术使得正被成像的场景内的一个或多个面部区域能够被轻易描绘并且允许基于该信息进行后续图像处理。此类后续图像处理可以包括：尝试识别正被成像的个体的面部鉴别，例如，用于标记或认证目的；通过将所检测和/或选择的面部区域对好焦距的自动聚焦；或对面部区域的缺陷检测和/或校正。现在参考图1，示出了用于识别图像或图像部分内的特征的常规类型的模板匹配引擎(TME)10的框图。TME的处理步骤是：1.将检测器级联从系统存储器(未示出)跨系统总线加载到检测器缓冲器12中。检测器级联包括应用于图像内的窗口以确定该窗口是否包含待检测对象的一系列级的信息。检测器级联(以下更详细地说明其使用)可以被布置成由分类器22应用于从图像提取的一个或多个不同形式的特征。除了图像强度(Y)值本身外，检测器级联还可以采用的特征的示例包括：通常由HAAR分类器采用的积分图像或II2图像、梯度直方图(HoG)、统计图或线性二进制模式(LBP)。在PCT申请No.PCT/EP2015/073058(参考号：FN-398)和2015年9月30日提交的美国申请No.62/235,065(参考号：FN-0471)中公开了用于产生HoG图的方法的细节，并且在2015年8月26日提交的美国专利申请No.62/210,243(参考号：FN-469)中公开了用于提供图像内的感兴趣区域的多个特征图的技术。2.将输入图像或图像部分的强度平面信息(例如，亮度通道)从系统存储器跨系统总线加载到Y高速缓存14中。(如果需要，也可以使用其他图像平面。)；3.利用滑动窗口以不同比例对Y高速缓存中的图像进行扫描，每一次采用一个比例，如下所述：a.重采样器模块16将输入图像重采样为期望的比例(通常处理开始于图像的最下采样版本以检测最大特征)。b.在重采样器16后采用的窗口大小通常是固定的，并且取决于应用和具体实施，可以是22×22、32×32或32×64像素。(因此，在给定图像内检测的对象的大小取决于在应用检测器级联之前的图像下采样的程度。)c.相邻窗口之间的滑动窗口步长通常为1个或2个像素。4.对于滑动窗口的每个像素位置，由特征计算器18计算特征图(通道)的对应位置的值，诸如以上提到的那些。需注意，特征计算器可以考虑到连续窗口重叠的事实，因此它不会重新计算已经针对一个图像计算的特征图值。5.可以使来自特征计算器18的特征图值在特征缓冲器20中缓冲。6.分类器22将来自检测器缓冲器12的检测器级联应用于特征缓冲器20中的当前窗口的特征图以确定窗口特征是否匹配感兴趣对象(例如，面部)。在分类器22内，通常逐级地应用检测器级联，从而为窗口建立分数。完整的检测器级联可以具有任何数量的级，例如，多达4096级是常见的最大长度。(需注意，大多数窗口在几个检测器级后会失败。例如，在使用良好训练的分类器的情况下，在12级后，95％的窗口测试失败。)7.然后，可以针对图像中的下一个窗口从头开始重复上述过程的步骤2至6。如在PCT申请No.PCT/EP2015/073058(参考号：FN-398)中公开的，特征计算模块18可以在每个时钟周期为新窗口提供所需的特征缓冲器20。分类器22通常在每个时钟周期处理一个检测器级联级，并且通常只有在每个新窗口开始时处理流水线被填充后才会发生这种情况—这可能再次涉及多个时钟周期。因此，将会看到，在处理一个窗口时，分类器22需要在其(使用由向上箭头连接元件22至14指示的背压机构)之前停止整个流水线。因此，分类器22是该过程的瓶颈，因为检测器级联级必须按顺序应用。
技术实现思路
根据本专利技术，提供了一种如权利要求1所述的用于处理图像的系统。在实施方案中，预滤器模块被添加到模板匹配引擎(TME)以便通过加速处理来改善性能。预滤器具有以下作用和功能：1.预滤器在读取图像时应用有限数量的检测器级，以利用尽可能少的级来拒绝大部分窗口。在一个实施方案中，预滤器包括足够的级以拒绝95％的窗口，使其随后无需在全检测器级联内被分析。2.预滤器可以在每个时钟周期处理一个窗口，这意味着它可以处理窗口，而不会在图像处理流水线中造成背压。3.只有预滤器的第一有限数量的级指示不应拒绝某个窗口，预滤器才将会向分类器指示其应当应用全检测器级联。例如，如果使用12级的预滤器，TME可以被加速到高达20倍的数量级，因为预滤器可以在每个时钟周期处理一个窗口，而示例性分类器将需要20个时钟周期来应用检测器的相同前12级(8个周期流水线延迟+12级的12个周期)。在第二方面，提供了如权利要求12所述的图像处理系统。根据该方面，分类器被训练成使每个决策基于单独的特征图，这样可以在单个时钟周期内读取特征，并且可以在单个时钟周期内执行每一级。在第三方面，提供了如权利要求18所述的图像处理系统。在该方面，可编程控制器允许多个减小的级检测器在窗口上运行，之后决定它们的进展，然后确定哪些(如果有的话)较长的级检测器应当被应用于窗口。附图说明现在将参考附图以举例的方式来描述本专利技术的各种实施方案，在附图中：图1示出了常规的TME模块；图2示出了根据本专利技术第一实施方案的包括预滤器的TME模块；图3示出了在本专利技术的实施方案内采用的特征图、窗口、检测器节点和级；图4示出了在图2的示例性预滤器内采用的RTC检测器级联的第一级的处理；图5示出了在图2的示例性预滤器内采用的RTC检测器级联级内采用的数据；图6更详细地示出了图2的预滤器的架构；图7示出了在根据本专利技术的实施方案的预滤器内的FIFO存储器内收集的检测器级数据；图8示出了来自正被处理的帧的连续窗口的像素；并且图9示出了根据本专利技术的第二实施方案的包括可编程分类器的模板匹配引擎。具体实施方式现在参考图2，示出了根据本专利技术第一实施方案的包括预滤器24的TME10’。图2的其余元件的功能基本上如针对图1的TME所说明的，除非另有说明。一般来说，处理流程如下所述：1)检测器缓冲器12接收用于预滤器24和分类器22两者的检测器级联配置。2)特征计算模块18如先前那样逐像素地接收图像。3)预滤器24立刻接收其要应用于图像的每个窗口的分类器级的配置信息(节点位置、通道信息、阈值)。典型地，由预滤器应用的检测器级的数量为约10至20个，并且在所示示例中是12级。4)预滤器24以光栅顺序接收来自特征缓冲器20的所有特征图。5)分类器模块22还接收来自特征缓冲器20的特征图以及来自预滤器24的初始决策，该初始决策发信号通知分类器22应对哪些候选窗口进行完全分类。6)分类器22仅将其检测器应用于来自预滤器24的未拒绝窗口，并且通过系统总线将其关于图像的哪些窗口包含已检测对象的最终决策提供给其他模块。因此，在TME10’中，预滤器24的任务是在窗口由分类器22分析之前拒绝尽可能多的窗口。在从系统总线读取窗口信息时，预滤器24即时执行其任务，而运行分类器22可能需要更多的时钟周期—例如，由分类器22应用的全检测器级联可能具有多达4000个级或更多。在本文档来自技高网...

【技术保护点】
1.一种图像处理系统，包括可操作地连接到存储图像信息的存储器的模板匹配引擎(TME)，所述TME被配置成：使用光栅扫描从所述存储器读取图像的至少一部分；以及当正在读取所述图像部分的每个像素时，作为所述像素值的函数来计算多个特征图的相应特征值；所述TME还包括：预滤器，所述预滤器响应于当前像素位置包括要应用于图像的所述部分内的窗口的有限检测器级联内的节点以便：将来自所述多个特征图中的选定特征图的对应于所述像素位置的特征值与阈值进行比较；以及响应于要应用于所述窗口的有限检测器级联内的所有节点的像素已经被读取，基于所述特征值与所述节点的所述阈值的所述比较来确定所述窗口的分数；和分类器，所述分类器响应于所述预滤器指示窗口的分数低于窗口阈值，在指示所述窗口不包括待检测对象之前，不向所述窗口应用较长的检测器级联。

【技术特征摘要】
【国外来华专利技术】2015.12.23 US 62/387,2471.一种图像处理系统，包括可操作地连接到存储图像信息的存储器的模板匹配引擎(TME)，所述TME被配置成：使用光栅扫描从所述存储器读取图像的至少一部分；以及当正在读取所述图像部分的每个像素时，作为所述像素值的函数来计算多个特征图的相应特征值；所述TME还包括：预滤器，所述预滤器响应于当前像素位置包括要应用于图像的所述部分内的窗口的有限检测器级联内的节点以便：将来自所述多个特征图中的选定特征图的对应于所述像素位置的特征值与阈值进行比较；以及响应于要应用于所述窗口的有限检测器级联内的所有节点的像素已经被读取，基于所述特征值与所述节点的所述阈值的所述比较来确定所述窗口的分数；和分类器，所述分类器响应于所述预滤器指示窗口的分数低于窗口阈值，在指示所述窗口不包括待检测对象之前，不向所述窗口应用较长的检测器级联。2.根据权利要求1所述的图像处理系统，其中所述TME被布置成在计算所述特征值之前对所述图像进行亚采样。3.根据权利要求1所述的图像处理系统，其中所述TME被布置成从所述存储器同时读取多个像素，每个像素对应于窗口序列内的给定相对像素位置，所述预滤器响应于所述给定相对像素位置对应于要应用于所述窗口序列的有限检测器级联内的节点，同时将来自所述多个特征图中的选定特征图的对应于所述给定相对像素位置的相应特征值与阈值进行比较；并且响应于要应用于所述窗口序列的所述有限检测器级联内的所有节点的像素已经被读取，基于所述特征值与所述节点的所述阈值的所述比较来确定所述窗口序列的相应分数。4.根据权利要求3所述的图像处理系统，其中所述TME被布置成同时读取4个或8个像素。5.根据权利要求1所述的图像处理系统，其中所述预滤器被配置成拒绝约95％的窗口，从而使其无需随后由所述分类器利用所述较长检测器级联来进行分析。6.根据权利要求1所述的图像处理系统，其中所述分类器被配置成将多个检测器级联应用于未被所述预滤器拒绝的任何窗口。7.根据权利要求6所述的图像处理系统，其中所述分类器被配置成一次将所述多个检测器级联连续地应用于一个窗口。8.根据权利要求1所述的图像处理系统，其中所述分类器被布置成同时将给定检测器级联应用于窗口序列。9.根据权利要求1所述的图像处理系统，其中所述节点包括多级随机树分类器(RTC)的连续级内的节点。10.根据权利要求9所述的图像处理系统，其中所述RTC包括12级，每级包括3节点决策树。11.根据权利要求1所述的图像处理设备，其中所述TME进一步被布置成基于像素值来提供多个以下特征图的值：强度图像；积分图像(II)；II2图；统计图；LBP(线性二进制模式)图；和HOG(梯度直方图)图。12.一种图像处理系统，包括可操作地连接到存储图像信息的存储器的模板匹配引擎(TME)，所述TME被配置成：使用光栅扫描从所述存储器读取图像的至少一部分；以及当正在读取所述图像部分的每个像素时，作为所述像素值的函数来计算至少三个特征图的相应特征值；所述TME包括：分类器，所述分类器被布置成将至少一个检测器级联应用于图像的一部分内的窗口以便指示所述窗口是否包括待检测对象，所述至少一个检测器级联中的一个检测器级联包括多级随机树分类器(RTC)，每级包括具有对应于所述窗口内的相应像素位置的至少三个节点的决策树，所述分类器被布置成将来自所述多个特征图中的选定特征图的对应于像素位置的特征值与所述检测器级联的每个所述节点的阈值进行比较，其中所述检测器级联的训练受到限制，使得一级的每个节点的选定特征图各不相同，所述分类器被布置成从所述特征图中同时读取一级的每个节点的特征值，并且同时将每个所述特征图值与相应的阈值进行比较以确定一级的分数，并且所述分类器被布置成将窗口在每级后的累积分数与级阈值进行比较以确定是否继续所述检测器级联的下一级。13.根据权利要求12所述的图像处理系统，其中所述TME被布置成从所述存储器同时读取多个像素，每个像素对应于窗口序列内的给定相对像素位置，所述分类器被布置成同时将来自所述检测器级联的给定级应用于每个所述窗口序列。14.根据权利要求12所述的图像处理系统，其中所述TME被布置成在计算所述特征值之前对所述图像进行亚采样。15.根据权利要求12所述的图像处理系统，其中所述TME被布置成从所述存储器同时读取多个像素，每个像素对应于窗口序列内的给定相对像素位置，所述预滤器响应于所...

【专利技术属性】
技术研发人员：N·尼克阿拉，C·拉凯拉，C·扎哈里亚，S·弗洛普，O·艾奥维塔，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰,IE