用于加速对象检测的硬件卷积预过滤制造技术

描述与基于硬件的卷积预过滤以加速对象检测相关的系统、设备、制品和方法。

【技术实现步骤摘要】
【国外来华专利技术】
对象检测具有广泛的应用。例如，面部检测可以被用在人类计算机交互、相册管 理、生物认证、视频监视、自动聚焦成像以及各种其它视觉系统中。人类检测可被用在视频 监视、先进的驾驶员辅助系统等等中。其它对象检测示例包含交通监控、自动化泊车、字符 识别、制造质量控制、对象计数和质量监控。 在一些现有的对象检测系统中，维奥拉-琼斯（Viola - Jones)级联检测框架被 使用。在维奥拉-琼斯级联检测框架中，输入图像用滑动的窗口来扫描以使用级联分类器 探测目标是否存在窗口中。这样的方法在计算上密集。基于软件和硬件的实施方式已经被 提出，然而特别在图像和视频分辨率增加时对于现有的实施方式存在一些限制。在软件实 施方式中，可以可能实现实时的对象检测。在图形处理单元（GPU)实施方式中，这样的方法 可能消耗大多数或所有的计算资源，使得资源不可用于其它任务。其它硬件实施方式，诸如 现场可编程门阵列（FPGA)和数字信号处理器（DSP)实施方式在硬件固定时可能不是可重 构的。 因为对象检测可以被用在这样广泛的应用中，所以使对象检测更高效地执行是可 能所期望的。【附图说明】 在本文中描述的材料在附图中通过示例的方式并且不通过限制的方式来图解。为 了图解的简单和清晰起见，在附图中图解的元件不必按比例绘制。例如，一些元件的大小为 了清晰起见可以相对于其它元件而被放大。进一步，在被认为适当的地方，参考标记已经在 附图当中被重复以指示对应或类似的元件。附图中： 图1是示例对象检测和/或识别系统的说明图； 图2是图解示例对象检测和/或识别过程的流程图； 图3是操作中的示例对象检测和/或识别过程的说明图； 图4是图解进一步示例对象检测和/或识别过程的流程图； 图5是示例对象检测和/或识别系统的说明图； 图6是进一步示例对象检测和/或识别系统的说明图； 图7是不例系统的说明图；以及 图8是示例系统的说明图，所有依据本公开的至少一些实施方式来布置。【具体实施方式】 -个或多个实施例或实施方式现在参考附图来描述。虽然特定配置和布置被讨 论，但是应当理解的是，这样做仅仅为了说明的目的。相关领域中的技术人员将认识到，在 没有脱离本描述的精神和范围的情况下，其它配置和布置可以被采用。对于相关领域中的 技术人员将显而易见的是，在本文中描述的技术和/或布置也可以被采用在除了在本文中 描述的以外的各种其它系统和应用中。 虽然下面的描述阐明可以被表明在诸如例如片上系统（SoC)架构的架构中各种实 施方式，但是在本文中描述的技术和/或布置的实施方式不被约束到特别的架构和/或计 算系统并且可以为了类似的目的被任何架构和/或计算系统实施。例如，采用例如多个集 成电路（1C)芯片和/或封装、和/或各种计算装置和/或消费者电子（CE)装置(诸如机顶 盒、智能电话机）等的各种架构可以实施在本文中描述的技术和/或布置。进一步，虽然下 面描述可以阐明许多特定细节，诸如系统部件的逻辑实施方式、类型和相互关系、逻辑分区 /集成选择等，但是要求保护的主题可以在没有这样的特定细节的情况下被实践。在其它实 例中，为了不使在本文中公开的材料模糊，诸如例如控制结构和全软件指令序列的一些材 料可以不被详细示出。 在本文中公开的材料可以以硬件、固件、软件或其任何组合来实施。在本文中公开 的材料也可以被实施为存储在机器可读介质上的指令，该指令可以被一个或多个处理器读 取和执行。机器可读介质可以包含用于以由机器(例如计算装置)可读的形式来存储或传送 信息的任何介质和/或机构。例如，机器可读介质可以包含只读存储器（ROM);随机存取存 储器（RAM);磁盘存储介质；光学存储介质；闪速存储器装置；传播信号的电的、光学的、声 学的或其它形式(例如载波、红外信号、数字信号等）等等。 在说明书中对"一个实施方式"、"实施方式"、"示例实施方式"等的参考指示所描 述的实施方式可以包含特别特征、结构或特性，但是每个实施方式可以不必包含该特别特 征、结构或特性。而且，这样的短语不必指代相同的实施方式。进一步，在与实施方式结合 来描述特别的特征、结构或特性时，要被认为的是，与无论是否在本文中被明确描述的其它 实施方式结合来实现这样的特征、结构或特性是在本领域技术人员的知识范围内。 与用于加速对象检测的基于硬件的卷积预过滤相关的系统、设备、制品和方法被 描述。 如上面描述的，对象检测具有广泛的应用。然而，对象检测的当前实施方式计算上 密集并且具有限制，诸如不实现实时对象检测和/或识别，从而消耗大部分或所有的可用 计算资源并且是功率密集的。 如下面更详细描述的，基于硬件卷积预过滤可以加速对象检测并且提供更大效 率，使得实时对象检测和/或对象识别可以被获得并且计算资源和功率可以被节省。例如， 输入图像与预先训练的卷积核的卷积可以提供过滤的图像。可以将阈值施加到过滤的图像 以生成包含掩蔽和未掩蔽像素的掩蔽图像。掩蔽像素因为很可能不含关注的对象而可能 被丢弃。对于未掩蔽像素，级联过滤可以被施加，未掩蔽像素可以已经通过卷积和阈值预过 滤。级联过滤可以包含几个顺序的级。个体未掩蔽像素可以去到第一级并且如果它通过该 级，则继续到第二级。如果像素未通过该级，则它可以被丢弃。用这样的方式，通过的像素 可以在顺序的级处被测试。通过所有级的像素可以与区域(对象检测区域）相关，该区域可 以很可能含关注的对象的部分或对象。通常，对象检测区域可以是与通过的像素相关的区 域，使得过程或系统可以在该区域中已经检测到对象或对象的部分。在一些示例中，区域可 以是在通过的像素周围的许多像素(例如32X32像素)，其中通过的像素在区域的中心处。 对象检测区域可以可选地被一起合并和传递用于进一步处理，诸如对象识别处理。 通常，如在本文中讨论的对象检测可以包含在输入图像中检测对象（即关注的类 别的对象）可以在输入图像中的什么地方。例如，在面部检测中，检测可以包含检测面部。 进一步，如在本文中讨论的对象识别可以包含识别特别的对象（即关注的类别的个体)。例 如，在面部识别中，识别可以包含标识哪个人与检测的面部关联。所描述的基于硬件的卷积 预过滤可以提供用于对象检测和/或识别实施方式的快速、可靠和低计算和功率成本的过 程。 图1是对象检测和/或识别的示例系统100的说明图，该示例系统100依据本公开 的至少一些实施方式来布置。如示出的，系统100可以包含经由硬件120实施的卷积模块 122、阈值模块130和级联过滤模块140。在各种实施方式中，系统100可以被配置成执行包 含执行对象检测预过滤的对象检测和/或对象识别。如下面进一步讨论的，系统100可以 经由各种硬件实施方式利用卷积模块122可以经由硬件120来实施的共同性而被采用。通 常，硬件120可以包含专用于或至少部分专用于执行卷积126的硬件或硬件的部分(例如， 数字信号处理器、现场可编程门阵列、图形处理单元、或其它硬件加速器)。在各种实施方式 中，阈值模块130和/或级联过滤模块140可以经由系统100的硬件120或其它部件(诸如 (多个）中央处理单元或图形处理单元）来实施，该其它部件下面被进一步讨论，但是为了清 晰起见不被示出在图1中。 如下面进一步讨论的，系统100也可本文档来自技高网...

【技术保护点】
一种用于对象检测的计算机实施的方法，包括：经由硬件执行输入图像与卷积核的卷积以生成过滤的图像；将阈值施加到过滤的图像以生成具有多个掩蔽像素和多个未掩蔽像素的掩蔽图像；以及将级联过滤施加到掩蔽图像的多个未掩蔽像素的个体像素以确定与通过级联过滤的一个或多个像素相关的一个或多个对象检测区域。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：J李，YT彭，YJ秋，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US