基于积分图的特征查找和遍历的硬件特征框制造技术

本发明专利技术公开基于积分图的特征查找和遍历的硬件特征框,其包括一个特征提取框和位于特征提取框上、下、右方的三个缓冲区，所述特征提取框中，除最上方X行、最下方X行、最右方Y列外，每个寄存器在上、下方向上与距离该寄存器为X的寄存器相连，在右方向上与距离该寄存器为Y的寄存器相连，上缓冲区中的每个寄存器与下方特征提取框中距离该寄存器为X的寄存器相连，下缓冲区中的每个寄存器与上方特征提取框中距离该寄存器为X的寄存器相连，右缓冲区中的每个寄存器和左方特征提取框中距离该寄存器为Y的寄存器相连，X为行步进，Y为列步进。采用本发明专利技术所述方案能有效减少硬件资源，并且对于分辨率越高的图像，越能有效地减少所需资源。

Hardware feature box for feature finding and traversal based on integral graph

The invention discloses a hardware based feature search and traversal of integral image frame, which comprises a frame and feature extraction in the three buffer frame, feature extraction, feature extraction on the right, the box, in addition to the above X, the bottom of the X line, the rightmost column Y, each register in up and down direction and distance of the register X register is connected with the distance of the register Y register in the right direction, and the characteristics of each register below the buffer extraction box from the register is connected to the X registers, each register with above features in the buffer extraction the box from the register connected to X registers, each register and left in the buffer to extract features of the right box from the register is connected to the Y register, X for step Y for the column step. The embodiment of the invention can effectively reduce hardware resources, and more effectively reduce the required resources for an image with higher resolution.

【技术实现步骤摘要】

本专利技术涉及图像特征查找
，具体涉及用于特征查找与遍历，占用资源较 小的硬件特征框。
技术介绍
随着对人机交互需求的增加，人们对人机交互系统提出了越来越高的要求。其中 一个非常重要的指标就是系统的分辨率。但人机交互其固有特点是数据处理量大，并且实 时性要求高。这就是阻碍其走向高分辨率系统应用的一大瓶颈。人机交互领域用到了大量的模式识别方法。但两者最大的不同在于——模式识别 给定一幅图(如大小为20*20)，再去识别这幅图是否所需要找的目标(如人脸)；而人机交互 给定一幅图(如大小为640*480)，再去识别这幅图中的什么位置上是否有所需要找的目标 (如大小为20*20的人脸)。因此，与模式识别相比，人机交互多出了一个在整幅图像遍历查 找的过程。对特定目标(如人脸)进行查找需要用到特征。特征一般由多个像素点作和组成， 并且不同的特征其所包含的像素点数不同。因此计算每个特征需要的运算数量和运算时间 也是不同的，这不利于硬件的实现。所以现在一般均采用基于积分图计算特征的方法。积 分图中每一个点的值为其左上所有点的灰度值之和。因此在计算每一个特征时，仅仅需要 用其4个端点的积分值进行2次加法运算和1次减法运算即可。这样既降低了运算复杂度 又保证了每次的运算时间。人机交互因其数据处理量大，并且实时性要求高的特点成为其应用于通用处理的 一大瓶颈。最近几年，世界各地也开始了 一些把人机交互处理做到FPGA或ASIC上的尝试。 考虑到运算复杂度、运算速度、功耗等因素，现今主流的做法均采用基于积分图的特征查找 和遍历。其中，有3种典型的方法。第一种方法，把整幅图像的积分图存储到寄存器(寄存 器)中。第二种方法，把积分图按行或者按列存储到RAM中。第三种方法，在RAM与寄存器之 间加入特定数量的行buffer (如图像为640*480，检测目标的大小为20*20，则加入(20+步 进)个长度为640的行buffer)，数据先从RAM到buffer，再最后到达寄存器(参见Proposed FPGA Hardware Architecture for High Frame Rate OlOOfps) Face Detection UsingFeature Cascade Classifiers - Hung-Chih Lai, Marios Savvides, Tsuhan ChenDepartment of Electrical and Computer Engineering Carnegie Mellon University ；FPGA-Based Face Detection System Using Haar Classifiers - Junguk Cho,Shahnam Mirzaei, Jason Oberg, Ryan Kastner Department of Computer Science and Engineering University of California)。不管采用以上的哪一种设计，在实际应用当中都会存在制约。第一种方法，其所需 用到的寄存器数目很多，只能用于整幅图像比较小的情况。第二种方法，提取特征的速度太 慢将拖慢整个系统的速度。方法三虽然对前面两种方法进行了折中处理，但却额外消耗了 很多的buffer资源。现阶段基于积分图的特征查找和遍历最大的难点在于怎么用尽可能少的硬件资源进行尽可能快的特征提取。
技术实现思路
本专利技术的目的在于克服现有技术存在的上述不足，提供基于积分图的特征查找和 遍历的硬件特征框。本专利技术可以很好地在提取速度和硬件资源上取得折中，具体技术方案 如下。基于积分图的特征查找和遍历的硬件特征框，包括一个特征提取框和位于特征 提取框上、下、右方的三个缓冲区，所述特征提取框由一个行X列为MXN的用于存储积分 图数据的寄存器阵列组成，M为大于2的自然数，N为大于1的自然数；在所述特征提取框 中，除最上方X行、最下方X行、最右方Y列外，每个寄存器在上、下方向上与距离该寄存器 为X的寄存器相连，在右方向上与距离该寄存器为Y的寄存器相连，X为行步进，X取值为小 于M/2的自然数，Y为列步进，Y取值为小于N的自然数；所述上、下缓冲区均由行X列为 XXN的用于存储积分图数据的寄存器阵列组成；右缓冲区由行X列为MXY的存储积分图 数据的寄存器阵列组成；所述上缓冲区中的每个寄存器与下方特征提取框中距离该寄存器 为X的寄存器相连，所述下缓冲区中的每个寄存器与上方特征提取框中距离该寄存器为X 的寄存器相连，右缓冲区中的每个寄存器和左方特征提取框中距离该寄存器为Y的寄存器 相连。上述的硬件特征框中，所述特征提取框为MXN的用于存储积分图数据的多输入 寄存器阵列；所述上、下缓冲区为XXN的用于存储积分图数据的单输入多输出移位寄存器 阵列；所述右缓冲区为MXY的用于存储积分图数据的单输入多输出移位寄存器阵列。本专利技术通过上述的硬件特征框的上移、下移和右移3种基本操作即可以使特征提 取框遍历完全整幅图。所述遍历包括一次以上重复由多次下移操作、一次右移操作、多次上 移操作和一次的右移操作组成的流程后完成对整副图像的遍历。所述下移操作为所述特征提取框中除最上方X行的寄存器外，每个寄存器将所 存储的数据写进其上方距离为行步进X的寄存器中，并且所述下缓冲区中的寄存器将所存 储的数据写进与其连接的特征提取框中的寄存器中。所述右移操作为所述特征提取框中除最左方Y列的寄存器外，每个寄存器将所 存储的数据写进其左方距离为列步进Y的寄存器中，并且所述右缓冲区中的寄存器将所存 储的数据写进与其连接的特征提取框中的寄存器中。所述上移操作为所述特征提取框中除最下方X行的寄存器外，每个寄存器将所 存储的数据写进其下方距离为行步进X的寄存器中，并且所述上缓冲区中的寄存器将所存 储的数据写进与其连接的特征提取框中的寄存器中。相对于现有技术，本专利技术具有如下优点(1)应用于较高分辨率图像时，所需要的硬件资源很少。以图像为640*480，检测目标 的大小为20*20，步进为2作为说明。采用本专利技术所用的方案需要520个(20*20+3*2*20) 寄存器。如果采用整个积分图存储的方案需要307200个(640*480)寄存器。如果采用添 加buffer的方案需要400个(20*20)寄存器和22个深度为640的block RAM。由此可以 看出，采用本专利技术所述方案能有效减少硬件资源，并且对于分辨率越高的图像，越能有效地 减少所需资源。(2)在有效减少硬件资源的同时，不会对处理速度有大的影响。本专利技术在每一次基 本操作之后会根据状态机的情况迅速定出下一次所需的基本操作。在特征提取框中进行提 取的同时，把数据写入相应的缓冲区中(每次仅有一个缓冲区在工作——写入数据)。由于 这两者是同时进行的，并且大部分情况下，步进比较小，特征提取的用时会长于数据写入， 这样并不会带来额外的延时。而步进较大并且特征提取很快结束这样的情况相对很少，这 种情况下，虽然会带来一定的延时，但相比起资源的节省这也是完全可以接受的。附图说明图1是本专利技术的基于积分图的特征查找和遍历的硬件特征框的结构框图，图中 reg表示寄存器。图2是硬件特征框的上移操作本文档来自技高网...

【技术保护点】
１．基于积分图的特征查找和遍历的硬件特征框，其特征在于包括一个特征提取框和位于特征提取框上、下、右方的三个缓冲区，所述特征提取框由一个行×列为Ｍ×Ｎ的用于存储积分图数据的寄存器阵列组成，Ｍ为大于２的自然数，Ｎ为大于１的自然数；在所述特征提取框中，除最上方Ｘ行、最下方Ｘ行、最右方Ｙ列外，每个寄存器在上、下方向上与距离该寄存器为Ｘ的寄存器相连，在右方向上与距离该寄存器为Ｙ的寄存器相连，Ｘ为行步进，Ｘ取值为小于Ｍ／２的自然数，Ｙ为列步进，Ｙ取值为小于Ｎ的自然数；所述上、下缓冲区均由行×列为Ｘ×Ｎ的用于存储积分图数据的寄存器阵列组成；右缓冲区由行×列为Ｍ×Ｙ的用于存储积分图数据的寄存器阵列组成；所述上缓冲区中的每个寄存器与下方特征提取框中距离该寄存器为Ｘ的寄存器相连，所述下缓冲区中的每个寄存器与上方特征提取框中距离该寄存器为Ｘ的寄存器相连，右缓冲区中的每个寄存器和左方特征提取框中距离该寄存器为Ｙ的寄存器相连。

【技术特征摘要】

【专利技术属性】
技术研发人员：姜小波，周德祥，李芳苑，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：81