一种用于图像特征查找的遍历方法技术

本发明专利技术公开一种用于图像特征查找的遍历方法，其利用硬件特征框对图像进行遍历，所述硬件特征框包括一个特征提取框和位于特征提取框上、下、右方的三个缓冲区。所述遍历包括一次以上重复由多次下移操作、一次右移操作、多次上移操作和一次的右移操作组成的流程后完成对整副图像的遍历。本发明专利技术在每一次基本操作之后会根据状态机的情况迅速定出下一次所需的基本操作。在特征提取框中进行提取的同时，把数据写入相应的缓冲区中。由于这两者是同时进行的，并且大部分情况下，步进比较小，特征提取的用时会长于数据写入，这样并不会带来额外的延时。采用本发明专利技术所述方案能有效减少硬件资源，并且对于分辨率越高的图像，越能有效地减少所需资源。

An ergodic method for image feature finding

The invention discloses a method for traversing image feature search, the use of hardware features to traverse the image frame, the hardware characteristics of frame includes a frame and feature extraction in the three buffer frame, feature extraction, right. The traversal comprises the steps of repeating more than once repeatedly by a plurality of down operations, a right shift operation, a plurality of upward operations and a right shift operation at a time to complete the traversal of the entire image. After each basic operation, the basic operation of the next operation is quickly determined according to the status of the state machine. In the feature extraction box, the data is extracted and the data is written into the corresponding buffer. Since both of them are simultaneous, and in most cases, the step is relatively small, the feature extraction is used when the data is written, so it does not bring extra delay. The embodiment of the invention can effectively reduce hardware resources, and more effectively reduce the required resources for an image with higher resolution.

【技术实现步骤摘要】

本专利技术涉及图像特征查找
，具体涉及用于图像特征查找的遍历方法。
技术介绍
随着对人机交互需求的增加，人们对人机交互系统提出了越来越高的要求。其中 一个非常重要的指标就是系统的分辨率。但人机交互其固有特点是数据处理量大，并且实 时性要求高。这就是阻碍其走向高分辨率系统应用的一大瓶颈。人机交互领域用到了大量的模式识别方法。但两者最大的不同在于——模式识别 给定一幅图(如大小为20*20)，再去识别这幅图是否所需要找的目标(如人脸)；而人机交互 给定一幅图(如大小为640*480)，再去识别这幅图中的什么位置上是否有所需要找的目标 (如大小为20*20的人脸)。因此，与模式识别相比，人机交互多出了一个在整幅图像遍历查 找的过程。对特定目标(如人脸)进行查找需要用到特征。特征一般由多个像素点作和组成， 并且不同的特征其所包含的像素点数不同。因此计算每个特征需要的运算数量和运算时间 也是不同的，这不利于硬件的实现。所以现在一般均采用基于积分图计算特征的方法。积 分图中每一个点的值为其左上所有点的灰度值之和。因此在计算每一个特征时，仅仅需要 用其4个端点的积分值进行2次加法运算和1次减法运算即可。这样既降低了运算复杂度 又保证了每次的运算时间。人机交互因其数据处理量大，并且实时性要求高的特点成为其应用于通用处理的 一大瓶颈。最近几年，世界各地也开始了 一些把人机交互处理做到FPGA或ASIC上的尝试。 考虑到运算复杂度、运算速度、功耗等因素，现今主流的做法均采用基于积分图的特征查找 和遍历。其中，有3种典型的方法。第一种方法，把整幅图像的积分图存储到寄存器(寄存 器)中。第二种方法，把积分图按行或者按列存储到RAM中。第三种方法，在RAM与寄存器之 间加入特定数量的行buffer (如图像为640*480，检测目标的大小为20*20，则加入(20+步 进)个长度为640的行buffer)，数据先从RAM到buffer，再最后到达寄存器(参见Proposed FPGA Hardware Architecture for High Frame Rate OlOOfps) Face Detection UsingFeature Cascade Classifiers - Hung-Chih Lai, Marios Savvides, Tsuhan ChenDepartment of Electrical and Computer Engineering Carnegie Mellon University ；FPGA-Based Face Detection System Using Haar Classifiers - Junguk Cho,Shahnam Mirzaei, Jason Oberg, Ryan Kastner Department of Computer Science and Engineering University of California)。不管采用以上的哪一种设计，在实际应用当中都会存在制约。第一种方法，其所需 用到的寄存器数目很多，只能用于整幅图像比较小的情况。第二种方法，提取特征的速度太 慢将拖慢整个系统的速度。方法三虽然对前面两种方法进行了折中处理，但却额外消耗了 很多的buffer资源。现阶段基于积分图的特征查找和遍历最大的难点在于怎么用尽可能 少的硬件资源进行尽可能快的特征提取。
技术实现思路
本专利技术的目的在于克服现有技术存在的上述不足，提供一种占用资源小的用于图 像特征查找的遍历方法，能使图像特征查找和遍历在速度和资源这两者上达到很好的折 中，具体技术方案如下。，利用硬件特征框对图像进行遍历，所述硬件 特征框包括一个特征提取框和位于特征提取框上、下、右方的三个缓冲区，所述特征提取框 由一个行X列为MXN的寄存器阵列组成，M为大于2的自然数，N为大于1的自然数；在 所述特征提取框中，除最上方X行、最下方X行、最右方Y列外，每个寄存器在上、下方向上 与距离该寄存器为X的寄存器相连，在右方向上与距离该寄存器为Y的寄存器相连，X为行 步进，X取值为小于M/2的自然数，Y为列步进，Y取值为小于N的自然数；所述上、下缓冲 区均由行X列为XXN的寄存器阵列组成；右缓冲区由行X列为MXY的寄存器阵列组成； 所述上缓冲区中的每个寄存器与下方特征提取框中距离该寄存器为X的寄存器相连，所述 下缓冲区中的每个寄存器与上方特征提取框中距离该寄存器为X的寄存器相连，右缓冲区 中的每个寄存器和左方特征提取框中距离该寄存器为Y的寄存器相连；所述遍历包括一次 以上重复由多次下移操作、一次右移操作、多次上移操作和一次的右移操作组成的流程后 完成对整副图像的遍历。上述的遍历方法中，所述下移操作为所述特征提取框中除最上方X行的寄存器 外，每个寄存器将所存储的数据写进其上方距离为行步进X的寄存器中，并且所述下缓冲 区中的寄存器将所存储的数据写进与其连接的特征提取框中的寄存器中。上述的遍历方法中，所述右移操作为所述特征提取框中除最左方Y列的寄存器 外，每个寄存器将所存储的数据写进其左方距离为列步进Y的寄存器中，并且所述右缓冲 区中的寄存器将所存储的数据写进与其连接的特征提取框中的寄存器中。上述的遍历方法中，所述上移操作为所述特征提取框中除最下方X行的寄存器 外，每个寄存器将所存储的数据写进其下方距离为行步进X的寄存器中，并且所述上缓冲 区中的寄存器将所存储的数据写进与其连接的特征提取框中的寄存器中。上述的遍历方法中，所述特征提取框为MXN的用于存储积分图数据的多输入寄 存器阵列，所述上、下缓冲区为XXN的用于存储积分图数据的单输入多输出移位寄存器阵 列，所述右缓冲区为MXY的用于存储积分图数据的单输入多输出移位寄存器阵列。上述的遍历方法，具体可包括如下步骤(1)遍历开始开始时，特征提取框内的数据都是无效的，要进行特征提取必须先把图像 最左上方的数据输入特征提取框；由于特征提取框与外围没有接口，所以必须先通过下缓 冲区输入数据；(2)数据输入下缓冲区，然后进行一次下移操作，数据移进特征提取框的最下方的两行；(3)重复步骤(2)，直到图像最左上方的数据就全部移进特征提取框；(4)进行一次图像特征提取，由于下一次的操作也为下移操作，所以同时图像再往下两 行的图像数据存入下缓冲区，待本次特征提取完成后进行一次下移操作；(5)重复步骤(4)，直至图像再往下方没有数据。此时，下一次的操作为右移，右缓冲区开始工作，在特征提取的同时，图像再往右方两列的图像数据存入右缓冲区；(6)进行一次右移操作，此时，下一次的操作为上移，上缓冲区开始工作，在特征提取的 同时，图像再往上方两行的图像数据存入上缓冲区；(7)进行一次上移操作，再进行图像特征提取；同时，由于下一次的操作也为上移操作， 所以图像再往上方两行的数据数据存入上缓冲区；(8)重复步骤(7)，直至图像再往上方没有数据；此时，下一次的操作为右移，右缓冲区 开始工作，在特征提取的同时，图像再往右方两列的图像数据存入右缓冲区；(9)重复之前的步骤(4)至步骤(8)，直至整个目标图像被遍历完毕。本专利技术其所需要提取的特征由训练结果给出，可以直接固化成硬件连线，也可以 利用M本文档来自技高网...

【技术保护点】
１．一种用于图像特征查找的遍历方法，利用硬件特征框对图像进行遍历，其特征在于所述硬件特征框包括一个特征提取框和位于特征提取框上、下、右方的三个缓冲区，所述特征提取框由一个行×列为Ｍ×Ｎ的寄存器阵列组成，Ｍ为大于２的自然数，Ｎ为大于１的自然数；在所述特征提取框中，除最上方Ｘ行、最下方Ｘ行、最右方Ｙ列外，每个寄存器在上、下方向上与距离该寄存器为Ｘ的寄存器相连，在右方向上与距离该寄存器为Ｙ的寄存器相连，Ｘ为行步进，Ｘ取值为小于Ｍ／２的自然数，Ｙ为列步进，Ｙ取值为小于Ｎ的自然数；所述上、下缓冲区均由行×列为Ｘ×Ｎ的寄存器阵列组成；右缓冲区由行×列为Ｍ×Ｙ的寄存器阵列组成；所述上缓冲区中的每个寄存器与下方特征提取框中距离该寄存器为Ｘ的寄存器相连，所述下缓冲区中的每个寄存器与上方特征提取框中距离该寄存器为Ｘ的寄存器相连，右缓冲区中的每个寄存器和左方特征提取框中距离该寄存器为Ｙ的寄存器相连；所述遍历包括一次以上重复由多次下移操作、一次右移操作、多次上移操作和一次的右移操作组成的流程后完成对整副图像的遍历。

【技术特征摘要】

【专利技术属性】
技术研发人员：姜小波，周德祥，叶德盛，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：81