一种基于FPGA的红外行人检测方法及装置制造方法及图纸

本发明专利技术提供了一种基于FPGA的红外行人检测方法及装置，包括：采集图像及模块；采用Canny算子对采集图像进行边缘检测及模块；采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记及模块；提取各连通域的特征值组成图像的特征矩阵及模块；通过行人特征约束的方式判断每一个连通域在图像中是否对应行人及模块；将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人及模块。

An Infrared Pedestrian Detection Method and Device Based on FPGA

The invention provides an infrared pedestrian detection method and device based on FPGA, which includes: acquisition image and module; edge detection and module of acquisition image by Canny operator; connection relationship of edge detection image is judged by eight connectivity criteria, and connected area marking and module are carried out; feature matrix and module of image are formed by extracting characteristic values of each connected area; pedestrian is used to detect edge of acquisition image. The method of feature constraints determines whether each connected area corresponds to pedestrians and modules in the image. The outer rectangular frame of the connected area conforming to pedestrian feature constraints is superimposed on the corresponding position of the output image, and pedestrians and modules are marked in the output video stream.

【技术实现步骤摘要】
一种基于FPGA的红外行人检测方法及装置
本专利技术涉及一种红外图像检测技术，特别是一种基于FPGA的红外行人检测方法及装置。
技术介绍
行人检测技术能够快速识别图像中的行人，及时进行安全预警和避障，在辅助驾驶、国防安保、视频监控领域均有着广泛的应用前景。在夜间、阴天或大雾等恶劣天气情况下，可见光成像能见度较低，给行人检测造成一定困难，易发生事故。红外成像是热成像，具有良好的穿透能力和较强的抗干扰能力，因此基于红外图像的行人检测技术可以实现恶劣天气情况下的行人检测与识别，较可见光而言具有很大的优势。孙锐等在文献(基于显著性检测与HOG-NMF特征的快速行人检测方法[J].电子与信息学报，2013，35(8).)中提出的行人检测算法，较传统的行人检测算法，减少了检测时间。但是该方法只在软件仿真层面上实现，在硬件平台上的实现效果有待考证。李琦等在文献(Arobustsystemforreal-timepedestriandetectionandtracking[J].JournalofCentralSouthUniversity,2014)21:1643-1653.)中提出的行人检测方法具有较好的鲁棒性与实时性，但是对于具有较少可区分特征点的红外图像，该方法并不适用。CN201410657480.9采用一种基于模板匹配的行人检测方法，该方法对目标边缘的边缘图进行检测，通过行人轮廓模板匹配得到检测结果。但是，其轮廓模板仅针对几种固定姿态的行人，所以该方法的检测率难以保障。CN201510548633.0采用一种视频行人检测方法，该方法基于运动信息和轨迹关联，能够在一段视频序列中找出行人的位置及其轨迹。但是，该方法依赖运动信息，对于暂时站立不动或行动迟缓的人检测效果不佳，容易造成危险。红外主处理芯片多为FPGA芯片，因此选取FPGA芯片作为行人检测装置电路的主要芯片可以使行人检测算法很好的集成在其中。传统的基于HOG的行人检测算法复杂度高，在FPGA上实现时检测的准确度和功耗不能同时兼顾。
技术实现思路
本专利技术的目的在于提供一种基于FPGA的红外行人检测方法及装置。实现本专利技术目的的技术方案为：一种基于FPGA的红外行人检测方法，包括以下步骤：步骤1，采集图像；步骤2，采用Canny算子对采集图像进行边缘检测；步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；步骤4，提取各连通域的特征值组成图像的特征矩阵；步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。一种基于FPGA的红外行人检测装置，包括采集图像的图像采集模块，采用Canny算子对采集图像进行边缘检测的边缘检测模块，采用八连通准则判断边缘检测图像的连通关系并进行连通域标记的连通域标记模块；提取各连通域的特征值组成图像的特征矩阵的特征提取模块，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人的行人特征约束模块，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置的行人标记模块。本专利技术与现有技术相比，具有以下优点：(1)行人检测算法相对简单，易于FPGA实现，在降低算法复杂度的同时，又能保障本专利技术的行人检测装置的检测率，提高检测装置的实时性；(2)通过特征提取模块提取连通域的边界值作为特征值进行运算，充分利用行人的形状特征，存储空间占用小，有利于降低系统功耗；(3)行人特征约束模块中的边缘分散约束模块和头部特征约束模块，充分利用了行人外部轮廓特征，对于细节刻画不明显的红外图像具有较好的检测效果；(4)行人特征约束模块中的梯度约束模块，根据行人的目标性在降采样的条件下依然可以保持的原理，对梯度幅值图像降采样后进行判断，有效地剔除了背景干扰，降低了误检率。下面结合说明书附图对本专利技术作进一步描述。附图说明图1是本专利技术基于FPGA的红外行人检测装置电路示意图。图2是本专利技术基于FPGA的红外行人检测方法示意图。图3是本专利技术连通域标记模块中初步标记窗口的示意图。图4是本专利技术连通域标记模块中初步标记算法的流程图。图5是本专利技术连通域标记模块中等价关系的示意图。图6是本专利技术特征提取模块中的特征提取方法的示意图。图7是本专利技术边缘检测模块中高斯滤波FPGA实现的示意图。图8是本专利技术特征提取模块中特征值存储方式的示意图。图9是本专利技术基于FPGA的红外行人检测装置检测效果图一。图10是本专利技术基于FPGA的红外行人检测装置检测效果图二。图11是本专利技术基于FPGA的红外行人检测装置检测效果图三。图12是本专利技术基于FPGA的红外行人检测装置检测效果图四。具体实施方式结合图2，一种基于FPGA的红外行人检测方法，包括以下步骤：步骤1，采集图像；步骤2，采用Canny算子对采集图像进行边缘检测；步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；步骤4，提取各连通域的特征值组成图像的特征矩阵；步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。步骤2的具体过程在于：步骤2.1，高斯滤波，具体为：定义二维高斯平滑函数为：其中，σ为高斯滤波器的空间尺度系数，控制图像平滑的程度；计算G(x,y)在x和y方向上的一阶偏导Gx和Gy，且分别与图像f(i,j)做卷积，得到平滑滤波后的输出：P(i,j)＝Gx*f(i,j)(2)Q(i,j)＝Gy*f(i,j)(3)步骤2.2，梯度运算，具体为：获取滤波后每个像素点梯度幅值S(i,j)和梯度方向θ(i,j)步骤2.3，非极大值抑制，具体为：对每一个像素点，以该点为中心，在八邻域范围内，将该点的梯度幅值在其梯度方向θ(i,j)上与该点相邻的两个像素点的梯度幅值相比较，若该点梯度值最大则保留，否则将该点梯度值设为零；步骤2.4，滞后双阈值处理，具体为：设梯度值不为零的像素点为可能的边缘点，对梯度值不为零的像素点获取其中的最大梯度值Smax，设置高、低阈值分别为：Tmax＝Smax/α(6)Tmin＝Smax/β(7)其中，α、β为正整数，且α＜β；对所有可能的边缘点，若其梯度值S(i,j)≥Tmax，则判定为边缘点；而对于处于边缘端点处的点，采用递归边界跟踪法，将其八邻域内梯度值S(i,j)≥Tmin的点也判定为边缘点。步骤3中，根据八连通准则判断边缘检测图像的连通关系，并进行连通域标记。连通域所区域为在这个区域内任意两个像素之间都能找到一条或多条由这个区域内的像素点组成的路径把这两个像素点连接起来。八连通准则是指根据目标像素的上下左右像素以及四个对角像素(即八邻域)来确定连通关系。根据八连通准则判断边缘检测图像连通关系的具体方式如下：设目标像素点X为中间像素，如图3所示，它的初步标记值要根据目标像素是前景像素还是背景像素以及像素A、B、C、D的初步标记值来进行判断。对于边缘检测图像而言，边缘点是前景像素，非边缘点是背景像素。目标像素的初步标记流程如图4所示。在初步标记的过程中，当把新的初步标记值分配给某个像素时，要把这个初步标记值记录到等价表中，即初始化等价表；当出现本文档来自技高网...

【技术保护点】
1.一种基于FPGA的红外行人检测方法，其特征在于，包括以下步骤：步骤1，采集图像；步骤2，采用Canny算子对采集图像进行边缘检测；步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；步骤4，提取各连通域的特征值组成图像的特征矩阵；步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。

【技术特征摘要】
1.一种基于FPGA的红外行人检测方法，其特征在于，包括以下步骤：步骤1，采集图像；步骤2，采用Canny算子对采集图像进行边缘检测；步骤3，采用八连通准则判断边缘检测图像的连通关系，并进行连通域标记；步骤4，提取各连通域的特征值组成图像的特征矩阵；步骤5，通过行人特征约束的方式判断每一个连通域在图像中是否对应行人；步骤6，将符合行人特征约束的连通域的外接矩形框叠加到输出图像的对应位置，由此在输出视频流中标记出行人。2.根据权利要求1所述的方法，其特征在于，步骤2的具体过程在于：步骤2.1，对采集的图像进行高斯滤波；步骤2.2，获取滤波后每个像素点梯度幅值和梯度方向；步骤2.3，对每一个像素点，以该点为中心，在八邻域范围内，将该点的梯度幅值在其梯度方向上与该点相邻的两个像素点的梯度幅值相比较，若该点梯度值最大则保留，否则将该点梯度值设为零；步骤2.4，设梯度值不为零的像素点为可能的边缘点，对梯度值不为零的像素点获取其中的最大梯度值Smax，设置高、低阈值分别为：Tmax＝Smax/α(6)Tmin＝Smax/β(7)其中，α、β为正整数，且α＜β；步骤2.5，对所有可能的边缘点，若其梯度值S(i,j)≥Tmax，则判定为边缘点；而对于处于边缘端点处的点，采用递归边界跟踪法，将其八邻域内梯度值S(i,j)≥Tmin的点也判定为边缘点。3.根据权利要求1所述的方法，其特征在于，步骤4中定义任一连通域的特征值为：上边界的x坐标值fu、下边界的x坐标值fd、左边界的y坐标值fl、右边界的y坐标值fr，则连通域Li的特征值为fu(i)、fd(i)、fl(i)、fr(i)；提取图像中n个连通域对应的特征值，记为该图像对应的特征矩阵FR：4.根据权利要求3所述的方法，其特征在于，步骤5的具体过程在于：步骤5.1，形状约束：根据每一个连通域的特征值计算该连通域外接矩形框的高度h＝fu-fd+1，宽度w＝fr-fl+1，该矩形框的高度与宽度之比为C＝h/w；若1≤C≤7，则该连通域在图像中可能对应行人；否则，剔除该连通域。步骤5.2，边缘分散约束：对符合形状约束的连通域，计算连通域内边缘的周长P，若周长满足式(9)，则该连通域满足边缘分散约束；否则，剔除该连通域。其中，area为该连通域的面积，Th_d为分散阈值；步骤5.3，头部特征约束，对通过边缘分散约束的任一连通域Li进行如下判断：A)若连通域外接矩形框高度与宽度之比C≤2，认定该连通域包含人的上半身；判断矩形框内边缘与直线x＝fu(i)+h/8的交点个数m，若m≥2则该连通域满足头部特征约束；B)若连通域外接矩形框高度与宽度之比C＞2，认定该连通域包含人的全身；判断矩形框内边缘与直线x＝fu(i)+h/2的交点个数m'，若m'≥2则该连通域满足头部特征约束；剔除不满足头部特征约束的连通域；步骤5.4，显著性约束：对符合头部特征约束的连通域，将其外接矩形框向外扩大一定距离，设外接矩形框对应的灰度均值为ave_gray，扩大部分的灰度均值为e_ave_gray，如果ave_gray、e_ave_gray它们满足式(10)，则该连通域满足显著性约束；否则，剔除该连通域。|ave_gray-e_ave_gray|≥G_ratio×max(ave_gray,e_ave_gray)(10)其中，G_ratio是显著性约束系数；步骤5.5，梯度约束：通过训练获得8×8大小的行人梯度系数矩阵Knor；根据边缘检测中计算出的各个像素点的梯度幅值，将各个连通域外接矩形框对应的梯度幅值图像采样成8×8的矩阵Agrad；定义任一连通域的目标级数Ol为Knor与Agrad的内积，即Ol＝<Knor,Agrad>(11)若目标级数Ol满足式(12)，则该连通域满足梯度约束，则判定该连通域在图像中对应行人；否则剔除该连通域Ol≥Thgrad(12)其中，Thgrad是训练获得的行人目标级数阈值。5.根据权利要求4所述的方法，其特征在于，步骤5.1中，若1≤C≤7，若area≥Th_a，则该连通域在图像中可能对应行人，进入下一约束判断；否则，剔除该连通域；其中，各连通域的外接矩形面积area＝h×w，Th_a为面积阈值。6.一种基于FPGA的红外行人检测装置，其特征在于，包括采集图像的图像采集模块，采用Canny算子对采...

【专利技术属性】
技术研发人员：张宝辉，吉莉，于世孔，李中文，吴杰，蒋志芳，陈莹妍，
申请(专利权)人：昆明物理研究所，
类型：发明
国别省市：云南,53