基于FPGA的嵌入式行人密度统计系统及方法技术方案

本发明专利技术公开了一种基于FPGA的嵌入式行人密度统计系统及方法，系统包含PYNQ

【技术实现步骤摘要】
基于FPGA的嵌入式行人密度统计系统及方法


[0001]本专利技术涉及计算机视觉检测
，具体涉及一种基于FPGA的嵌入式行人密度统计系统及方法。

技术介绍

[0002]随着我国科学技术的飞速发展，公共场所的出行安全问题受到广泛关注。由于行人密度在对突发事件中的行人进行疏散和相关应急措施有着举足轻重的作用，因此能够研究出一套实时性好、准确度高、体积小、功耗低的行人密度统计系统具有重要的实际意义。
[0003]目前基于PC机的行人检测系统存在以下问题：1)功耗高、机器笨重不便于携带；2)缺乏并行运算的能力在一定程度上处理速度不算理想；3)实时性普遍较低。
[0004]虽然有部分科研工作者利用ARM、DSP等单一平台实现行人检测系统，即使ARM在搭建操作系统方面具有优势，但处理复杂算法时，其处理速度还是不甚理想；DSP不具备FPGA那样的并行计算能力，而且可拓展性和可移植性不好。

技术实现思路

[0005]本专利技术的目的在于提供一种基于FPGA的嵌入式行人密度统计系统及方法，该系统可以高速采集高清摄像头拍摄的视频图像，并且实时处理视频数据反馈处理结果。
[0006]实现本专利技术目的的技术解决方案为：一种基于FPGA的嵌入式行人密度统计系统，该系统包含PYNQ-Z1、电源线、PC主机、双绞线、USB高清摄像头、液晶显示器LCD、HDMI线和SD卡；
[0007]所述PYNQ-Z1是基于双核Cortex-A9处理器的FPGA开发板；
[0008]所述电源线用于PYNQ-Z1与PC主机连接，给PYNQ-Z1供电；
[0009]所述USB高清摄像头与PYNQ-Z1连接，用于采集图像视频数据；
[0010]所述双绞线连接PC主机与PYNQ-Z1，用于PC主机与PYNQ-Z1之间进行数据传输，还用于PC主机调试、控制PYNQ-Z1；
[0011]所述HDMI线用于PYNQ-Z1与液晶显示器LCD连接；
[0012]所述SD卡用于存储PYNQ-Z1的操作系统、行人检测的数据模型以及可执行代码。
[0013]一种基于FPGA的嵌入式行人密度统计的方法，包括如下步骤：
[0014]S1、图像预处理：通过调用USB高清摄像头获取彩色图像，经过AXI数据传输总线传送至可编程逻辑PL端，在可编程逻辑PL端内采用硬件加速IP核，首先通过双线性插值算法，根据原图像中的像素在其相邻的2
×
2区域内的4个邻域像素值进行加权平均计算得出新图像中的像素值，进行图像放缩；再进行图像灰度化处理，对R、G、B三个颜色分量做加权平均，获得灰度图像；最后用Sobel边缘提取方法进行图像边缘提取；
[0015]S2.行人特征提取：采用CENTRIST特征对行人特征进行提取，在预处理后的图像IMAGE1中，首先计算每个像素点的CT值得到图像IMAGE2，然后将IMAGE2分成N块，然后统计每一个块所包含点的局部直方图，最后将所有块的局部直方图串联起来形成图像IMAGE1的
CENTRIST特征向量表示；
[0016]S3.行人检测分类识别：采用双层SVM分类器对扫描窗口下提取的CENTRIST特征进行判别，首先通过线性SVM分类器排除非行人特征，然后再通过HIK-SVM分类器检测被线性SVM漏检的行人特征；具体检测过程中，采用固定大小108
×
36的滑动窗口对经过缩放操作后的每一尺寸下的图像都进行扫描，并提取CENTRIST特征送入SVM分类器中进行判断是否符合行人特征特点，如果符合就用矩形框标记出来，整个帧图像缩放完毕后进入下一个步骤；
[0017]S4.窗口融合：先将行人识别的矩形窗口分为多个不相交的子集，紧接着将每个子集合并成单个的矩形窗口，首先初始化定义不相交的子集矩形窗口为空，然后遍历所有的矩形窗口，将当前需要融合的窗口Ni与全部的这些不相交的子集窗口做如下判定：
[0018][0019]其中Nj,max代表第j子类中目前所有窗口的并集窗口；Ni∩Nj,max代表Ni与Nj,max两个窗口的交集，area(*)表示该区域的面积；如果遍历所有子集窗口时，不满足该判定，则表示Ni属于一个新的子集，将其加入不相交子集中；如果满足该判定，就将Ni窗口归属到第j子集，并更新相应的Nj,max；如此遍历，最终将所有的原始检测窗口归属到相应的子集中；
[0020]S5.将结果通过HDMI高清显示模块输出到液晶显示器LCD上。
[0021]与现有技术相比，本专利技术的有益效果为：
[0022](1)本专利技术是在Xilinx公司的PYNQ-Z1可拓展平台上采用软硬件协同设计方法实现，将图像视频采集、行人目标检测、高清显示输出集合到同一个嵌入式系统中；系统在FPGA部分完成硬件加速IP核的设计，ARM部分完成CENTRIST算子提取和SVM分类器设计；这种方法既充分利用了PYNQ-Z1强大的并行运算能力与丰富的逻辑资源，又结合了ARM在搭建操作系统与实现复杂算法方面的优点；
[0023](2)本专利技术利用PYNQ-Z1芯片中FPGA部分的并行处理能力，使得本系统能够在较短时间间隔内得出行人密度的计算处理结果，具有较高的实用价值；
[0024](3)本专利技术采用基于CENTRIST+SVM算法框架实现行人检测，并利用窗口融合将每个子集的所有窗口融合成一个比较有代表性的窗口，行人检测率高达91.4％；
[0025](4)本专利技术实现较为小型化的行人检测系统，系统总的功耗性较低、便携性较高，适用于绝大多数的应用场景；
[0026](5)本专利技术的硬件价格相较于PC机具有明显的优势。
附图说明
[0027]图1为本专利技术的硬件加速数据流图。
[0028]图2为本专利技术的行人检测流程图。
[0029]图中：1：USB高清摄像头；2：外部SD卡；3：DDR3内存控制器；4：APSoC芯片；5：液晶显示器；6：预处理IP核；7：AXI数据总线。
具体实施方式
[0030]为了更好地理解本专利技术，下面结合实施例和附图对本专利技术的技术方案做进一步的说明。
[0031]如图1-2所示，一种基于FPGA的嵌入式行人密度统计系统，该系统包含PYNQ-Z1、电源线、PC主机、双绞线、USB高清摄像头、液晶显示器、HDMI线和SD卡；
[0032]所述PYNQ-Z1是Xilinx公司开发的基于双核Cortex-A9处理器的FPGA开发板；
[0033]所述电源线是用于PYNQ-Z1与PC机连接，给PYNQ-Z1供电；由USB或7V-15V电源供电；
[0034]所述USB高清摄像头与PYNQ-Z1连接，用于采集图像视频数据；USB高清摄像头为LRCP1080P_OV2710，感光芯片1/2.7inch，Pixel Size：3um
◇
3um。
[0035]所述双绞线是连接PC机与PYNQ-Z开发板，用于PC机与PYNQ-Z1之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的嵌入式行人密度统计系统，其特征在于，该系统包含PYNQ-Z1、电源线、PC主机、双绞线、USB高清摄像头、液晶显示器LCD、HDMI线和SD卡；所述PYNQ-Z1是基于双核Cortex-A9处理器的FPGA开发板；所述电源线用于PYNQ-Z1与PC主机连接，给PYNQ-Z1供电；所述USB高清摄像头与PYNQ-Z1连接，用于采集图像视频数据；所述双绞线连接PC主机与PYNQ-Z1，用于PC主机与PYNQ-Z1之间进行数据传输，还用于PC主机调试、控制PYNQ-Z1；所述HDMI线用于PYNQ-Z1与液晶显示器LCD连接；所述SD卡用于存储PYNQ-Z1的操作系统、行人检测的数据模型以及可执行代码。2.根据权利要求1所述的基于FPGA的嵌入式行人密度统计系统，其特征在于，所述PYNQ-Z1包括APSoC芯片、AXI数据传输总线、DDR3内存控制器、RJ45接口、Micro USB接口、HDMI Out接口、SD Card接口、USB Host接口、Power Switch开关；所述DDR3内存控制器与ASPSoC芯片和SD Card接口连接；所述ASPSoC芯片与RJ45接口和HDMI Out接口连接；所述RJ45接口与双绞线连接；所述Micro USB接口和Power Switch开关连接，用于控制系统的启动与关闭；所述USB Host接口和高清摄像头连接，用于APSoC芯片获取图像视频数据；所述HDMI Out接口和HDMI线连接；所述SD Card接口和SD卡连接。3.根据权利要求2所述的基于FPGA的嵌入式行人密度统计系统，其特征在于，所述APSoC芯片包括可编程逻辑PL端和处理系统PS端；所述处理系统PS端与DDR3内存控制器连接，所述AXI数据传输总线用于连接可编程逻辑PL端和处理系统PS端。4.根据权利要求3所述的基于FPGA的嵌入式行人密度统计系统，其特征在于，所述可编程逻辑PL端包括VDMA图像传输模块、算法硬件加速IP核和HDMI高清显示模块；所述VDMA图像传输模块和AXI数据传输总线连接，用于视频流数据的存取；所述HDMI高清显示模块和HDMI Out接口连接，用于输出图像数据处理结果。5.根据权利要求3所述的基于FPGA的嵌入式行人密度统计系统，其特征在于，所述处理系统PS端包括行人CENTRIST特征提取和SVM分类识别模块。6.一种基于FPGA的嵌入式行人密度统计的方法，其特征在于，包括如下步骤：S1、图像预处理：通过调用USB高清摄像头获取彩色图像，经过AXI数据传输总线传送至可编程逻辑PL端，在可编程逻辑PL端内采用硬件加速IP核，首先通过双线性插值算法，根据原图像中的像素在其相邻的2

【专利技术属性】
技术研发人员：张正华，陈豪，平嘉蓉，刘源，李斌，
申请(专利权)人：扬州大学，
类型：发明
国别省市：