一种基于ZYNQ的人脸关键点检测系统技术方案

本发明专利技术公开一种基于ZYNQ的人脸关键点检测系统，包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。此种系统具有并行计算能力强，准确率高和预测速度快的优点。

【技术实现步骤摘要】
一种基于ZYNQ的人脸关键点检测系统
本专利技术属于人脸识别领域，特别涉及一种基于ZYNQ的人脸关键点检测系统。
技术介绍
由于人脸图像包含大量人脸属性信息同时获取方便，近年来成为计算机视觉研究领域的一个热点。人脸属性主要包括性别、表情等，人脸关键点检测即检测出五官在人脸的相对位置，通常也将其作为人脸的一种属性，广泛应用于人脸美化、人脸动画装饰、疲劳驾驶等场景。随着计算机计算能力的快速发展和大数据的爆发，卷积神经网络逐渐取代了基于统计的传统方法，成为人脸识别和人脸属性分析等任务的首选。卷积神经网络包含众多权重偏置参数和大量的卷积运算操作，当前主流人脸关键点检测还是基于在诸如通用处理器和GPU这样的软件平台，然而通用处理器无法充分挖掘卷积神经网络的并行性，在PC运行速度较慢，尽管GPU能极大的提高计算速度，但其功耗和成本高使其难以在移动终端使用，不利于市场化。本专利技术结合ARM的便捷操作能力和FPGA的高并行度计算能力，基于ZYNQ平台实现高速判断人脸属性。ZYNQ平台是基于Xilinx全可编程的平台结构，主要包括可编程逻辑(ProgrammableLogic，PL)和处理系统(ProcessingSystem，PS)两部分。其中，PL部分是全可编程的FPGA部分，用于高并行度的开发；PS中集成了两片ARMCortexA9处理器，可用于控制系统工作，访问内存等。PS与PL的通信由AXI协议实现。
技术实现思路
本专利技术的目的，在于提供一种基于ZYNQ的人脸关键点检测系统，其具有并行计算能力强，准确率高和预测速度快的优点。为了达成上述目的，本专利技术的解决方案是：一种基于ZYNQ的人脸关键点检测系统，包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。采用上述方案后，本专利技术系统以卷积神经网络为基本结构，根据硬件的存储资源、并行度和算法需求设计神经网络每层特征图数量和尺度大小，通过迁移学习建立卷积神经网络模型。将待检测关键点的图片和训练好的模型参数提取出来保存在ZYNQ平台的存储器中，逐层分批发送输入特征图和参数，通过GPIO的控制，ZYNQ平台FPGA端并行加速器进行神经网络前向传播的计算，将计算结果缓存到FIFO,全部计算完成后输出最终预测结果。与现有技术相比，本专利技术高并行度计算使得人脸关键点的检测能够更加快速，同时便于实现。附图说明图1是本专利技术单帧图像人脸关键点检测流程图；图2是本专利技术的系统框架图；图3是本专利技术卷积并行计算示意图。具体实施方式以下将结合附图，对本专利技术的技术方案及有益效果进行详细说明。如图2所示，本专利技术提供一种基于ZYNQ的人脸关键点检测系统，包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成了PL(ProgrammableLogic，可编程逻辑)模块和PS(ProcessingSystem，处理系统)模块，其中，PS模块中设有处理器(ARM)和存储器，用于控制模块间数据的传输，PL模块(即FPGA)用于加速卷积运算；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台中将视频转换成单帧图像并保存在存储器中，进行一系列计算后将运算结果返回存储器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。其中，ZYNQ平台基于卷积神经网络对单帧图像进行建模，模型建立的过程是：首先，设计卷积神经网络的结构，所述卷积神经网络包括多属性训练网络和人脸关键点检测网络，所述神经网络每层特征图的数量和尺度大小由硬件的存储资源、计算并行度和算法需求确定；然后，进行迁移学习，将多属性训练好的模型迁移至人脸关键点网络继续训练，得到最终的人脸关键点检测神经网络模型，提取模型的参数。所述模型参数包括权重参数和偏置参数。如图1所示，单帧图像的人脸关键点检测流程包括如下步骤：步骤1，将待检测关键点的人脸图片和训练好的模型参数提取出来保存在ZYNQ平台的存储器中；步骤2，按顺序发送一批p个大小为c*c的输入特征图数据暂存至发送缓存区域，发送缓存区域中的数据通过DMA发送到FPGA端，其中第一层的输入特征图为待分析的人脸图片RGB三个通道像素值；每层特征图的数量和尺度大小确定方法如下：设每个大小为c*c的卷积运算单元所占存储资源为m，网络输入大小为s*s，总的硬件存储资源为M，计算并行度为p，为方便计算，保证网络前k层特征图大小被卷积运算单元大小c整除，同时满足条件：p*m<M；步骤3，按已发送输入特征图的顺序，发送一批对应的权重和偏置参数，发送方式同步骤2；步骤4，在ZYNQ平台的FPGA端进行并行的乘累加卷积计算，参照图3，并将计算结果保存至FIFO，FIFO中的数据通过DMA中断接收至接收缓存区域，接收缓存区域的数据按输出特征图排列好后存放至DDR；FPGA的计算由ZYNQ平台ARM端发送的GPIO控制字来控制：包括计算的启止以及卷积结果相加中输入特征图的个数等。步骤5，重复步骤3到步骤4发送一批新的权重和偏置参数，直到接收到已发送输入特征图对应的所有输出特征图；步骤6，重复步骤2到步骤5直到接收到本层所有输出特征图；步骤7，将本层的输出特征图作为下一层的输入特征图，开始处理下一层，重复步骤2到步骤6直到所有层已被处理，输出最终预测的人脸关键点坐标。以上实施例仅为说明本专利技术的技术思想，不能以此限定本专利技术的保护范围，凡是按照本专利技术提出的技术思想，在技术方案基础上所做的任何改动，均落入本专利技术保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于ZYNQ的人脸关键点检测系统，其特征在于：包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。

【技术特征摘要】
1.一种基于ZYNQ的人脸关键点检测系统，其特征在于：包括摄像头、ZYNQ平台和VGA显示器，其中，ZYNQ平台集成有可编程逻辑模块和处理系统模块，处理系统模块中设有处理器和存储器；所述摄像头用于采集视频信息并将其发送到ZYNQ平台，ZYNQ平台将视频转换成单帧图像并保存在存储器中，可编程逻辑模块进行一系列计算后将运算结果返回处理器，处理器根据运算结果显示相应的人脸关键点，并将处理后的图像存至存储器，最后图像转成满足VGA输出的数据格式并输出到VGA显示器。2.如权利要求1所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述可编程逻辑模块基于卷积神经网络对单帧图像进行建模，并提取模型参数；然后检测单帧图像的人脸关键点坐标，发送至处理器。3.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述可编程逻辑模块基于卷积神经网络对单帧图像进行建模过程是：首先，设计卷积神经网络的结构，所述卷积神经网络包括多属性训练网络和人脸关键点检测网络；然后，进行迁移学习，得到最终的人脸关键点检测神经网络模型，提取模型参数。4.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述模型参数包括权重参数和偏置参数。5.如权利要求2所述的一种基于ZYNQ的人脸关键点检测系统，其特征在于：所述卷积神经网络每层特征图的数量和尺度大小确定方法如下：设每个大小为c*c的卷积运算单元所占存储资源为m，网络输入大小为s*s，总的硬件存储资源为M，计...

【专利技术属性】
技术研发人员：陆生礼，庞伟，向家淇，周世豪，范雪梅，李宇峰，
申请(专利权)人：东南大学，东南大学—无锡集成电路技术研究所，
类型：发明
国别省市：江苏,32