基于FPGA实现的模型推理加速器及智能视觉感知终端制造技术

本发明专利技术提供一种基于FPGA实现的模型推理加速器及智能视觉感知终端，基于FPGA实现的模型推理加速器，包括卷积运算单元，数据转换单元，池化操作单元，平移操作单元，随机重组操作单元和全连接单元。本发明专利技术提供的以上技术方案，基于处理硬件和算法模型协同的思想，设计智能计算处理单元架构，以及构建适合井上、井下不同场景硬件环境的神经网络模型，具有更高的自动化和智能化水平。的自动化和智能化水平。的自动化和智能化水平。

【技术实现步骤摘要】
基于FPGA实现的模型推理加速器及智能视觉感知终端
[0001]本申请是申请号为202011035175.8、申请日为2020年9月27日、申请名称为“煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备”的中国专利申请的分案申请。


[0002]本专利技术涉及煤炭的智能化开采
，具体地，涉及一种基于FPGA实现的模型推理加速器及智能视觉感知终端。

技术介绍

[0003]为推动人工智能与煤炭产业融合发展，提升煤矿智能化无人开采水平，促进煤炭行业高质量发展，各煤矿企业与煤矿设备供应商都针对煤矿智能化技术投入大量人力与物力进行研究。
[0004]目前，有关企业基于矿井智能视频监控的相关技术进行了前期探索研究，形成远程可视化干预型智能采煤控制系统，推进煤矿的智能无人化开采进程。在技术实现过程中，通常首先采集海量的煤矿井下视频图像样本数据，整理建立一定规模的机器学习训练样本数据库集。然后在地面构建配置有高性能GPU硬件装置的数据处理中心，基于深度学习通过监督训练学习，离线迭代优化构建有关井下设备环境目标对象的智能感知算法模型。最后在地面高性能工作站上部署构建的鲁棒感知模型，通过可靠的一定带宽保障的通信网络接入井下实时生产视频监控系统进行设备环境状态的实时推理感知，将感知结果用于煤炭高效、安全生产过程的预警智能监测。这种基于地面数据中心的远程可视化智能监控视频系统在一定程度上可以把地面监控管理人员从长时间繁忙的单调人工远程监控作业过程中解放出来，提高了远程可视化监控的智能管控水平。
[0005]但是，随着无人化开采进程的推进，井下智能化技术水平的提高，智能采煤控制系统的实时性要求越来越高，目前这种基于地面数据中心的远程可视化智能监控视频系统的实时远程管控短板日渐突出，将会严重制约井下智能化无人开采进程。因为受井下本质安全的电气硬性要求，地面数据处理中心架构思想的高功耗硬件设备难以进入井下部署，从而导致需求高功耗计算处理资源的相关智能感知算法模型难以在井下落地实现。同时，受矿井场景条件制约，地面数据处理中心思想架构的必备条件之一可靠快速响应的足够带宽数据通信网络短时间也难以在各大矿井工程化普及实现，因此目前这种基于地面数据中心架构思想的远程可视化智能监控视频系统在煤矿生产管理自动化、智能化提升方面的不足之处日渐显现。

技术实现思路

[0006]本专利技术旨在提供一种基于FPGA实现的模型推理加速器及智能视觉感知终端，以解决现有技术中远程可视化智能监控视频系统自动化、智能化程度低的技术问题。
[0007]为此，本专利技术实施例提供一种基于FPGA实现的模型推理加速器，包括：
[0008]卷积运算单元，对监控视频图像和模型网格权重核进行矩阵与矩阵的乘法运算，
得到高位宽卷积运算特征图；
[0009]数据转换单元，转换所述高位宽卷积运算特征图数据，得到低位宽特征图数据；
[0010]池化操作单元，接收所述数据转换单元输出的所述低位宽特征图，在池化核范围内按某类型函数求取结果作为池化输出特征图；
[0011]平移操作单元，将所述池化输出特征图沿若干方向平移，以将邻域量直接拷贝到中心点位置，得到与移位方向相同数目个通道特征图；
[0012]随机重组操作单元，接收所述平移操作单元输出的若干个通道特征图，随机改变其回写内存地址，实现通道特征图的多样化组合，得到随机重组后的通道特征图；
[0013]全连接单元，接收所述随机重组操作单元输出的通道特征图，并映射至所述卷积运算单元运算得到感知信息对应的特征向量。
[0014]一些实施例中的基于FPGA实现的模型推理加速器，所述数据转换单元包括但不限于通过比较器实现。
[0015]一些实施例中的基于FPGA实现的模型推理加速器，所述比较器对所述卷积运算单元中的每一次卷积运算结果进行字节宽度转换，减小所述卷积运算结果的字节宽度得到转换结果，将所述转换结果映射为二叉树结构。
[0016]一些实施例中的基于FPGA实现的模型推理加速器，所述池化操作单元和所述平移操作单元均由线性缓存设计实现。
[0017]一些实施例中的基于FPGA实现的模型推理加速器，所述随机重组操作单元，其随机重组操作包括将本次接收到的数据与前一次接收到的数据进行串联合并。
[0018]本申请一些实施例中还提供一种煤矿井下智能视觉感知终端，包括摄像头和基于视觉内容智能感知计算处理单元，所述摄像头将拍摄到的监控视频图像发送至智能感知计算处理单元进行处理，其中，智能感知计算处理单元包括以上任一项所述的基于FPGA实现的模型推理加速器。
[0019]一些实施例中的煤矿井下智能视觉感知终端，还包括：
[0020]有线传输接口和无线传输接口，用于将所述监控视频图像输入和所述感知结果信息输出；其中，所述有线传输接口包括有线网络接口、HDMI视频数据输出接口、2个USB接口、Mircro
‑
SD卡插槽和SDRAM内存；所述无线传输接口包括双频无线网络接口和蓝牙接口。
[0021]一些实施例中的煤矿井下智能视觉感知终端，还包括：
[0022]本质安全电源管理模块，所述本质安全电源管理模块用于为所述摄像头和所述基于视觉内容智能感知计算处理单元提供电能。与现有技术相比，本专利技术实施例提供的上述技术方案至少具有以下有益效果：
[0023]本专利技术实施例提供的基于FPGA实现的模型推理加速器及智能视觉感知终端，基于算法模型和硬件处理架构协同思想，设计构建适合井上、井下不同场景硬件环境的神经网络模型，提出了具有边缘计算、加速推理硬件架构的智能终端，解决了深度学习算法模型在深井无人工作面计算处理资源有限场景下设备终端上的有效部署和推理问题，实现了深井无人工作面环境状态空间位置的实时感知数字化、设备目标状况检测识别相关的就地感知、就地认知问题，为深井无人工作面环境三维空间井下实时构建，关键设备目标对象的井下原地智能监控，井下、井上双向智能决策管理，井下设备自动、自主执行的煤矿无人智能生产控制系统构建提供了可靠的解决方案。
附图说明
[0024]图1为本申请一个实施例所述基于FPGA模型推理加速器的结构框图；
[0025]图2为本专利技术一个实施例提供的煤矿井下智能视觉感知终端；
[0026]图3为本专利技术另一个实施例提供的煤矿井下智能视觉感知终端；
[0027]图4为本专利技术一个实施例提供的煤矿井下智能视觉感知方法流程图；
[0028]图5为本专利技术一个实施例提供的煤矿井下智能视觉感知算法的部署流程图；
[0029]图6为本专利技术一个实施例提供的执行煤矿井下智能视觉感知方法的电子设备的硬件连接关系示意图。
具体实施方式
[0030]下面将结合附图进一步说明本专利技术实施例。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA实现的模型推理加速器，其特征在于，包括：卷积运算单元，对监控视频图像和模型网格权重核进行矩阵与矩阵的乘法运算，得到高位宽卷积运算特征图；数据转换单元，转换所述高位宽卷积运算特征图数据，得到低位宽特征图数据；池化操作单元，接收所述数据转换单元输出的所述低位宽特征图，在池化核范围内按某类型函数求取结果作为池化输出特征图；平移操作单元，将所述池化输出特征图沿若干方向平移，以将邻域量直接拷贝到中心点位置，得到与移位方向相同数目个通道特征图；随机重组操作单元，接收所述平移操作单元输出的若干个通道特征图，随机改变其回写内存地址，实现通道特征图的多样化组合，得到随机重组后的通道特征图；全连接单元，接收所述随机重组操作单元输出的通道特征图，并映射至所述卷积运算单元运算得到感知信息对应的特征向量。2.根据权利要求1所述的基于FPGA实现的模型推理加速器，其特征在于：所述数据转换单元包括但不限于通过比较器实现。3.根据权利要求2所述的基于FPGA实现的模型推理加速器，其特征在于：所述比较器对所述卷积运算单元中的每一次卷积运算结果进行字节宽度转换，减小所述卷积运算结果的字节宽度得到转换结果，将所述转换结果映射为二叉树结构。4.根据权利要求1所述的基于FPGA...

【专利技术属性】
技术研发人员：南柄飞，王凯，郭志杰，陈凯，李森，李首滨，荣耀，
申请(专利权)人：北京煤科天玛自动化科技有限公司，
类型：发明
国别省市：