【技术实现步骤摘要】
本专利属于烟草工艺，具体涉及一种面向烟支复杂花纹异常检测的fpga硬件加速器。
技术介绍
1、随着市场对于烟草产品质量的要求越来越高，卷烟的竞争日益激烈，在卷烟的自动化生产过程中，难免会产生一些烟支外观异常，例如水松纸脱落、水松纸泡皱、双层水松纸等。如何在提高烟支的缺陷检测准确度的同时不降低自动化生产的效率，以此来提高产品质量显得尤为重要。
2、早些时候，基于人工肉眼的视觉缺陷检测是常用的缺陷检测方法，然而目前自动生产流水线能达到每秒钟几百支的生产速度，于是基于机器视觉的缺陷检测方法逐渐替代了基于人工肉眼的视觉缺陷检测方法。
3、目前烟支异常检测大多采用传统基于机器视觉的阈值分割算法，针对简单颜色下烟支及滤嘴做异常检测，而针对具有复杂花纹水松纸的烟支的高档卷烟，这类卷烟将对阈值分割算法的检测产生极大干扰，导致非常高的误剔率，难以应用。因此，针对复杂花纹的烟草异常检测，可以采用基于卷积神经网络的深度学习来实现。
4、目前通过预先在算力强的gpu设备上训练模型，学习数据特征，再在目标设备上进行模型推理计算。过程中，我们发现由于深度学习模型的较高参数量和计算量，在计算性能较弱的目标设备上进行推理时会带来较大的推理延迟，不满足系统高实时性要求，导致无法及时剔除有缺陷的烟支。即便是采用gpu设备实现模型推理，也存在推理实时性低、成本昂贵、能耗高等问题。这就需要寻找一种新的硬件来加速深度学习的模型推理计算，以满足高实时性、低延时的要求。
5、边缘计算则是一种可行的解决方案。目前常见的是利用专用
技术实现思路
1、为解决现有技术存在的在卷烟厂生产环境中，使用卷积神经网络的深度学习算法对复杂花纹水松纸烟支的检测速度不够与实时性不高的技术问题，本专利技术提供一种一种面向烟支复杂花纹异常检测的fpga硬件加速器，在复杂工况下，可以低延时、高精度地支撑检测实时生产的复杂滤嘴花纹卷烟的外观质量。
2、本专利技术采用的技术方案是：
3、一种面向烟支复杂花纹异常检测的fpga硬件加速器，其特征在于，包括处理器系统、烟草图像预处理模块以及推理加速模块，具体的：
4、处理器系统，负责逻辑控制的任务，包括数据传输，任务调度；所述处理器系统包括cpu、控制器以及可扩展接口，所述cpu为双核cpu，并通过axi总线与所述可扩展接口接口和pl端进行数据交互，同时所述cpu通过所述控制器实现数据的传输控制；
5、烟草图像预处理模块，通过mipi接口接收外接摄像头采集到的高清图像，并对接收到的高清图像做剪裁、灰度转换以及均值滤波图像预处理操作；烟草图像预处理模块处理完毕后，发起一个dma请求，由dma控制器将处理完的图像通过axi总线搬运到片外存储器中，并由控制器产生中断信号通知cpu进行下一步操作；
6、推理加速模块，由多个dpu ip组成，每个dpu ip包括混合计算阵列模块、高性能调度模块、指令获取单元模块以及全局内存池模块，支持自定义算子处理模块；cpu捕获到图像搬运完成的中断信号后，通过axi总线向推理加速模块发送读取模型文件的指令，通过axi总线从片外存储器中读取模型数据并加载，此时的dpu是该模型推理的加速引擎，完成后，推理加速模块生成模型加载完成中断信号，模型加载完成中断信号被cpu捕获后，代表模型加载阶段完成，随后cpu向推理加速模块发送读取多张图像数据请求，推理加速模块从片外存储器中读取图像数据，并通过数据分发器发送到各dpu中，dpu中各模块协同做推理；同时，cpu通过控制器以及总线从图像预处理模块提取图像数据到片外存储器；dpu计算完后，将结果数据加上处理轮次数一起存回全局存储器中；待处理图像从外存储器读取到推理加速模块的全局存储中，数据分发器再次从全局存储器中读取上一轮的结果，再次分发给闲置的dpu，分发过程是随机乱序的，但是由于结果数据伴随着轮次序号，因此分发器总能确保每一轮的算法流程都执行到；数据分发器检索到所有轮次完成后，将最终结果数据送出推理加速模块；
7、由所述推理加速模块出来的最终结果数据通过hdmi控制器将结果输出并呈现到外部显示器。
8、进一步的，在烟草图像预处理模块中，首先对外接摄像头采集到的高清图像经过剪裁，将原先1100×640的图像剪到448×448大小，然后对图像采取灰度转换的操作，再通过均值滤波的方法减小噪声。
9、进一步的，所述自定义算子处理模块为attention模块，整个attention的计算过程分解为四个阶段，具体如下：
10、第一阶段：全局池化以及卷积计算；
11、对输入特征图按照通道维度进行全局池化，得到大小为(1×1×c)的全局特征图，通过此操作将空间维度进行压缩，使每个二维的特征尺寸压缩为1，它代表着在特征通道上响应的全局分布；
12、第二阶段：计算注意力权重和缩放注意力；
13、使用了两个全连接层对全局特征图进行权重计算，通过设置权重参数为每个通道赋予权重，代表每个通道的重要性和包含的特征信息；
14、第三阶段：加权求和以及拼接输出；
15、使用sigmoid激活函数将权重因子归一化，接着利用权重因子对原始特征图(h,w,c)各通道进行乘积，最终输出不同比重的通道的特征图；
16、将每个阶段的计算结果都保存在对应的寄存器中，并通过流水线的方式实现高效并行的计算性。
17、进一步的，基于所述attention模块设计特征融合结构，首先，该硬件加速器通过一系列特征提取操作对输入的图像提取特征，将输入矩阵转化为通道数为c、尺寸为h×w的特征图。在attention模块的第一阶段中，首先对输入特征图按照通道维度进行全局池化，池化尺寸为(h,w)，输出(1×1×c)大小的全局特征图，通过此操作将空间维度进行压缩，使每个二维的特征尺寸压缩为1，它代表着在特征通道上响应的全局分布；在第二阶段中，该硬件加速器使用了两个全连接层对全局特征图进行权重计算，通过设置权重参数为每个通道赋予权重，代表每个通道的重要性和包含的特征信息，为后续提取目标相关位置奠定基础；在第三阶段，该硬件加速器使本文档来自技高网...
【技术保护点】
1.一种面向烟支复杂花纹异常检测的FPGA硬件加速器，其特征在于，包括处理器系统、烟草图像预处理模块以及推理加速模块，具体的：
2.如权利要求1所述的一种面向烟支复杂花纹异常检测的FPGA硬件加速器，其特征在于，在烟草图像预处理模块中，首先对外接摄像头采集到的高清图像经过剪裁，将原先1100×640的图像剪到448×448大小，然后对图像采取灰度转换的操作，再通过均值滤波的方法减小噪声。
3.如权利要求1所述的一种面向烟支复杂花纹异常检测的FPGA硬件加速器，其特征在于，所述自定义算子处理模块为attention模块，整个Attention的计算过程分解为四个阶段，具体如下：
4.如权利要求3所述的一种面向烟支复杂花纹异常检测的FPGA硬件加速器，其特征在于，基于所述attention模块设计特征融合结构，首先，该硬件加速器通过一系列特征提取操作对输入的图像提取特征，将输入矩阵转化为通道数为C、尺寸为H×W的特征图。在attention模块的第一阶段中，首先对输入特征图按照通道维度进行全局池化，池化尺寸为(H,W)，输出(1×1×C)大小的全局
...【技术特征摘要】
1.一种面向烟支复杂花纹异常检测的fpga硬件加速器，其特征在于，包括处理器系统、烟草图像预处理模块以及推理加速模块，具体的：
2.如权利要求1所述的一种面向烟支复杂花纹异常检测的fpga硬件加速器，其特征在于，在烟草图像预处理模块中，首先对外接摄像头采集到的高清图像经过剪裁，将原先1100×640的图像剪到448×448大小，然后对图像采取灰度转换的操作，再通过均值滤波的方法减小噪声。
3.如权利要求1所述的一种面向烟支复杂花纹异常检测的fpga硬件加速器，其特征在于，所述自定义算子处理模块为attention模块，整个attention的计算过程分解为四个阶段，具体如下：
4.如权利要求3所述的一种面向烟支复杂花纹异常检测的fpga硬件加速器，其特征在于，基于所述attention模块设计特征融合结构，首先，...
【专利技术属性】
技术研发人员：张弛，李钰靓，范礼峰，孟文超，刘万里，朱增旭，邓贵杭，秦婷，
申请(专利权)人：浙江中烟工业有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。