FPGA实现的特征提取图像传感器制造技术

本发明专利技术公开一种FPGA特征提取图像传感器，由通用CCD/CMOS图像传感器、ARM控制器、FPGA卷积神经网络、图像缓存单元、无线数据传输模组和网络传输模组组成。在所述的FPGA卷积神经网络上部署一层卷积层、一层ReLU激励层和一层池化层构建部分卷积神经网络，卷积层用于提取图像特征，池化层用于特征图像的降维处理。一个完整的卷积神经网络被分为两部分，其另一部分部署在云前端，与所述FPGA部署的卷积神经网络一起构成完整的卷积神经网络。该完整的卷积神经网络可以被训练，用于图像监控、检测物体及目标追踪。这种FPGA实现的特征提取图像传感器，具有功耗低，处理速度快的优点，在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

Feature Extraction Image Sensor Based on FPGA

The invention discloses an image sensor for feature extraction based on FPGA, which consists of a general CCD/CMOS image sensor, an ARM controller, a convolution neural network based on FPGA, an image buffer unit, a wireless data transmission module and a network transmission module. A layer of convolution layer, a layer of ReLU excitation layer and a layer of pooling layer are deployed on the FPGA convolution neural network to construct a partial convolution neural network. The convolution layer is used to extract image features, and the pooling layer is used for dimension reduction of feature images. A complete convolution neural network is divided into two parts, the other part is deployed in the front of the cloud, and together with the convolution neural network deployed by the FPGA, a complete convolution neural network is formed. The complete convolution neural network can be trained for image monitoring, object detection and target tracking. This kind of feature extraction image sensor based on FPGA has the advantages of low power consumption and fast processing speed. When used in specific scene monitoring, it can reduce the demand for transmission bandwidth and avoid the privacy or leakage problems caused by the direct transmission of images.

【技术实现步骤摘要】
FPGA实现的特征提取图像传感器
本专利技术涉及图像处理、卷积神经网络领域，特别是涉及FPGA实现的特征提取图像传感器。
技术介绍
图像特征提取，一方面可以减少所要传输图像的数据量，另一方面能解决直接监控图像，导致的隐私暴露和泄密的问题。特别是在居家养老，对老人活动的监控，对病人的呼吸监控、情绪监控等，直接监控图像特征，而不是直接监控清晰图像，其应用更加简便。FPGA（Field－ProgrammableGateArray）作为专用可编程电路，在许多领域都得到了广泛应用，特别是在数字信号处理和图像处理方面更具有优势和巨大的前景。现有基于CPU或GPU的卷积神经网络方案提取特征图像,无法兼顾实时性、功耗以及便携性的要求，而FPGA具有强大的并行处理能力和超低功耗优点，可以将部分或整个卷积神经网络部署在FPGA上。
技术实现思路
本专利技术公开一种FPGA特征提取图像传感器，由通用CCD/CMOS图像传感器、ARM控制器、FPGA卷积神经网络、图像缓存单元、无线数据传输模组和网络传输模组组成。在所述的FPGA卷积神经网络上部署一层卷积层、一层ReLU激励层和一层池化层构建部分卷积神经网络，卷本文档来自技高网...

【技术保护点】
1.一种FPGA实现的特征提取图像传感器，其特征在于，其由通用图像传感器、AMR控制器、FPGA图像特征提取单元、图像缓存单元、无线传输模块、网络传输模块等组成：所述通用图像传感器是CCD或CMOS图像传感器，推荐采用CMOS图像传感器便于集成一体化和减小体积：所述图像传感器输出数字图像信号；所述AMR控制器用于控制图像和特征图像数据流，在输入、缓冲器、FPGA和输出直接的流动，通过运行软件控制整个处理流程；所述图像缓存单元用来暂存数字图像和特征图像信号；所述无线传输模块用来通过所述的无线网络传输特征图像数据和控制信号；所述网络传输模块用来通过所述的线网络传输特征图像数据和控制信号。

【技术特征摘要】
1.一种FPGA实现的特征提取图像传感器，其特征在于，其由通用图像传感器、AMR控制器、FPGA图像特征提取单元、图像缓存单元、无线传输模块、网络传输模块等组成：所述通用图像传感器是CCD或CMOS图像传感器，推荐采用CMOS图像传感器便于集成一体化和减小体积：所述图像传感器输出数字图像信号；所述AMR控制器用于控制图像和特征图像数据流，在输入、缓冲器、FPGA和输出直接的流动，通过运行软件控制整个处理流程；所述图像缓存单元用来暂存数字图像和特征图像信号；所述无线传输模块用来通过所述的无线网络传输特征图像数据和控制信号；所述网络传输模块用来通过所述的线网络传输特征图像数据和控制信号。2.如权利要求1所述的图像特征提取单元，其特征在于，用FPGA作为图像特征提取单元硬件，所述的硬件运行卷积神经网络作为特征提取。3.如权利要求2所述的卷积神经网络，其特征在于，是一个完整深度学习卷积神经网...

【专利技术属性】
技术研发人员：刘亚平，其他发明人请求不公开姓名，
申请(专利权)人：苏州米特希赛尔人工智能有限公司，
类型：发明
国别省市：江苏,32