适用于物联网的图像采集系统技术方案

本发明专利技术公开了一种适用于物联网的图像采集系统，它包括多个无线图像采集节点以及依次相连接的ARM无线控制单元、多模无线基带处理单元、网络服务器、FPGA图像处理单元、NAS服务器、客户端，多个无线图像采集节点与ARM无线控制单元分别相连接，无线图像采集节点包括放置于所需采集图像区域并在接收到ARM无线控制单元所发送的控制命令而进行拍摄的摄像头、将所拍摄的图像回传的无线图传模块，FPGA图像处理单元包括将bayer域图像处理至RGB域的图像信号处理模块和进行超分辨率重构的单幅图像超分辨率重构模块，FPGA图像处理单元将处理后的图像输出并存储在NAS服务器上，客户端通过访问NAS服务器对图像进行查看。

Image acquisition system suitable for Internet of things

The invention discloses an image acquisition system for the Internet of things, it includes a plurality of wireless image acquisition node and ARM wireless control unit is connected with a multi-mode wireless baseband processing unit, network server, FPGA image processing unit, a NAS server and a client, a plurality of wireless image acquisition node and ARM wireless control unit respectively. Connected wireless image acquisition node comprises a control command is positioned at a desired image acquisition area and receiving ARM wireless control unit sends the shooting camera, wireless image captured by the return transmission module, FPGA image processing unit including the single image super-resolution reconstruction module Bayer domain image processing to RGB the domain of the image signal processing module and super-resolution reconstruction, FPGA image processing unit will be processed and stored in the output image On the NAS server, the client checks the image by accessing the NAS server.

【技术实现步骤摘要】
适用于物联网的图像采集系统
本专利技术涉及物联网和图像处理领域，具体涉及一种适用于物联网的图像采集系统。
技术介绍
基于物联网的传感技术在智能化的生产和日常生活中的应用越来越广泛，图像传感技术作为其中的一个重要分支，有着重要的研究价值和提升空间。现有的物联网系统对物联网节点价格比较敏感，当传感器的数目达到成百上千的时候，控制物联网节点的成本显得尤为重要，并且大部分物联网图像传感器的分辨率不是很高，对物联网图像的处理不够高效灵活高效，会直接影响用户体验。
技术实现思路
为了解决上述的技术问题，本专利技术的目的在于提出一种适用于物联网的图像采集系统。为了达到上述目的，本专利技术提供了一种技术方案：一种适用于物联网的图像采集系统，它包括多个无线图像采集节点以及依次相连接的ARM无线控制单元、多模无线基带处理单元、网络服务器、FPGA图像处理单元(FPGA：Field－ProgrammableGateArray，现场可编程门阵列)、NAS服务器(NAS：NetworkAttachedStorage，网络附属存储)、客户端，多个无线图像采集节点与ARM无线控制单元分别相连接，无线图像采集节点包括放置于所需采集图像区域并在接收到ARM无线控制单元所发送的控制命令而进行拍摄的摄像头、将所拍摄的图像回传至多模无线基带处理单元的无线图传模块，多模无线基带处理单元将bayer域图像传送至网络服务器，FPGA图像处理单元从网络服务器获取bayer域图像并进行处理，FPGA图像处理单元包括将bayer域图像处理至RGB域的图像信号处理模块(ISP，ImageSignalProcessor)和进行超分辨率重构的单幅图像超分辨率重构模块(SISR，SingleImageSuperResolution)，FPGA图像处理单元将处理后的图像输出并存储在NAS服务器上，客户端通过访问NAS服务器对图像进行查看。进一步地，摄像头包括3A模块。进一步地，多模无线基带处理单元通过LTEcat0或者Wifi协议将bayer域图像传送到网络服务器，多模无线基带处理单元根据需要在LTEcat0和Wifi之间进行实时选择切换。进一步地，图像信号处理模块包括依次相连接的用于对图像的坏点进行修正的原始数据校正模块(Rawdatacorrection)、用于对图像的白平衡进行修正的白平衡修正模块(WhiteBalance)、用于修正镜头畸变的镜头阴影修正模块(Lensshading)、用于降低图像空间和时间噪声的噪声降低模块(NoiseReduciton)、用于提高图像的动态范围的动态范围校正模块(DynamicRangeCorrection)、用于将bayer域图像转至RGB域的去马赛克模块(Demosaic)、用于修正图像的颜色的3×3颜色矩阵模块(3x3colormatrix)、用于提高图像暗区的亮度的亮度校正模块(GammaLUT)、提高图像锐度的锐化模块(Shapening)。进一步地，单幅图像超分辨率重构模块包括卷积神经网络(CNN，ConvolutionNeuralNetworks)。更进一步地，单幅图像超分辨率重构模块还包括用于将原始图像放大的双三次插值模块(Bicubicinterpolation)、与双三次插值模块和卷积神经网络分别相连接并用于将放大的图像由RGB域转到YCbCr域且将Y通道输入到卷积神经网络中进行处理的第一转化模块、与第一转化模块和卷积神经网络分别相连接并用于将卷积神经网络处理后输出的Y通道和双三次插值模块得到的Cb、Cr通道转到RGB域的第二转化模块，卷积神经网络将第一转化模块输出的Y通道处理所得结果和输入图像叠加得到高分辨率图像的Y通道并输出。更进一步地，卷积神经网络的训练方法包括以下步骤：a.将高分辨率的图像进行降采样和插值处理，得到低分辨率的图像；b.将低分辨率的图像作为训练样本，将高分辨率图像和低分辨率图像的差值作为标签进行训练；c.训练的数据来自于BSD500数据集中的200张图片，将图片剪裁(crop)成33*33大小的补片(patch)，进行训练；d.训练方法采用小批量梯度下降法(Mini-BatchGradientDescent)，动量(momentum)设为0.9，权重衰减(weightdecay)设为0.0001；e.卷积神经网络的网络参数初始化方式采用高斯分布(Gaussiandistribution)：均值设为0，标准差设为其中n＝k2c，k为滤波器大小，c为输入通道数；f.训练中使用了调整梯度剪裁(adjustablegradientclipping)将梯度限制在其中θ是预设值，γ是学习率；对卷积神经网络框架(Caffe，ConvolutionalArchitectureforFastFeatureEmbedding)中的sgd_solver.cpp进行修改；g.训练过程中参数设置为lr_policy:multistep,gamma:0.1，stepvalue:30000,stepvalue:60000,stepvalue:90000,max_iter:240000；h.训练的过程中加入了剪枝(pruning)，剪枝方法包括：对每一个卷积层的权值分别求标准差，每层的标准差乘以一个压缩系数，得到一个阈值，将该层绝对值小于该阈值的权值置为0，并加上Mask，在BP过程中不再更新值为0的权值；对卷积神经网络框架中的solver.cpp和solver.hpp进行修改；测试数据集来自B100中的100张图片。进一步地，客户端包括手机客户端和/或电脑客户端。通过采用上述技术方案，本专利技术所提出的适用于物联网的图像采集系统，采用精简化的无线图像采集节点，传感器(sensor)只含有简单的3A模块和图传模块，不包含完整的ISP处理模块，只保留核心的图像采集和图传功能，极大的降低了无线采集节点的成本，适用于需要大量布置图像采集节点的应用场景；多模无线基带处理单元保证了通信协议的灵活切换；FPGA图像处理单元可以保证在有新的算法需要实施的时候，可以灵活进行更新；在FPGA图像处理单元中加入了单幅图像超分辨率重构模块，有效提高图像分辨率；NAS存储器保证了所采集的图像信息的安全存储以及灵活访问。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。附图说明图1为根据本专利技术适用于物联网的图像采集系统的结构示意框图。图2为根据本专利技术适用于物联网的图像采集系统中图像信号处理模块(ISP)的结构示意框图。图3为根据本专利技术适用于物联网的图像采集系统中单幅图像超分辨率重构(SISR)的算法示意图。图4为根据本专利技术适用于物联网的图像采集系统中单幅图像超分辨率重构(SISR)经过剪枝(pruning)之后的权值压缩情况；图5为根据本专利技术适用于物联网的图像采集系统中单幅图像超分辨率重构(SISR)在剪枝(Pruning)前后超分变率重构性能性能对比；图6为根据本专利技术适用于物联网的图像采集系统中单幅图像超分辨率重构(SISR)的硬件结构示意框图。图7至图11为根据本专利技术实施的SISR中的子模块的硬件框图。。具体实施方式下面结合附图和实施例，对本文档来自技高网...

【技术保护点】
一种适用于物联网的图像采集系统，其特征在于：它包括多个无线图像采集节点以及依次相连接的ARM无线控制单元、多模无线基带处理单元、网络服务器、FPGA图像处理单元、NAS服务器、客户端，所述的多个无线图像采集节点与ARM无线控制单元分别相连接，所述的无线图像采集节点包括放置于所需采集图像区域并在接收到所述ARM无线控制单元所发送的控制命令而进行拍摄的摄像头、将所拍摄的图像回传至所述多模无线基带处理单元的无线图传模块，所述的多模无线基带处理单元将bayer域图像传送至所述网络服务器，所述的FPGA图像处理单元从网络服务器获取bayer域图像并进行处理，所述的FPGA图像处理单元包括将所述bayer域图像处理至RGB域的图像信号处理模块和进行超分辨率重构的单幅图像超分辨率重构模块，所述FPGA图像处理单元将处理后的图像输出并存储在所述NAS服务器上，所述的客户端通过访问NAS服务器对图像进行查看。

【技术特征摘要】
1.一种适用于物联网的图像采集系统，其特征在于：它包括多个无线图像采集节点以及依次相连接的ARM无线控制单元、多模无线基带处理单元、网络服务器、FPGA图像处理单元、NAS服务器、客户端，所述的多个无线图像采集节点与ARM无线控制单元分别相连接，所述的无线图像采集节点包括放置于所需采集图像区域并在接收到所述ARM无线控制单元所发送的控制命令而进行拍摄的摄像头、将所拍摄的图像回传至所述多模无线基带处理单元的无线图传模块，所述的多模无线基带处理单元将bayer域图像传送至所述网络服务器，所述的FPGA图像处理单元从网络服务器获取bayer域图像并进行处理，所述的FPGA图像处理单元包括将所述bayer域图像处理至RGB域的图像信号处理模块和进行超分辨率重构的单幅图像超分辨率重构模块，所述FPGA图像处理单元将处理后的图像输出并存储在所述NAS服务器上，所述的客户端通过访问NAS服务器对图像进行查看。2.根据权利要求1所述的适用于物联网的图像采集系统，其特征在于：所述的摄像头包括3A模块。3.根据权利要求1所述的适用于物联网的图像采集系统，其特征在于：所述的多模无线基带处理单元通过LTEcat0或者Wifi协议将所述bayer域图像传送到所述网络服务器，所述的多模无线基带处理单元根据需要在LTEcat0和Wifi之间进行实时选择切换。4.根据权利要求1所述的适用于物联网的图像采集系统，其特征在于：所述的图像信号处理模块包括依次相连接的用于对图像的坏点进行修正的原始数据校正模块、用于对图像的白平衡进行修正的白平衡修正模块、用于修正镜头畸变的镜头阴影修正模块、用于降低图像空间和时间噪声的噪声降低模块、用于提高图像的动态范围的动态范围校正模块、用于将bayer域图像转至RGB域的去马赛克模块、用于修正图像的颜色的3×3颜色矩阵模块、用于提高图像暗区的亮度的亮度校正模块、提高图像锐度的锐化模块。5.根据权利要求1所述的适用于物联网的图像采集系统，其特征在于：所述的单幅图像超分辨率重构模块包括卷积神经网络。6.根据权利要求5所述的适用于物联网的图像采集系统，其特征在于：所述的单幅图像超...

【专利技术属性】
技术研发人员：吴晨健，王志伟，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32