一种基于深度学习的压缩对象成像方法及系统技术方案

本发明专利技术公开了一种基于深度学习的压缩对象成像方法及系统，首先通过训练样本图像的深度学习网络，训练得出目标对象的特征测量矩阵和目标对象的重构子网络，再对目标对象进行光学压缩采样、导入重构子网络进行目标对象重建，完成压缩对象成像。本发明专利技术突破了传统成像技术只对整个被摄场景成像的限制，只提取所需的特定目标对象，将其与背景分离，滤除其它背景对象，完成特定目标对象的光学压缩成像，便于目标实时监测、识别与跟踪，同时也大大节省了数据在传输过程中对网络带宽的占用和存储开销，解决了海量数据的存贮与传输问题，提高了系统的实时性。

A method and system of compressed object imaging based on deep learning

【技术实现步骤摘要】
一种基于深度学习的压缩对象成像方法及系统
本专利技术涉及光学成像、计算成像、目标检测、识别与跟踪，以及人工智能应用等
，尤其是指一种基于深度学习的压缩对象成像方法及系统。
技术介绍
在复杂的实物场景下，如何模拟生物视觉系统，快速捕捉到重要的图像信息并进行处理和理解，主动筛选出感兴趣的目标对象，一直是国内外学者热衷的研究方向，具有重要的研究价值。特别是进入到每天都会产生大量数据流的数字化时代，如何充分利用计算机高速计算的特点，在面对复杂的实物场景时，能快速地捕捉到重要的图像信息并进行相应的处理和理解，主动筛选出感兴趣的目标对象，成为多媒体成像技术在大数据时代下的巨大挑战。近年来，基于深度学习的卷积神经网络(CNN)的特征提取方法被证明更为精准和有效，因其能够更加有效地模拟人类视觉系统逐级获取目标对象的特征信息，而逐渐成为计算机视觉领域的主流方法。由此，各学科领域专家纷纷开始探究生物自然视觉的认知机制，尝试使用计算机技术来模拟生物视觉系统来自动筛选和识别人们所感兴趣目标对象。然而目前提出的目标识别和检测方法大都是采用先采集后处理的方式，这会造成系统需要对大量无用信息进行分析和处理，影响系统实时性，且采集到的海量数据在存储和传输过程会给系统硬件和网络带宽带来巨大的压力。显然这种方式会受信息传输速度与信息处理速度的限制，成为制约其发展的瓶颈。如何在确保信息所呈现出来的品质大体不变的前提下，用少量的采样来获得相近质量的信息，成为了当务之急。
技术实现思路
针对上述
技术介绍
中的问题，提供一种全新的基于深度学习的压缩对象成像方法。利用深度网络强有效的特征提取技术来获取特定目标对象的特征测量矩阵，然后将其嵌入到单像素压缩成像系统中，进行目标对象压缩测量，最后通过特定的同一深度学习网络从压缩测量数据中精确恢复出目标对象图像。可以在复杂场景下，在成像过程中排除其他不需要的干扰对象信息，完成对特定目标对象的主动成像。本专利技术所述的一种基于深度学习的压缩对象成像方法，包括：S1获取相机拍摄的训练样本图像；S2去除所述训练样本图像的背景干扰，获得只含有样本物体的标签图像；S3将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象重构子网络；S4将含目标对象的被摄场景图像投影在加载有所述特征测量矩阵的空间光调制器上获得所述目标对象图像的压缩测量数据；S5将所述压缩测量数据导入所述目标对象重构子网络中得到压缩对象成像。所述深度学习源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。本专利技术突破了传统成像技术只对整个被摄图像成像的限制，只提取所需的特定目标对象，将其与背景分离，滤除其它背景对象，完成特定目标对象的光学压缩成像，便于目标实时监测、识别与跟踪，同时也大大节省了数据在传输过程中对网络带宽的占用和存储开销，解决了海量数据的存贮与传输问题，提高了系统的实时性，为机器视觉及人工智能的并行处理提供了可能。具体地，拍摄所述含目标对象的被摄场景图像时设置光源照射在被摄场景上；所述光源为激光器发出的光依次经过中性密度滤光片、针孔滤波器和傅里叶透镜生成的平行光。所述中性密度滤光片是光强调节器件。中性密度滤光片用于调节光路光强达到实验所需条件。经过针孔滤波器的激光可以汇聚成非常小的一点，所以可作为一个接近于理想的点光源来产生球面波。所述傅里叶透镜作用是将针孔滤波器输出的点光源转换为平行光。进一步地，获取相机拍摄的训练样本图像的步骤包括：将样本物体放置于不同自然环境下，通过相机在固定位置拍摄图像；在每一种自然环境下，从0度至359度旋转样本对象物体，每旋转30度就在灰白模式下拍摄一次，累计获取2000张不同角度的训练样本图像。进一步地，所述标签图像是用Photoshop对所述训练样本图像进行抠图操作，去除所有自然环境的背景干扰得到的只含有样本物体的图像。进一步地，将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象重构子网络的步骤包括：将所述训练样本图像放入深度学习网络的输入端，将所述标签图像放入深度学习网络的输出端，利用深度学习网络的特征提取技术和端到端训练方法进行训练，迭代优化误差，待网络收敛后，以深度学习网络第一层的卷积层参数为特征测量矩阵，其他的网络层为目标对象重构子网络。深度学习网络即卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。进一步地，所述特征测量矩阵是以深度学习网络的特征提取技术获取的特定目标对象压缩感知测量所需的测量矩阵参数；所述目标对象重构子网络包括上采样层、下采样层和卷积核大小及数量不同的卷积运算层。进一步地，将含目标对象的被摄场景图像投影在加载有所述特征测量矩阵的调制器上获取所述目标对象图像的压缩测量数据的步骤包括：在DMD空间光调制器上加载所述特征测量矩阵，输入含有目标对象的被摄图像并对其进行压缩采样，获取所述目标对象图像的压缩测量数据。空间光调调制器是一类能将信息加载于一维或者两维的光学数据场上，以便有效的利用光的固有速度、并行性和互连能力的器件。例如通过调制光场的振幅，通过折射率调制相位，通过偏振面的旋转调制偏振态，或是实现非相干--相干光的转换，从而将一定的信息写入光波中，达到光波调制的目的。它常作为实时光学信息处理、光计算和光学神经网络等系统中的构造单元或关键器件。压缩感知，又称压缩采样，压缩传感。它作为一个新的采样理论，通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。进一步地，将所述压缩测量数据导入所述目标对象重构子网络中得到压缩对象成像，其步骤包括：将所述压缩测量数据输入目标对象重构子网络，经过展开拼接操作、不同特征卷积操作、融合操作、上采样操作和下采样操作及误差迭代，输出压缩对象的重构成像结果。卷积操作是指从图像的左上角开始，开一个与模板同样大小的活动窗口，窗口图像与模板像元对应起来相乘再相加，并用计算结果代替窗口中心的像元亮度值。然后，活动窗口向右移动一列，并作同样的运算。以此类推，从左到右、从上到下，即可得到一幅新图像。上采样就是采集模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。所以采样又称为波形的离散化过程。下采样，也就是对信号的抽取。其实，上采样和下采样都是对数字信号进行重采，重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较，大于原信号的称为上采样，小于的则称为下采样。本专利技术还提供一种基于深度学习的压缩对象成像系统，包括：光源生成模块、图像生成模块、图像采集模块和图像重构模块；所述光源生成模块用于获取本文档来自技高网...

【技术保护点】
1.一种基于深度学习的压缩对象成像方法，包括：/n获取相机拍摄的训练样本图像；/n去除所述训练样本图像的背景干扰，获得只含有样本物体的标签图像；/n将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象的重构子网络；/n将含目标对象的被摄场景图像投影到加载有所述特征测量矩阵的空间光调制器上获得目标对象图像的压缩测量数据；/n将所述压缩测量数据导入所述目标对象的重构子网络中得到压缩对象成像。/n

【技术特征摘要】
1.一种基于深度学习的压缩对象成像方法，包括：
获取相机拍摄的训练样本图像；
去除所述训练样本图像的背景干扰，获得只含有样本物体的标签图像；
将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象的重构子网络；
将含目标对象的被摄场景图像投影到加载有所述特征测量矩阵的空间光调制器上获得目标对象图像的压缩测量数据；
将所述压缩测量数据导入所述目标对象的重构子网络中得到压缩对象成像。


2.根据权利要求1所述的一种基于深度学习的压缩对象成像方法，其特征在于：拍摄所述含目标对象的被摄场景图像时设置光源照射在样本物体被摄场景上；所述光源为激光器发出的光依次经过中性密度滤光片、针孔滤波器和傅里叶透镜生成的平行光。


3.根据权利要求1所述的一种基于深度学习的压缩对象成像方法，其特征在于，获取相机拍摄的训练样本图像的步骤包括：将样本物体放置于不同自然环境下，通过相机在固定位置拍摄图像；在每一种自然环境下，从0度至359度旋转样本对象物体，每旋转30度就在灰白模式下拍摄一次，累计获取2000张不同角度的训练样本图像；所述标签图像是用Photoshop对所述训练样本图像进行抠图操作，去除所有自然环境的背景干扰得到的只含有样本物体的图像。


4.根据权利要求1所述的一种基于深度学习的压缩对象成像方法，其特征在于：将所述训练样本图像和所述标签图像输入深度学习网络中训练得出目标对象的特征测量矩阵和目标对象重构子网络的步骤包括：将所述训练样本图像放入深度学习网络的输入端，将所述标签图像放入深度学习网络的输出端，利用深度学习网络的特征提取技术和端到端训练方法进行训练，迭代优化误差，待网络收敛后，以深度学习网络第一层的卷积层参数为特征测量矩阵，其他的网络层为目标对象重构子网络。


5.根据权利要求1所述的一种基于深度学习的压缩对象成像方法，其特征在于：所述特征测量...

【专利技术属性】
技术研发人员：李军，梁创学，李玉慧，王尚媛，雷苗，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东;44