一种基于神经网络的动态目标鬼成像系统与方法技术方案

一种基于神经网络的动态目标鬼成像系统和方法，该系统包括照明激光光源、空间光调制模块、光强探测采集模块以及数据处理模块。首先，通过在空间光调制模块上加载傅里叶模式矩阵对激光光源的出射光进行傅里叶基底调制，将调制后的模式光投射到运动目标所在场景上；然后，所述光强探测采集模块从目标场景采集光强，实现基于傅里叶鬼成像的图像信息采集；再通过数据处理模块将采集的光强序列输入傅里叶鬼成像神经网络获得对应目标预测图，输出重构的运动目标成像结果，实现对运动物体的高分辨成像。本发明专利技术可提高运动物体成像的质量，实现在散射场景下的运动目标高分辨成像，避免在鬼成像恢复图像中产生因高速运动而导致的运动模糊。动模糊。动模糊。

【技术实现步骤摘要】
一种基于神经网络的动态目标鬼成像系统与方法


[0001]本专利技术涉及光学成像技术，尤其是一种基于神经网络的动态目标鬼成像系统与方法。

技术介绍

[0002]光学成像技术是人类对客观世界进行观测和感知的重要手段，利用成像系统及光学观测技术对光束自由传播及与介质相互作用过程中的基本特征量进行观测采集，从而获取可处理的客观场景世界的信息。传统成像系统使用由物体透射或反向散射的光在胶片或焦平面检测器阵列上形成图像，即以标量衍射理论作为光波传播时遵循规律以表征对离散目标点分辨力，这也表明传统成像系统的信息获取处理存在极限且易受到环境的影响，观测场景与成像设备间具有环境不确定性，例如光在自由空间传播过程中受到大气湍流、空气分子和悬浮粒子(气溶胶粒子、降水质点)等影响,将出现衰减、闪烁、偏移、强度和相位起伏且其光学条件随时空变化而不断变化等，使原本有序的波前相位严重畸变,在对目标进行观测成像时，因接收无序光场信号在观测面上会形成散斑图案，并导致目标图像缺乏细节特征、成像信噪比低易被复杂背景淹没等问题。为了使光学成像技术在无人驾驶、机器人视觉、智能家居、遥感、显微和监控安防等领域有着更广泛的应用，对光学成像中的信息获取与处理有着更高要求。计算鬼成像作为一种新型光学成像技术，通过与深度学习、单像素传感器等结合，不仅具备超越传统成像方法的新能力，也为动态场景高分辨率成像提供了解决问题新方案。计算鬼成像技术基于随机光场与光强探测传感器探测光强的二阶关联运算解耦来获取图像信息，利于保持所采集光强信息涨落趋势，对散射介质成像及远距离探测等大范围动态场景实现高分辨成像具有独特优势。实际应用过程中，大部分目标相对于成像系统是运动的，而在鬼成像系统中重建高质量的图像需要大量的采样，因此采样过程与图像恢复过程中会消耗大量时间，因此对于运动物体的进行动态计算鬼成像时会在恢复图像中产生因高速运动而导致的运动模糊，使得对运动物体成像的质量下降甚至无法重构。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本专利技术的主要目的在于克服上述
技术介绍
的缺陷，提供一种基于神经网络的动态目标鬼成像系统与方法。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于神经网络的动态目标鬼成像系统，包括照明激光光源、空间光调制模块、光强探测采集模块以及数据处理模块，其中，所述空间光调制模块通过加载傅里叶模式矩阵对激光光源的出射光进行傅里叶基底调制，并将调制后的模式光投射到运动目标所在场景上；所述光强探测采集模块从目标场景采集光强，实现基于傅里叶鬼成像的图像信息采
集，所述数据处理模块将采集的光强序列输入傅里叶鬼成像神经网络获得对应目标预测图，输出重构的运动目标成像结果，实现对运动物体的高分辨成像。
[0007]进一步地：
[0008]所述傅里叶鬼成像神经网络为从光电信号到二维图像的端到端深度学习网络，通过所述光强探测采集模块采集的一维信号重建运动目标的高分辨图像。
[0009]所述光强探测采集模块为桶探测器。
[0010]所述数据处理模块利用采集的场景光强序列参数对运动目标进行表征，获得目标场景内的散射场景下的频谱信息，通过所述傅里叶鬼成像神经网络对运动目标进行重构。
[0011]基于压缩采样的傅里叶鬼成像模式，根据所述光强探测采集模块接收到的光强序列获得场景的频谱信息，其中，傅里叶基底根据式(1)确定：
[0012]T(x,y；f
x
,f
y
；θ)＝a+bcos(2πf
x
x+2πf
y
y+θ)
ꢀꢀ
(1)
[0013]其中a,b为平移和缩放系数，在(f
x
,f
y
)频域点处的值由T(x,y；f
x
,f
y
；θ)示出，其中每对频域点处由四个不同的相位控制
[0014]所述基于傅里叶鬼成像的图像信息采集包括对目标进行状态感知并采取策略消除相对运动；根据场景的不同生成不同频率采样率的模式进行光强信号采集。
[0015]根据场景中的目标进行平移时其频谱信息与目标静态时具有的相关性，通过傅里叶模式下采集的频谱信息获得移动目标的相关信息。
[0016]所述基于傅里叶鬼成像的图像信息采集包括：当目标在场景中进行相对系统的切向平移移动时，采集切向平面上目标不同运动速度和方向下的全局场景光强序列。
[0017]所述傅里叶鬼成像神经网络是采用不同静态目标在场景下的频谱信息作为输入数据输入，目标空域像素信息作为标签，来训练得到。
[0018]一种基于神经网络的动态目标鬼成像方法，使用所述的动态目标鬼成像系统实现动态目标鬼成像。
[0019]本专利技术具有如下有益效果：
[0020]本专利技术提供一种基于神经网络的动态目标鬼成像系统与方法，建立对应于运动目标散射场景下的成像方案，通过生成傅里叶模式进行主动照明式的计算鬼成像，其中，以傅里叶鬼成像系统对采集的场景光强序列参数对运动目标进行表征，利用采集的光强信号可获得场景内的频谱信息，并在神经网络中优化，可实现对运动目标进行重构。本专利技术从傅里叶鬼成像系统采集获得的光强序列参数出发，可以快速地获取散射场景下的频谱信息，并根据测量得到的数据作为输入，输入给训练好的深度神经网络中进行移动目标图像重构。优选地，傅里叶鬼成像神经网络采用深度神经网络，可通过桶探测器采集的一维信号来重建移动目标的高分辨图像。测试结果表明，本专利技术的系统与方法可以对场景下运动目标进行快速精确的预测，提高运动物体成像的质量，实现在散射场景下的运动目标高分辨成像，避免在恢复图像中产生因高速运动而导致的运动模糊。
附图说明
[0021]图1为本专利技术一种实施例的运动目标鬼成像系统结构示意图。
[0022]图2为本专利技术一种实施例的运动目标在平面内不同方向的傅里叶鬼成像。
[0023]图3为本专利技术一种实施例的运动目标在平面内不同方向的傅里叶鬼成像预测结果。
具体实施方式
[0024]以下对本专利技术的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。
[0025]参阅图1和图2，本专利技术实施例提供一种基于神经网络的动态目标鬼成像系统，包括照明激光光源、空间光调制模块、光强探测采集模块以及数据处理模块，其中，所述空间光调制模块通过加载傅里叶模式矩阵对激光光源的出射光进行傅里叶基底调制，并将调制后的模式光投射到运动目标上；所述光强探测采集模块优选采用桶探测器，从目标场景采集总光强，实现基于傅里叶鬼成像的图像信息采集，所述数据处理模块将采集的光强序列输入傅里叶鬼成像神经网络获得对应目标预测图，输出重构的运动目标成像结果，实现对运动物体的高分辨成像。
[0026]在优选的实施例中，所述傅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的动态目标鬼成像系统，其特征在于，包括照明激光光源、空间光调制模块、光强探测采集模块以及数据处理模块，其中，所述空间光调制模块通过加载傅里叶模式矩阵对激光光源的出射光进行傅里叶基底调制，并将调制后的模式光投射到运动目标所在场景上；所述光强探测采集模块从目标场景采集光强，实现基于傅里叶鬼成像的图像信息采集，所述数据处理模块将采集的光强序列输入傅里叶鬼成像神经网络获得对应目标预测图，输出重构的运动目标成像结果，实现对运动物体的高分辨成像。2.如权利要求1所述的动态目标鬼成像系统，其特征在于，所述傅里叶鬼成像神经网络为从光电信号到二维图像的端到端深度学习网络，通过所述光强探测采集模块采集的一维信号重建运动目标的高分辨图像。3.如权利要求1或2所述的动态目标鬼成像系统，其特征在于，所述光强探测采集模块为桶探测器。4.如权利要求1至3任一项所述的动态目标鬼成像系统，其特征在于，所述数据处理模块利用采集的场景光强序列参数对运动目标进行表征，获得运动目标场景内的散射场景下的频谱信息，通过所述傅里叶鬼成像神经网络对运动目标进行重构。5.如权利要求1至4任一项所述的动态目标鬼成像系统，其特征在于，基于压缩采样的傅里叶鬼成像模式，根据所述光强探测采集模块接受到的光强序列获得场景的频谱信息，其中，傅里叶基底根据式(1)确定：T(x,y；f
x
,f
y
；θ)＝a+bcos(2πf
...

【专利技术属性】
技术研发人员：程雪岷，王安琪，高子琪，陈棵，郝群，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：