仿生视觉融合的恶劣环境成像装置及方法制造方法及图纸

本发明专利技术公开了仿生视觉融合的恶劣环境成像装置及方法，包括：偏振相机、事件相机、边缘计算主机和仿生视觉融合模块；偏振相机用于采集场景的偏振图像，并发送至边缘计算主机；事件相机用于与偏振相机同步采集场景的动态信息，生成事件流，并发送至边缘计算主机；边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；仿生视觉融合模块用于将基于材质差异的对比度增强图像和轮廓边缘图像进行融合，输出结果图像。本发明专利技术能够完成场景中关键视觉信息的多模态提取与融合，实现各种恶劣环境下的稳定成像。实现各种恶劣环境下的稳定成像。实现各种恶劣环境下的稳定成像。

【技术实现步骤摘要】
仿生视觉融合的恶劣环境成像装置及方法


[0001]本专利技术涉及光学成像与计算机视觉
，尤其涉及一种依托于事件相机、偏振相机的恶劣视觉环境成像技术。

技术介绍

[0002]光学成像目前较为成熟的传感器主要为传统相机、激光雷达、毫米波雷达、微光成像和红外成像等。绝大多数成像设备只能在良好的视觉条件或某种特殊环境下具备理想的成像效果，无法胜任多种恶劣环境下的可靠成像任务。
[0003]对于绝大部分民用普通相机而言，只能在具有较高的照明度与良好的视野条件下清晰成像。如传统相机能采集丰富的光学信息，但是不能胜任诸如夜间环境、雾霾天气、强光条件等极端视觉场景下的成像任务。
[0004]对于某些特种成像设备而言，只能在小部分特殊场景下具备良好的成像效果，但这一般是通过牺牲某种性能实现的。激光雷达是以激光器为辐射源的雷达，能全天候工作，但对不良天气的适应能力差；毫米波雷达是工作在毫米波段探测的雷达，其各方面性能较为优越，但是分辨率低；微光成像利用光电阴极将微弱的可见光和近红外光图像转换成相应的电子密度图像，实现光的增强，但是它惧怕强光，不适合白天的场景；红外成像分为被动红外和主动红外，被动红外又被称为热成像，探测物体本身的红外特征，通过非接触探测热量，并将其转换为电信号，进而在显示器上生成热图像和温度值，而主动红外是通过发射红外源把外界的亮度提高上万倍来实现在夜间看到物体的目的，红外相机能够捕捉场景中丰富的物体辐射信息，适用于夜间、温度分布差异较大的场景等，但缺点明显，主要体现在设备体积大、分辨率低、检测距离有限，且红外成像的方式色彩不是像可见光一样真实，锐度也相对较低且在白天尤其是高温天气下表现不佳。其余特种设备也存在类似的问题。
[0005]此外，针对同一个视觉场景，不同的成像设备能够捕捉到不同的语义信息，例如普通可见光相机主要提取场景中的静态绝对光强色彩分布信息，但针对高速动态视觉信息则无能为力，再例如激光雷达能够精准的获取场景的三维结构信息，但不能捕捉丰富的色彩信息。这些传感器对于特定的环境或在特定方面具有显著优势，但是采用单一或少数几种的传感器难以实现全天候、各种场景下的接近于人眼视觉的理想成像效果。也就是说，现有成像设备不能同时提取多模态的视觉特征信息，视觉场景的多模态特征的获取与融合困难。同时传感器种类、数量过多也会造成硬件设计及使用、多类型数据的处理等方面的许多问题。
[0006]因此，如何提供一种对各种不利视觉场景下进行简单、高效成像的仿生视觉融合的恶劣环境成像装置及方法是本领域技术人员亟需解决的问题。

技术实现思路

[0007]有鉴于此，本专利技术提供了提供一种仿生视觉融合的恶劣环境成像装置及方法，采取了偏振相机和事件相机的仿生视觉融合方法，能够完成场景中关键视觉信息的多模态提
取与融合，实现各种恶劣环境下的稳定成像。
[0008]为了实现上述目的，本专利技术采用如下技术方案：一种仿生视觉融合的恶劣环境成像装置，包括：偏振相机、事件相机、边缘计算主机和仿生视觉融合模块；其中，所述偏振相机用于采集场景的偏振图像，并发送至边缘计算主机；所述事件相机用于与所述偏振相机同步采集所述场景的动态信息，生成事件流，并发送至边缘计算主机；所述边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；所述仿生视觉融合模块用于将所述基于材质差异的对比度增强图像和所述轮廓边缘图像进行融合，输出结果图像。
[0009]本专利技术通过配置偏振相机与事件相机两种不同的仿生成像设备，两种相机的特点优势互补，再辅以仿生视觉融合算法决定不同成像信息的交互方式，使得该成像系统的通用性系统既涵盖了两种设备各自针对的成像领域，又针对多个新的极端视觉场景，例如夜间、强光、高速运动、雾天、亮暗骤变等场景，实现可靠的成像效果。
[0010]优选的，所述偏振相机设置有两个，均连接至所述边缘计算主机，用于产生偏振度图像、线偏振光图像或圆偏振光图像。
[0011]优选的，还包括供电模块，用于给偏振相机、事件相机和边缘计算主机统一供电。
[0012]优选的，还包括PoE中继器，所述偏振相机采集的图像传入PoE中继器，PoE中继器与所述边缘计算主机相连接，实现控制信号、图像信息的双向传输。
[0013]优选的，所述PoE中继器通过电源转换模块连接至供电模块，PoE中继器对所述偏振相机进行供电。
[0014]优选的，还包括触控显示平板，所述触控显示平板与所述边缘计算主机相连接，用于显示所述边缘计算主机输出显示融合后的结果图像。
[0015]优选的，还包括固定平台，所述偏振相机、事件相机和边缘计算主机均固定于所述固定平台上。
[0016]本专利技术还公开了一种根据所述的一种仿生视觉融合的恶劣环境成像装置的成像方法，包括如下步骤：利用偏振相机与事件相机分别同步采集得到同一场景下的偏振图像的视频帧和事件流；利用深度学习方法对所述偏振图像进行学习计算得到设定目标与背景之间满足设定对比度要求的基于材质差异的对比度增强图像；将所述事件流先后通过用于降噪的卷积神经网络、用于超分辨率重建的端到端神经网络，得到动态场景物体的轮廓边缘图像；将轮廓边缘图像与基于材质差异的对比度增强图像融合，实现基于事件流的偏振图像视频高帧率插值，输出结果图像。
[0017]本专利技术偏振相机能够获取场景的静态结构信息与反射光线的偏振态信息，丰富了采集的光学信息，而事件相机能够捕捉场景的动态结构信息与照明变化的事件流信息，本专利技术通过算法流程的合理设计实现两者的结合同时充分发挥两者的优势，能够完成场景中
绝大部分关键视觉信息的多模态提取与融合，最终取得理想的成像效果。
[0018]优选的，还包括利用惯性系统对事件相机进行多自由度定位，并利用定位信息对所述输出的结果图像进行3D场景重建。
[0019]优选的，还包括对事件流进行初步处理的步骤：将所述事件流输送给前馈脉冲神经网络进行动态视觉信息处理，并保留其时间戳信息将所述偏振图像与事件流进行时间上的同步匹配。
[0020]经由上述的技术方案可知，与现有技术相比，本专利技术在硬件设计上将事件相机与偏振相机结合，将两种传感器的不同特点的数据进行融合，同时发挥出偏振相机对于不同材质目标的甄别能力、光学信息丰富与事件相机对于动态信息的敏感、信息量少、高帧率的优势，对视觉系统传入的图像进行事件流去噪、高分辨率重建、偏振图像复原、高帧率插值等算法处理，针对事件相机传入的异步事件流，经过算法处理可以获得清晰的轮廓边缘图像，针对偏振图像可以实现去雾、去水、对比度增强等效果，最终利用事件流对偏振图像视频的高帧率插值可以得到理想视觉效果的高帧率视频成像效果。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仿生视觉融合的恶劣环境成像装置，其特征在于，包括：偏振相机、事件相机、边缘计算主机和仿生视觉融合模块；其中，所述偏振相机用于采集场景的偏振图像，并发送至边缘计算主机；所述事件相机用于与所述偏振相机同步采集所述场景的动态信息，生成事件流，并发送至边缘计算主机；所述边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；所述仿生视觉融合模块用于将所述基于材质差异的对比度增强图像和所述轮廓边缘图像进行融合，输出结果图像。2.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，所述偏振相机设置有两个，均连接至所述边缘计算主机，用于产生偏振度图像、线偏振光图像或圆偏振光图像。3.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，还包括供电模块，用于给偏振相机、事件相机和边缘计算主机统一供电。4.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，还包括PoE中继器，所述偏振相机采集的图像传入PoE中继器，PoE中继器与所述边缘计算主机相连接，实现控制信号、图像信息的双向传输。5.根据权利要求4所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，所述PoE中继器通过电源转换模块连接至供电模块，PoE中继器对所述偏振相机进行供电。6.根据权利要求1所述的一种仿生视觉融合的恶劣环...

【专利技术属性】
技术研发人员：邓岳，王李健，高宁，黄飞策，吴俊，潘宇恒，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：