一种基于多目多光谱融合的道路智能监控系统技术方案

本发明专利技术公开了一种基于多目多光谱融合的道路智能监控系统，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。结合多光谱融合图像和双目立体视觉以及基于神经网络的智能识别技术，能够全天时实现对道路目标三维轮廓、距离、速度、车型、车牌和车身记录。车牌和车身记录。车牌和车身记录。

【技术实现步骤摘要】
一种基于多目多光谱融合的道路智能监控系统


[0001]本专利技术涉及道路监控，尤其涉及一种基于多目多光谱融合的道路智能监控系统。

技术介绍

[0002]道路监控常用可见光摄像头和毫米波测距测速雷达或者复合使用，可见光摄像头获取道路目标可见光图像、车牌号码等，毫米波测距测速雷达获取道路目标距离、速度等。为了进一步获取道路目标精细三维轮廓信息，激光雷达技术也开始逐渐应用于道路监控。
[0003]但在实际道路监控应用中，毫米波测距测速雷达无法精细测量道路目标的三维轮廓，而可见光摄像头存在夜视能力差和雨雾恶劣天气适应能力差等问题。新兴的激光雷达技术虽能够精确获得目标的三维轮廓信息，但仍存在恶劣天气适应能力差、价格昂贵、运动部件导致使用寿命短等问题。所以需要开发低成本、全天时、长寿命和良好恶劣天气适应力的道路监控设备，能够同时覆盖道路目标测距、测速、目标纹理、三维轮廓以及车牌识别等功能。

技术实现思路

[0004]鉴于目前存在的上述不足，本专利技术提供一种基于多目多光谱融合的道路智能监控系统，结合多光谱融合图像和双目立体视觉以及基于神经网络的智能识别技术，能够全天时实现对道路目标三维轮廓、距离、速度、车型、车牌和车身记录。
[0005]为达到上述目的，本专利技术的实施例采用如下技术方案：
[0006]一种基于多目多光谱融合的道路智能监控系统，包括：
[0007]融合相机，包括多个成像通道和图像融合处理器；
[0008]所述多个成像通道，用于获取多个光谱的道路图像；
>[0009]所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；
[0010]综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；
[0011]应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。
[0012]依照本专利技术的一个方面，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器。
[0013]依照本专利技术的一个方面，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像。
[0014]依照本专利技术的一个方面，所述图像融合处理器对道路目标热红外图像进行去噪增强以及畸变校正，对道路短波红外图像或可见微光图像进行ISP预处理。
[0015]依照本专利技术的一个方面，所述图像融合处理器对处理后的道路目标热红外图像以及道路短波红外图像或可见微光图像进行匹配融合生成多目双色融合图像。
[0016]依照本专利技术的一个方面，所述综合处理单元基于多目双色融合图像进行多目立体
视觉处理，生产深度图像，并将深度图像转换为三维点云图像。
[0017]依照本专利技术的一个方面，所述综合处理单元基于多目双色融合图像执行分辨率提升算法生成超分辨率双色融合图像。
[0018]依照本专利技术的一个方面，所述综合处理单元综合超分辨率双色融合图像和三维点云图像执行多目立体视觉算法实现高可靠性道路目标智能识别、分类和测量；执行超分辨双色融合图像语义分割算法，保留道路和道路相关目标信息，剔除无关要素，将目标智能识别和测量结果标注于超分辨双色融合图像中进行输出。
[0019]依照本专利技术的一个方面，还包括显示屏，用于显示道路识别结果和标注。
[0020]依照本专利技术的一个方面，还包括支撑结构，用于支撑融合相机，维持基线稳定。
[0021]本专利技术实施的优点：本专利技术所述的一种基于多目多光谱融合的道路智能监控系统，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。热红外成像不依赖于反射光，表征不同物体的温度场分布情况，可以在恶劣的光照和天气条件下进行检测，尤其针对行人、动物、行驶车辆等强烈高对比度热目标检测能力尤其突出。微光成像可在夜间暗弱光线条件下成像效果好且分辨率较高，短波红外成像同时兼顾目标细节纹理清晰表达和一定的夜视及透雾能力。所以热红外与微光或短波红外传感器的融合提供了全天时以及在恶劣光照和天气条件下更丰富、更可靠、更准确、更智能的被动视觉能力。通过多目立体视觉算法所述系统能够全天时和恶劣天气条件下高密度三维点云获。所述系统同时兼具双光融合和立体视觉能力，使得典型道路目标识别与分析的准确性和可靠性有效提升。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术所述的一种基于多目多光谱融合的道路智能监控系统的组成结构框架图；
[0024]图2为本专利技术所述的一种基于多目多光谱融合的道路智能监控系统的工作流程框架图；
[0025]图3为本专利技术所述的融合相机结构示意图；
[0026]图4为本专利技术所述的一种基于多目多光谱融合的道路智能监控系统的结构示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于
本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]如图1、图2、图3和图4所示，一种基于多目多光谱融合的道路智能监控系统，包括：
[0029]融合相机，包括多个成像通道和图像融合处理器；
[0030]在实际应用中，还包括支撑结构，用于支撑融合相机，维持基线稳定。
[0031]在实际应用中，融合相机为双光谱融合相机，两部、三部或者更多部双光谱融合相机安装在统一的支撑结构上，支撑结构强度高保证了多部相机之间基线的稳定，多部相机之间基线长度根据监测工作距离的需要来调整，最远观测距离在50m～400m范围内进行设定，多部相机视轴平行观察相同场景。
[0032]所述多个成像通道，用于获取多个光谱的道路图像；
[0033]在实际应用中，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器。
[0034]在实际应用中，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像。
[0035]在实际应用中，红外成像传感器为双光谱融合相机的一个成像通道，热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况，可以在恶劣的光照和天气条本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目多光谱融合的道路智能监控系统，其特征在于，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。2.根据权利要求1所述的基于多目多光谱融合的道路智能监控系统，其特征在于，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器。3.根据权利要求2所述的基于多目多光谱融合的道路智能监控系统，其特征在于，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像。4.根据权利要求3所述的基于多目多光谱融合的道路智能监控系统，其特征在于，所述图像融合处理器对道路目标热红外图像进行去噪增强以及畸变校正，对道路短波红外图像或可见微光图像进行ISP预处理。5.根据权利要求4所述的基于多目多光谱融合的道路智能监控系统，其特征在于，所述图像融合处...

【专利技术属性】
技术研发人员：王海伟，肖琳，刘文豪，
申请(专利权)人：数量级上海信息技术有限公司，
类型：发明
国别省市：