一种基于多模态光谱图像的像素级图像分割系统及方法技术方案

本发明专利技术公开了一种基于多模态光谱图像的像素级图像分割系统，多个可见光相机和热成像传感器构成相机阵列，可见光相机搭建为多模态相机阵列组，构成多模态的信息源；图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；服务器对采集工作站中的图形数据进行配准、后处理。本发明专利技术还公开了一种基于多模态光谱图像的像素级图像分割方法，通过将单模态的图像分割算法扩展成多模态输入，并在网络中间层将多模态特征图融合，提高了Mask‑RCNN图像分割算法的精度。同时构建一套多模态光谱图像采集系统，可用于构建多模态数据集，应用于目标检测、图像分割、语义分割等相关机器视觉任务，具有现实的应用前景。

【技术实现步骤摘要】
一种基于多模态光谱图像的像素级图像分割系统及方法
本专利技术涉及计算机视觉中的图像分割领域，更具体的，涉及一种基于多模态光谱图像的像素级图像分割系统及方法。
技术介绍
图像分割是计算机视觉领域中重要的研究课题之一。所谓图像分割，是指根据灰度、色彩、纹理等特征将图像分成若干个互不相交的区域的过程。这些特征在区域内部表现出相似性，在区域外部表现出差异性。近些年来，随着深度学习的发展，图像分割技术也有了巨大的进步，与该技术相关的场景物体分割、人体前背景分割、人脸人体解析、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。在深度学习应用于图像分割之前，人们利用数字图像处理、拓扑学、数学等方面的只是来进行图像分割的方法。随着计算机算力的不断提升，深度学习的分割方法在效果上已大大超越了传统方法。第一篇成功将神经网络应用于图像分割的论文是全卷积神经网络(FullyConvolutionalNetworks)，将用于分类的卷积神经网络中的全连接层换成了卷积层，网络特征图的每一个像素输出一个分类结果，实现了像素级的分割。随后出现的特征金字塔方法(FeaturePyramids)，提取了不同尺度的特征，并将它们融合，有利于得到图像的上下文信息，使得图像分割精细化。如今，Mask-RCNN作为一个两阶段(two-stage)模型，在公开分割数据集表现优异，获得了广泛的应用。Mask-RCNN本质是对Faster-RCNN目标检测算法的拓展，在物体分类和边界框回归的任务上多了一个对边界框内像素点分类的任务，从而实现逐像素分割。但是，传统的图像分割任务在某些现实场景中的应用仍然具有很大的挑战。在诸如军事、遥感、安全等领域，可见光波段的图像具有较大的局限性，制约了图像分割的精度。例如，在迷彩伪装下的车辆和人员，因其色彩与纹理特征都与野外的环境较为相似，可见光的图像难以提供足够的信息。现已有许多工作，将热图像这一波段的信息应用于目标检测和图像分割等近似的视觉任务中，并取得了不错的成果。然而，对于炎热气温中的人员，或是非热源的伪装物体，红外波段的图像仍难以提供可靠的信息源。在此专利中，我们将提出一种以Mask-RCNN为算法基础，采集多光谱图像，融合多模态特征的方法，大幅提高在复杂环境低辨识度下图像分割算法的精度。
技术实现思路
针对上述技术中现有的问题，本专利技术公开了一种基于多模态光谱图像的像素级图像分割系统及方法，通过将不同模态的图像信息在网络的中间层融合，提高图像分割算法的精度。为了实现上述专利技术目的，本专利技术采用的技术方案为：一种基于多模态光谱图像的像素级图像分割系统，包括多模态的信息源、图形采集卡、采集工作站、服务器；多模态的信息源包括多个可见光相机和热成像传感器构成的相机阵列，搭建为多模态相机阵列组；图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；服务器对采集工作站中的图形数据进行配准、后处理。进一步的，可见光相机上加装滤光片或偏振片作为多模态元件，多模态元件包括至少2种。优选情况中，可以包括彩色光，单色光，近红外光，近紫外光，偏振光以及热图像等多种模态。进一步的，为了解决不同模态传感器之间的匹配问题，确定多模态的信息源的拍摄帧率、曝光角信息，并使多个可见光相机和热成像传感器之间的间距满足一定的比例关系。进一步的，多模态的信息源采用统一的TTL同步触发器，同步触发器以固定的频率向外输出多路信号，同时送往各模态的相机外接快门线；同步触发器每发出一次信号，多模态的信息源同时通过图形采集卡将图像保存至图形工作站。使得不同模态传感器采集的数据完全同步。解决了由于彩色相机和热成像相机的传感器曝光方式、触发机制差异造成的同步拍摄困难。本专利技术还公开了一种基于多模态光谱图像的像素级图像分割方法，包括以下步骤：步骤一、获得多模态图像数据。多模态的信息源采集图像，获得多模态图像数据。步骤二、图像配准。将多模态图像数据进行图像配准，使得位于不同模态图像上同一个标记物的位置保持一致。步骤三、构建多模态Mask-RCNN模型。构建多模态Mask-RCNN模型，将配准后的图像作为数据输入，得到每一个模态的图像的特征图，并将特征图进行融合；对融合后的特征图进行预测，最小化目标损失函数，最后一并完成完成目标分类，边界框预测以及目标物的像素级分割的任务。步骤二进一步包括如下步骤：通过可见光相机外参进行图像配准：提取除红外特征外图像的特征点，然后根据汉明距离求取匹配的特征点，根据匹配点求取图像对之间的变换矩阵，进行第一次配准，直至除红外特征外图像以外的各模态的图片都依照相同的基准；最后将所有图像采样至相同的分辨率，作为图像分割方法的数据输入。作为优选的，在可见光相机图像-红外图像对中，在整个图像上均匀选取5对以上特征点，求取变换矩阵实现配准。图像配准后，位于不同模态图像上同一个标记物的位置保持一致。步骤三进一步包括如下步骤：对于每一个模态分别训练一个特征金字塔网络，在第三个卷积块之后，将每个单模态训练的卷积块的特征图进行融合，得到了融合不同模态信息的多尺度的特征图金字塔；随后，在Mask-RCNN模型中初步预测边界框，将RoI池化层换成RoIAlign层，减少因多次量化带来的精度损失；最后对融合后的特征图进行预测，最小化目标损失函数，同时完成目标分类，边界框预测以及目标物的像素级分割的任务。本专利技术具有以下有益效果：1、构建了一套多模态光谱图像拍摄系统，首次尝试将多模态图像信息应用于图像分割领域，可以获得彩色光、单色光、偏振光、近红外光、近紫外光等多种模态的图像，可用来构建多模态数据集，应用于目标检测、图像分割、语义分割等相关机器视觉任务。2、实现了一套多模态像素级图像分割算法，通过将单模态的图像分割算法扩展成多模态输入，并在网络中间层将多模态特征图融合，提高了Mask-RCNN图像分割算法的精度，具有现实的应用前景。将多模态图像融合时，这些通道为伪装表面掩模的预测提供了补充信息。针对纹理、色彩不同的迷彩伪装，在不同的光谱波段图像有不同强度的特征响应，弥补了仅仅依靠彩色光识别目标的不足。各模态的信息相互补充，提升了图像分割算法的性能。附图说明图1为本专利技术实施例的图像分割方法多模态图像采集系统模型。图2为本专利技术实施例的图像分割方法多模态Mask-RCNN算法框架流程图。具体实施方式为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明。实施例：步骤一、本专利技术涉及的多模态图像采集系统如图1所示，解决了由于彩色相机和热成像相机的传感器曝光方式、触发机制差异造成的同步拍摄困难。该系统可进行车载作业，配备了增稳平台，具备行进间连续拍摄多模态图像能力。试验系统的可见光相机选用多台工业成像传感器BFLY-U3-23S6C-C，搭配多种工业光学模块，每个工业相机加装了HC-1205A光学镜头，图像分辨率最大可达1920×1200像素；红外热成像仪选用LW本文档来自技高网...

【技术保护点】
1.一种基于多模态光谱图像的像素级图像分割系统，其特征在于：包括多模态的信息源、图形采集卡、采集工作站、服务器；/n多模态的信息源包括多个可见光相机和热成像传感器构成的相机阵列，搭建为多模态相机阵列组；/n图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；/n服务器对采集工作站中的图形数据进行配准、后处理。/n

【技术特征摘要】
1.一种基于多模态光谱图像的像素级图像分割系统，其特征在于：包括多模态的信息源、图形采集卡、采集工作站、服务器；
多模态的信息源包括多个可见光相机和热成像传感器构成的相机阵列，搭建为多模态相机阵列组；
图形采集卡连接多模态的信息源与采集工作站，将采集的图像数据存储在采集工作站中；
服务器对采集工作站中的图形数据进行配准、后处理。


2.根据权利要求1所述的基于多模态光谱图像的像素级图像分割系统，其特征在于：可见光相机上加装滤光片或偏振片作为多模态元件，多模态元件包括至少2种。


3.根据权利要求1或2所述的基于多模态光谱图像的像素级图像分割系统，其特征在于：确定多模态的信息源的拍摄帧率、曝光角信息，并使多个可见光相机和热成像传感器之间的间距满足一定的比例关系。


4.根据权利要求1或2所述的基于多模态光谱图像的像素级图像分割系统，其特征在于：多模态的信息源采用统一的TTL同步触发器，同步触发器以固定的频率向外输出多路信号，同时送往各模态的相机外接快门线；同步触发器每发出一次信号，多模态的信息源同时通过图形采集卡将图像保存至图形工作站。


5.一种基于多模态光谱图像的像素级图像分割方法，其特征在于，应用权利要求1所述的基于多模态光谱图像的像素级图像分割系统，包括以下步骤：
步骤一、多模态的信息源采集图像，获得多模态图像数据；
步骤二、图像配准：将多模态图像数据进行图像配准，使得位于不同模态图像上同一个标记物的位置保持一致；
步骤三、构建多模态Mask-RCNN模型，将配准...

【专利技术属性】
技术研发人员：李杨，都思丹，周子豪，李明，彭成磊，陈佟，陈旭东，杨帆，王杰，黎琪，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32