【技术实现步骤摘要】
红外图像及深度图像双模态目标分割方法及装置
本专利技术涉及目标检测
，特别是涉及一种红外图像及深度图像双模态目标分割方法。
技术介绍
在现有技术中，图像中的目标分割通常基于颜色、形状和纹理的特征进行分割，相应的分割方法包括大津阈值分割、水域分割、背景减除法等。随着深度学习技术的快速发展，使用深度学习方法进行目标分割已成为图像分割领域的主流算法。相比于传统手工提取特征，卷积神经网络利用自身多层网络结构学习更高级复杂的特征，可实现更为精确的分割结果。可见光图像在弱光照下无法清晰成像，使得红外图像成为进行全天候目标检测的手段。红外图像信噪比低、亮度分布不均匀，因此利用红外图像分割出的目标可能会存在明显的问题，比如人体部位不连贯、人体边缘不清晰等。深度图像可提供场景外的几何特征，将深度信息融入红外图像的目标分割，可以缓解单纯利用红外图像分割所产生的问题。鉴于此，本专利技术提出一种红外图像及深度图像双模态目标分割方法，融合红外图像及深度图像两种模态的特征进行目标分割，以缓解现有技术的不足。专利技术...
【技术保护点】
1.一种红外图像及深度图像双模态目标分割方法，其特征在于，包括：/n将所述红外图像及深度图像分别送入卷积神经网络，所述卷积神经网络包含5个卷积层，所述红外图像经过第i个卷积层后生成红外特征图序列R
【技术特征摘要】
1.一种红外图像及深度图像双模态目标分割方法，其特征在于，包括：
将所述红外图像及深度图像分别送入卷积神经网络，所述卷积神经网络包含5个卷积层，所述红外图像经过第i个卷积层后生成红外特征图序列Ri，所述深度图像经过第i个卷积层后生成深度特征图序列Di，其中i＝1…5；
将所述Di经过若干次卷积与线性修正后，与所述Ri相加得到Ti，将所述Ti经过池化操作或线性插值后得到分辨率相同的融合特征图序列Fi；
将所述Di经过池化和卷积后进行softmax处理得到深度引导向量VF；
将所述Fi进行像素级相加得到融合特征图Ffuse；
将所述VF作为DMSW模块的引导向量，将所述Ffuse送入DMSW模块与RAM模块，再经softmax处理生成目标分割结果。
2.根据权利要求1所述的方法，其特征在于，将所述深度图像送入卷积神经网络前，还包括：
对所述深度图像进行HHA编码，形成编码后的深度图像。
3.根据权利要求1所述的方法，其特征在于，将所述Fi进行像素级相加得到融合特征图Ffuse的步骤，还包括：
计算F12、F22、F32及F42，其中
计算F13、F23及F33，其中
计算F14及F24，
所述Ffuse＝F14+F24。
4.一种红外图像及深度图像双...
【专利技术属性】
技术研发人员：刘博，张孟希，周付根，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。