一种基于深度光流网络的连续帧RD图像目标识别方法技术

本发明专利技术公开了一种基于深度光流网络的连续帧雷达RD图像舰船目标检测识别方法，本发明专利技术方法首先构建连续帧雷达RD图像舰船智能目标检测识别系统，所构建的系统包括：训练数据预处理模块、连续图像特征提取与分析模块、深度光流网络检测识别模块，训练数据预处理模块，获取深度学习线下训练的大量舰船目标与干扰数据，并进行类型标定，对RD图像进行量化、平滑处理；连续图像特征提取与分析模块对连续图像序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像；深度光流网络检测识别模块根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。本发明专利技术方法针对连续帧雷达图像数据存在的帧间关联性，将深度学习模型推广至动态网络，以克服单帧图像信息不足，辨识精度不高等问题。

A method of continuous frame Rd image target recognition based on deep optical flow network

【技术实现步骤摘要】
一种基于深度光流网络的连续帧RD图像目标识别方法
本专利技术涉及一种目标识别方法，特别是一种连续帧雷达RD图像舰船目标智能检测识别方法。
技术介绍
目前雷达目标技术包括高分辨率目标一维距离像(HRRP)、SAR图像识别等内容。对海面高速运动的飞行器来说，雷达和目标的相对运动关系复杂，不仅包括飞行器的高机动，还包括完全未知的舰船目标运动状态，且会受到海情影响，这将导致成像结果出现距离向展宽和方位散焦，因此，距离—多普勒(Range-Doppler，RD)二维像常被用来作为飞行器雷达目标识别的重要数据来源。RD图像是相参雷达在探测海面运动目标时，对多个脉冲信号进行相参处理以获得的探测目标图像。传统的雷达目标识别算法首先对RD图像进行恒虚警检测处理；然后对舰船目标、杂波、岛屿、无源干扰等所占据的多个独立单元进行聚类处理；最后提取不同种类之间的目标有效特征，并进行目标分类识别。在过去几年中，由深度学习研究发展延伸出来的人工智能技术，对各领域的信息处理技术都形成了不小的冲击，例如在光学图像处理中，深度学习很好地解决了图像特征自动提取的问题，在目标检测、分类与识别的各项任务中显示出卓越的性能。目前国内外将深度学习用于雷达图像处理的研究才刚刚起步，未来的飞行器希望利用深度学习技术，通过对目标、环境和干扰等特性的深入研究，深层次挖掘目标、欺骗式干扰在多维度上的微小差异，完成对复杂环境下海面舰船目标的智能识别。深度学习方法已经在静态目标检测方面取得了较为瞩目的成就，FasterR-CNN、YOLO与SSD算法都能够在保证准确率的前提下将检测的速率提升到一个非常快的水准。而对于连续图像序列数据来说，目标在数据中的位置并不像静态图像那样保持不变，而是有可能会因为变形、运动和遮挡等因素导致在某些帧上用静态检测的方法很难检测到结果，因此需要进行该方面的关键技术研究。
技术实现思路
本专利技术目的在于提供连续帧雷达RD图像舰船目标智能检测识别方法，解决在复杂海面干扰环境下，现有的雷达无法对舰船目标进行准确识别的问题。有鉴于此，本专利技术提供的技术方案是：一种连续帧雷达RD图像舰船目标智能检测识别方法，其特征在于，包括：训练数据获取、标定及预处理：获取深度学习线下训练的大量舰船目标与干扰数据，并进行类型标定，同时对距离-多普勒RD图像进行量化、平滑处理。连续图像特征提取与分析：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像。深度光流网络实现舰船目标检测识别：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。至此，完成连续帧雷达RD图像舰船目标智能检测识别。本专利技术实现了以下显著的有益效果：将深度学习技术用于雷达图像处理中，利用多幅图像的帧间信息进行关联图像智能识别，根据目标之前的位置信息预测目标下一时刻的位置信息，同时将多帧识别网络与单帧识别网络相结合进行目标位置检测，单个目标时能够排除冗余帧数，提高检测速度；多个目标时，可以缓解目标遮挡和局部区域重叠问题。算法能够辅助目标的检测识别和定位，进一步提高网络性能。附图说明图1是本专利技术连续帧RD图像舰船目标智能检测识别流程图。具体实例方式以下结合附图对本专利技术的具体实施方式做出详细说明。请参照图1，本专利技术的一种连续帧雷达RD图像舰船目标智能检测识别方法，包括：训练数据获取、连续图像特征提取与分析、深度光流网络实现舰船目标检测识别，并给出识别结果。一种连续帧雷达距离-多普勒RD图像舰船目标智能检测识别方法的具体步骤为：第一步构建连续帧雷达距离-多普勒RD图像舰船目标智能检测识别系统连续帧雷达距离-多普勒RD图像目标检测识别系统：训练数据预处理模块、连续图像特征提取与分析模块、深度光流网络检测识别模块。训练数据预处理模块的功能为：获取深度学习线下训练的大量舰船目标与干扰数据，并进行类型标定，同时对RD图像进行量化、平滑处理。连续图像特征提取与分析模块的功能为：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像。深度光流网络检测识别模块的功能为：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。第二步距离-多普勒图像训练数据获取、标定及预处理训练数据获取：对角反射器、箔条以及舰船目标试验数据进行收集、整理、标注，深度学习模型的输入端为包含目标时域、频域信息的距离-多普勒RD图像，RD图像是相参雷达在探测海面运动目标时，对多个脉冲信号进行相参处理以获得的探测目标图像；训练数据标定：先将回波数据转化为图像数据，然后对于目标、干扰，确定目标名称、中心点位置、长度、宽度以实现多幅图像的自动标定，对于运动目标则设定速度选项以实现自动标定；训练数据预处理：由于雷达图像噪声的存在，连续两帧之间图像相关性会收到噪声的干扰，除却对雷达图像进行量化之外还需对图像进行滤波等平滑处理。第三步连续帧雷达RD图像特征提取与特征分析首先，获取一关键帧(keyframe)的图像，以及残差网络中两种卷积参数所得到的最后一个卷积层之后的特征，然后针对连续图像序列数据中当前帧(currentframe)数据，采用与关键帧用相同的卷积方式得到特征，最后利用一个流场(flowfield)将关键帧的特征图通过流场传播演化得到新的特征图，通过特征流的传播和演化，关键帧的特征图能够演化出与当前帧高度相似的深度特征图；光流网络就是把两个图片作为两个通道输入网络，两个图片分别在两个自网络学习,中间通过相关层(correlationlayer)融合在一起，相关层是两组特征图之间的卷积,即长、宽、高为[h,w,c]的图像A中的k×k的片段(patch)和另一个长、宽、高为[h,w,c]图像B中的片段之间的卷积，公式如下其中{·}表示向量的点积,向量的长度就是特征图的通道数，c为卷积输出结果，f1，f2为需要卷积的特征图，x1，x2为特征图中的像素点，o为片段中的像素点。两个网络经过提炼后(refinement)最终的输出是光流场,其是一个长、宽、高为[h/4,w/4,2]的向量场,每个点都预测当前点的光流(u,v)，网络的损失函数为端点误差，其中uGT，vGT为真实值(groundtruth)。第四步构建深度光流网络实现舰船目标检测识别构建深度特征流(DeepFeatureFlow,DFF)网络，算法流程如下：(1)输入关键视频帧{Ii}(2)初始化关键帧k＝0,f0＝Nfeat(I0),y0＝Ntask(f0)(3)设置遍历变量i，遍历所有帧图像(4)如果关键帧等同当前帧，则更新关键帧k＝i；fk＝Nfeat(Ik)，yk＝Ntask(fk)；(5)否则使用特征流进行传播fi＝W(fk,F(Ik,Ii),S(Ik,Ii))，yi＝Ntask(fi)。(6)结束遍历，输出识别结果{yi}其中Ii表示视频序列中的第i帧图像，fi表示第i帧图像的深度特征图，Nfeat表示特征提取网络，Ntask表示任务网络，即表示某一帧图像的特征图上的目标检测，使用的模型为基于区域的全卷积神经网络。yi表示目标检测网络在特征图上进行目标检测后的结果，W表示由关键帧的特征图传播演化成当前帧的特征图，Mi→k为一个二维的流场(flowfiel本文档来自技高网...

【技术保护点】
1.一种基于深度光流网络的连续帧雷达距离‑多普勒RD图像舰船目标检测识别方法，其特征在于，其包括步骤：训练数据获取、标定及预处理：获取深度学习线下训练的舰船目标与干扰数据，并进行类型标定，同时对距离‑多普勒RD图像进行量化、平滑处理；连续图像特征提取与分析：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像；深度光流网络实现舰船目标检测识别：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。

【技术特征摘要】
1.一种基于深度光流网络的连续帧雷达距离-多普勒RD图像舰船目标检测识别方法，其特征在于，其包括步骤：训练数据获取、标定及预处理：获取深度学习线下训练的舰船目标与干扰数据，并进行类型标定，同时对距离-多普勒RD图像进行量化、平滑处理；连续图像特征提取与分析：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像；深度光流网络实现舰船目标检测识别：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。2.根据权利要求1所述的方法，其特征在于，其中，距离-多普勒图像训练数据获取、标定及预处理包括：训练数据获取：对角反射器、箔条以及舰船目标试验数据进行收集、整理、标注，深度学习模型的输入端为包含目标时域、频域信息的距离-多普勒RD图像，RD图像是相参雷达在探测海面运动目标时，对多个脉冲信号进行相参处理以获得的探测目标图像；训练数据标定：先将回波数据转化为图像数据，然后对于目标、干扰，确定目标名称、中心点位置、长度、宽度以实现多幅图像的自动标定，对于运动目标则设定速度选项以实现自动标定；训练数据预处理：由于雷达图像噪声的存在，连续两帧之间图像相关性会收到噪声的干扰，除却对雷达图像进行量化之外还需对图像进行滤波等平滑处理。3.根据权利要求2所述的方法，其特征在于，连续帧雷达RD图像特征提取与特征分析包括：首先，获取一关键帧keyframe的图像，以及残差网络中两种卷积参数所得到的最后一个卷积层之后的特征，然后针对连续图像序列数据中当前帧currentframe数据，采用与关键帧用相同的卷积方式得到特征，最后利用一个流场flowfield将关键帧的特征图通过流场传播演化得到新的特征图，通过特征流的传播和演化，关键帧的特征图能够演化出与当前帧高度相似的深度特征图；光流网络就是把两个图片作为两个通道输入网络，两个图片分别在两个自网络学习,中间通过相关层correlationlayer融合在一起，相关层是两组特征图之间的卷积,即长、宽、高为[h,w,c]的图像A中的k×k的片段patch和另一个...

【专利技术属性】
技术研发人员：房嘉奇，杨小婷，李洪鹏，何向晨，
申请(专利权)人：北京遥感设备研究所，
类型：发明
国别省市：北京,11