基于卫星超时相数据多源信息的运动目标提取方法技术

本发明专利技术涉及一种基于卫星超时相数据多源信息的运动目标提取方法，包括：a、采集一区域的超时相图像，并对图像进行预处理；b、初步提取图像中的运动目标，并提取图像中运动目标依赖的道路目标；c、依据初步提取的运动目标和道路目标共同完成图像中运动目标的进一步提取；d、对步骤c提取的目标结果图像进行形态学处理，得到最终结果。本发明专利技术在视频卫星光谱、纹理、时间序列等特征的基础上，提取出运动目标的空间几何形状、运动速度、以及所依赖的道路环境等信息，共同用于运动目标的探测，避免了一些由于视差引起的伪运动目标、以及由于配准误差和随机噪声引起的虚假运动目标的影响，有效提升了运动目标检测的准确率，并降低了误检率。率。率。

【技术实现步骤摘要】
基于卫星超时相数据多源信息的运动目标提取方法


[0001]本专利技术涉及一种基于卫星超时相数据多源信息的运动目标提取方法。

技术介绍

[0002]运动目标检测是计算机视觉、遥感图像处理、人工智能等领域交叉融合形成的技术，是态势感知的重要研究内容。其不仅能够感知事物的存在，同时还可以感知到事物的动态变化趋势。这一点在军用和民用领域的实时侦查、实时监控、实时控制等方面都发挥着极其重要的作用。视频卫星是一项新型对地观测技术，能够从运动的卫星平台上捕捉连续影像，为运动目标检测与态势感知提供了可靠的数据来源。视频卫星大面积观测、高空间分辨率、视频连续成像等特点，使其可迅速获取地表的实时动态信息。
[0003]由于卫星平台与地表的相对运动，地表高低起伏等因素造成视频不同帧之间存在平移、旋转、扭曲、拉伸等形变。因此，高层建筑、铁塔等目标会呈现出明显的伪运动特征。若利用传统的帧间差分法、背景建模法、光流法等运动目标检测算法直接对视频卫星的运动目标进行检测，则可能会将这些高层目标误判为运动目标。并且，仅依靠对传统方法的简单改进也难以完成对由于图像平移产生的地物边缘，视差变化引起的高处目标伪运动的识别。

技术实现思路

[0004]本专利技术的目的在于提供一种基于卫星超时相数据多源信息的运动目标提取方法。
[0005]为实现上述专利技术目的，本专利技术提供一种基于卫星超时相数据多源信息的运动目标提取方法，包括以下步骤：
[0006]a、采集一区域的超时相图像，并对图像进行预处理；
[0007]b、初步提取图像中的运动目标，并提取图像中运动目标依赖的道路目标；
[0008]c、依据初步提取的运动目标和道路目标共同完成图像中运动目标的进一步提取；
[0009]d、对所述步骤(c)提取的目标结果图像进行形态学处理，得到最终结果。
[0010]根据本专利技术的一个方面，在所述步骤(a)中，采集当前帧图像并在当前帧的前、后一段时间内各采集一帧图像，形成前帧、当前帧和后帧的三帧序列；
[0011]三帧图像采集的时间间隔通过运动目标的速度、长度以及视频的帧频共同决定，运动目标在提取出的相邻帧之间的运动幅度在10m至100m之间。
[0012]根据本专利技术的一个方面，所述步骤(a)中的预处理为，以当前帧为基准先后对其之前和之后提取出的一帧图像进行帧间配准；
[0013]所述帧间配准包括，将当前帧图像与其之前或之后的一帧图像读入数组，采用SIFT、SURF、ORB或AKAZE算法对两帧图像分别进行关键点检测和特征描述；
[0014]利用匹配器对两帧图像上的关键点进行特征匹配，匹配的方法是计算每对关键点之间的描述符的距离，返回与每个关键点的k个最佳匹配中的最小距离；
[0015]根据匹配点对计算两幅图像变换的单应矩阵，对当前帧之前或之后的一帧图像进
行图像变形，变形时采用RANSAC算法去除异常点对。
[0016]根据本专利技术的一个方面，在所述步骤(b)中，初步提取图像中的运动目标的方式为分别基于运动目标的速度属性和时间序列属性提取运动目标；
[0017]基于运动目标的速度属性提取运动目标时，利用光流法对当前帧及其之前的一帧图像进行稠密光流解算，获得每个像元的光流状态，像元的速度和方向均不变则为背景，反之则为前景目标；
[0018]基于运动目标的时间序列属性提取运动目标时，利用三帧差分法结合运动目标在时间序列上的运动性特征，初步划分出前景目标和背景目标；
[0019]利用基于深度学习的D_LinkNet网络在图像上对运动目标依赖的道路目标进行提取。
[0020]根据本专利技术的一个方面，基于运动目标的速度属性提取运动目标时，依次输入需要进行光流计算的前一帧图像和当前帧图像，指定图像比例为每个图像构建金字塔；
[0021]确定金字塔的层数、平均窗口的大小、算法在图像金字塔每层的迭代次数、在每个像素点处计算多项式展开的相邻像素点的个数、用于平滑导数的高斯标准偏差以及初始流近似；
[0022]将计算的光流从笛卡尔坐标系转化到极坐标系下，获取每个像素点的速度和方向；
[0023]根据光流解算的速度和方向，像素点的速度和方向值均为0的表示为背景目标，否则，为前景目标。
[0024]根据本专利技术的一个方面，所述步骤(b)中基于运动目标的时间序列属性提取运动目标时，将采集到的三帧图像全部读取，并将图像由RGB图转化为灰度图；
[0025]分别将当前帧的灰度图和其之前和之后帧的灰度图做帧间差分获得两个差值图；
[0026]设定阈值以对两个差值图分别进行二值化，得到两个区分了前景和背景目标的二值图；
[0027]对两个二值图进行与操作，并在相交后的图像中进行运动目标的提取。
[0028]根据本专利技术的一个方面，所述步骤(b)中提取运动目标依赖的道路目标时，首先构建网络训练和测试的样本数据集，用于生成道路提取网络；
[0029]选取一些目标卫星的遥感影像，对影像中的道路目标和其他目标进行标注；
[0030]将数据集按一定比例划分为训练集、验证集和测试集，训练集用于对网络参数进行迭代训练，验证集用于验证所训练模型是否能够达到期望的精度；
[0031]将当前帧图像作为测试数据集，输入训练好的道路提取网络，得到最终的道路分割结果。
[0032]根据本专利技术的一个方面，所述道路提取网络是一个基于encoder
‑
bridge
‑
decoder结构的U型网络；
[0033]网络中的encoder部分为一个ResNet34，bridge部分为五个卷积块；
[0034]decoder部分为encoder部分的逆操作，并采用上采样并与同级别的encoder部分相叠加。
[0035]根据本专利技术的一个方面，在所述步骤(c)中，对所述步骤(b)提取的三类结果分别进行0、1二值化存储，0表示背景目标，1表示前景；
[0036]对经过二值化存储后数值共同为1的目标进行提取，作为运动目标的精准提取结果。
[0037]根据本专利技术的一个方面，所述步骤(d)中的形态学处理为，采用3*3圆形模板结构，对经过最终目标提取的图像进行形态开运算，以消除图像中的斑点；
[0038]采用3*3圆形模板结构，对经过形态开运算的图像进行形态闭运算，以消除图像中的孔洞；
[0039]还包括对经过形态学处理的图像进行连通性分析，按以下规则提取出最终的运动目标：
[0040]当目标尺寸在4像元至2000像元之间、目标长宽比在8以下、目标面积与最小外接矩形面积的比例大于0.2以及目标的平均像素值在10至250之间时，确定为车辆目标。
[0041]根据本专利技术，在视频卫星光谱、纹理、时间序列等特征的基础上，提取出运动目标的空间几何形状、运动速度、以及所依赖的道路环境等信息，共同用于运动目标的探测，避免了一些由于视差引起的伪运动目标、以及由于配准误本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卫星超时相数据多源信息的运动目标提取方法，包括以下步骤：a、采集一区域的超时相图像，并对图像进行预处理；b、初步提取图像中的运动目标，并提取图像中运动目标依赖的道路目标；c、依据初步提取的运动目标和道路目标共同完成图像中运动目标的进一步提取；d、对所述步骤(c)提取的目标结果图像进行形态学处理，得到最终结果。2.根据权利要求1所述的方法，其特征在于，在所述步骤(a)中，采集当前帧图像并在当前帧的前、后一段时间内各采集一帧图像，形成前帧、当前帧和后帧的三帧序列；三帧图像采集的时间间隔通过运动目标的速度、长度以及视频的帧频共同决定，运动目标在提取出的相邻帧之间的运动幅度在10m至100m之间。3.根据权利要求2所述的方法，其特征在于，所述步骤(a)中的预处理为，以当前帧为基准先后对其之前和之后提取出的一帧图像进行帧间配准；所述帧间配准包括，将当前帧图像与其之前或之后的一帧图像读入数组，采用SIFT、SURF、ORB或AKAZE算法对两帧图像分别进行关键点检测和特征描述；利用匹配器对两帧图像上的关键点进行特征匹配，匹配的方法是计算每对关键点之间的描述符的距离，返回与每个关键点的k个最佳匹配中的最小距离；根据匹配点对计算两幅图像变换的单应矩阵，对当前帧之前或之后的一帧图像进行图像变形，变形时采用RANSAC算法去除异常点对。4.根据权利要求2所述的方法，其特征在于，在所述步骤(b)中，初步提取图像中的运动目标的方式为分别基于运动目标的速度属性和时间序列属性提取运动目标；基于运动目标的速度属性提取运动目标时，利用光流法对当前帧及其之前的一帧图像进行稠密光流解算，获得每个像元的光流状态，像元的速度和方向均不变则为背景，反之则为前景目标；基于运动目标的时间序列属性提取运动目标时，利用三帧差分法结合运动目标在时间序列上的运动性特征，初步划分出前景目标和背景目标；利用基于深度学习的D_LinkNet网络在图像上对运动目标依赖的道路目标进行提取。5.根据权利要求4所述的方法，其特征在于，基于运动目标的速度属性提取运动目标时，依次输入需要进行光流计算的前一帧图像和当前帧图像，指定图像比例为每个图像构建金字塔；确定金字塔的层数、平均窗口的大小、算法在图像金字塔每层的迭代次数、在每个像素点处计算多项式展开的相邻像素点的个数、用于平滑导数的高斯标准偏差以及初始流近似；将计算的光流从笛卡尔坐标系...

【专利技术属性】
技术研发人员：鹿明，李峰，辛蕾，杨雪，鲁啸天，张南，任志聪，肖化超，
申请(专利权)人：中国空间技术研究院，
类型：发明
国别省市：