一种基于深度学习的火箭助推器分离运动参数测量方法技术

本发明专利技术涉及一种基于深度学习的火箭助推器分离运动参数测量方法。该方法包括：对接收的图像或视频数据进行归一化、标准化的预处理；将预处理后的数据输入至特征提取网络，对图片进行下采样，得到特征图；利用卷积层和激活函数组成的解码网络分别对中心点、尺度、深度以及姿态进行回归，得到输出；计算火箭助推器中心的三维位置；若接收数据为视频或同一视频的顺序图像序列，则对预测得到的三维位置和姿态分别进行平滑处理；计算得到火箭助推器分离时的速度和角速度。本发明专利技术将所得数据输入至网络模型中，实现端到端的单步位姿测量算法，无需非极大值抑制等后处理，提高算法的运行速度，随后通过计算得出火箭助推器分离的运动参数。与现有方法相比，位姿测量时无需特定的几何特征，所需已知条件较少，具有处理速度快，精度高，在复杂环境下鲁棒性强的优点。在复杂环境下鲁棒性强的优点。在复杂环境下鲁棒性强的优点。

【技术实现步骤摘要】
一种基于深度学习的火箭助推器分离运动参数测量方法


[0001]本专利技术涉及计算机图像处理
，特别是涉及一种基于深度学习的火箭助推器分离运动参数测量方法。

技术介绍

[0002]火箭助推器在火箭发射时为火箭提供动力使其达到预定速度后，与火箭主体迅速分离，准确测量助推器分离后的运动参数可以为助推器的着陆位置预测和回收提供数据支持，也可以用于判断分离是否成功。基于视觉的运动参数测量具有不接触被测物体、测量精度高等特点，已经广泛应用于公共医疗、航空航天、汽车电子等领域。目标位姿参数的测量是基于视觉的运动参数测量的核心内容，是测量目标运动参数的基础。位姿参数指的是目标在世界坐标系、物体坐标系或相机坐标系下的三维位置和姿态角。本专利技术可以直接从单目图像中获得火箭助推器在摄像机坐标系下的位姿参数，助推器在其他坐标系，如箭体坐标系、世界坐标系下，位姿参数可以通过坐标系转换方式计算得到。
[0003]基于视觉的位姿测量方法主要通过识别几何特征完成任务，如点、线、轮廓等。此方法的局限性主要包括纹理依赖、成像退化、背景复杂和发生遮挡四方面。首先，该方法需要准确的几何特征，所以对于目标表面的纹理具有一定的依赖性，而助推器表面的材料特征决定了其纹理特点变化小，对位姿测量的影响也相对较低。其次，火箭和助推器分离时会产生火光、烟雾等，相机成像质量相应发生改变，进而影响测量精度。第三，复杂的背景也会对基于几何特征的方法产生极大的干扰。最后，随着助推器与火箭分离而产生相对运动，可能会出现局部或全部处于成像平面外，导致一些几何特征缺失或遮挡，传统的基于几何特征的方法无法完成位姿测量。
[0004]近年来，基于深度学习的算法大力发展，具有鲁棒性强，受环境影响小等优越性，为位姿测量提供了新思路，以足够的样本数量为基础，便可以较好地避免上述方法带来的局限，提高测量结果的质量。在无人驾驶领域中，需要提供汽车等物体的三维大小及旋转角度等指标，目前三维目标检测网络可以很好的解决这个问题。但自动驾驶场景下的物体，都是有平面假设的，即假设物体都放置于水平地面，所以在三维目标检测中的姿态估计只会预测偏航角，滚转角和俯仰角为零。然而火箭助推器的姿态需要三个自由度来描述，三维目标检测网络不能完成任务。

技术实现思路

[0005]针对现有技术中存在的不足，本专利技术提出一种基于深度学习的火箭助推器分离运动参数测量方法，无需特定的几何特征，能够实现端到端的单步位姿测量，无需非极大值抑制等后处理，提高算法的运行速度，复杂环境下也能有较高的精度，同时具有较高的可拓展性，对于其他任务只需对网络做简单的修改，加入回归任务的head网络即可。
[0006]本专利技术解决其技术问题所采取的技术方案是：
[0007]一种基于深度学习的火箭助推器分离运动参数测量方法，包括如下步骤：
[0008](1)对接收的图像或视频数据进行预处理。
[0009]具体的，对图像进行归一化，使得像素区间映射为[0，1]，同时对图像进行标准化处理。
[0010](2)将预处理后的数据输入至特征提取网络，得到特征图。
[0011]特征提取网络可以使用常见网络，如ResNet、Hourglass、DLA
‑
34等。对输入的图像进行R倍的下采样，通常为2到16倍，常用的为R＝4倍。
[0012](3)利用解码网络分别对火箭助推器在图像上的二维中心点、二维框尺度、火箭助推器中心深度以及姿态进行回归，得到输出。
[0013]解码网络包括四个回归模块，即中心点回归模块、尺度回归模块、深度回归模块、姿态回归模块，分别加上中间带有ReLU激活函数的两个卷积层，作为head网络，得到输出。
[0014](4)计算火箭助推器中心的三维位置。
[0015]根据像素坐标系和相机坐标系之间的转换公式，由步骤(3)得出的火箭助推器二维中心点坐标、中心深度和已知的相机内参(焦距、在u轴和v轴方向上的尺度因子以及图像坐标系的原点在像素坐标系中的坐标)计算得出火箭助推器中心的三维位置。
[0016](5)对预测得到的火箭助推器中心的三维位置和姿态分别进行平滑处理。
[0017]火箭助推器在分离时的运动状态不会发生突变，所以若接收数据为视频或同一视频的顺序图像序列，则需要对预测得到的三维位置和姿态分别进行平滑处理。若输入为乱序图片，则需要对图片进行帧号排序后进行再进行平滑处理。
[0018](6)通过计算得到火箭助推器分离时的速度和角速度。
[0019]火箭助推器分离时的运动速度的计算方法是通过任意两帧图像所预测的三维点坐标计算出对应经过的时间内火箭助推器运动的距离，从而对时间求导，即可得到这段时间内的火箭助推器分离速度。角速度的计算方法是通过任意两帧图像所预测的三个姿态参数分别计算出对应经过的时间内火箭助推器旋转过的角度，从而分别对时间求导，即可得到这段时间内火箭助推器分别绕三个轴的角速度。
[0020]由于采用了上述的技术方案，本专利技术的有益效果是：与当前位姿参数测量的方法相比，本专利技术无需特定的几何特征，所需已知条件较少，能够实现端到端的单步位姿测量，无需非极大值抑制等后处理，算法的运行速度较快，适合复杂和多任务的环境。
附图说明
[0021]为了更清楚地说明本专利技术的实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在没有做出创造性劳动前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术的一种基于深度学习的火箭助推器位姿测量方法的网络结构图。
具体实施方式
[0023]为使得本专利技术的专利技术目的，特征，优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚，完整地描述。显然，下面所描述的实施例仅是本专利技术的一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域
普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024](1)对接收的图像或视频数据进行预处理。
[0025]输入图像I∈R
W
×
H
×3，其中，R为图像像素子集，W为图像宽度，H为图像高度。先利用对图像进行标准化，其中x
i
表示图像的像素值，μ为所有样本的均值，σ为所有样本数据的标准差，x
i*
表示图像标准化后图像的像素值。接着利用对图像进行归一化，使得像素区间映射为[0，1]。
[0026](2)将预处理后的数据输入至特征提取网络，得到特征图。
[0027]特征提取网由堆叠的Hourglass网络构成，通过两个连续的Hourglass模块对输入的图像进行R倍的下采样，一般是R＝4倍。每个Hourglass模块都是先使用一系列卷积层和最大池化层对输入进行了下采样，然后将下采样的特征图通过上采样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的火箭助推器分离运动参数测量方法，其特征在于，包括如下步骤：步骤一：对接收的图像或视频数据进行预处理；步骤二：将预处理后的数据输入至特征提取网络，得到特征图；步骤三：利用解码网络分别对火箭助推器在图像上的二维中心点、二维框尺度、火箭助推器中心深度以及姿态进行回归，得到输出；步骤四：计算火箭助推器中心的三维位置；步骤五：对预测得到的三维位置和姿态分别进行平滑处理；步骤六：通过计算得到火箭助推器分离时的速度和角速度。2.根据权利要求1所述的一种基于深度学习的火箭助推器分离运动参数测量方法，其特征在于，所述的步骤一中的预处理包括对图像进行归一化、标准化等操作。3.根据权利要求1所述的一种基于深度学习的火箭助推器分离运动参数测量方法，其特征在于，所述的步骤二中的特征提取网络是对图片进行下采样。4.根据权利要求1所述的一种基于深度学习...

【专利技术属性】
技术研发人员：宫久路，谌德荣，王泽鹏，刘邵荣，
申请(专利权)人：北京航宇天穹科技有限公司，
类型：发明
国别省市：