【技术实现步骤摘要】
基于循环神经网络迭代策略的视频稳定方法
本专利技术属于遥感图像处理
，特别是一种基于循环神经网络迭代策略的视频稳定方法。
技术介绍
遥感高光谱图像超分辨是目前应用广泛且热门的研究领域。视频作为图像的一种时序组合表达方式，很多视频处理算法对于一些低质量视频（模糊、躁点、画面抖动、光线不足）的鲁棒性不高，所以视频质量是考验视频处理算法性能的关键。而视频稳像可以作为这些算法的预处理步骤，通过提高视频画面质量来进一步提高算法性能。经过稳定之后的视频才可以更好的应用于超分辨、分类等各种视觉任务。传统主流的视频稳像方法是基于多视图几何的图像处理方法，按照运动估计的不同可以细分为二维单应估计、三维运动重建、特征轨迹表示或者上述方法的混合方式。例如，何等人通过一种混合方法，首先用二维方法进行预稳定，再利用三维技术场景中稀疏点云和摄像机参数，来拟合摄像机轨迹的平滑二次曲线路径，最后根据新的摄像机参数，在预稳定和二维运动信息的约束下得到最终的稳定视频（何发智等."一种二维三维混合的视频稳定方法."CN.）。Beysserie等人使...
【技术保护点】
1.一种基于循环神经网络迭代策略的视频稳定方法，其特征在于，该方法包括以下步骤：/n步骤1，采用抖动视频采集及稳定化处理硬件装置来获取成对视频数据，用于深度网络的训练；捕获的数据包括实时采集的低质抖动视频和硬件稳定化后的稳定视频，构成端对端的视频数据集样本；/n步骤2，对采集的视频流样本进行预处理，包括对齐时间轴、剪裁一致画面内容、按照运动内容进行类别标注、分割训练集和测试集、缩放到相同的尺度并进行亮度归一化；/n步骤3，将跳跃链接的特征编解码器、用于迭代的循环单元和预测扭曲参数的回归器在输入与输出上进行组合，构造端到端的基于循环神经网络迭代策略的全卷积深度神经网络；该网络...
【技术特征摘要】
1.一种基于循环神经网络迭代策略的视频稳定方法，其特征在于，该方法包括以下步骤：
步骤1，采用抖动视频采集及稳定化处理硬件装置来获取成对视频数据，用于深度网络的训练；捕获的数据包括实时采集的低质抖动视频和硬件稳定化后的稳定视频，构成端对端的视频数据集样本；
步骤2，对采集的视频流样本进行预处理，包括对齐时间轴、剪裁一致画面内容、按照运动内容进行类别标注、分割训练集和测试集、缩放到相同的尺度并进行亮度归一化；
步骤3，将跳跃链接的特征编解码器、用于迭代的循环单元和预测扭曲参数的回归器在输入与输出上进行组合，构造端到端的基于循环神经网络迭代策略的全卷积深度神经网络；该网络通过帧间迭代和帧内迭代策略更新隐藏状态，并按照时间顺序传递视频帧的运动状态信息；
步骤4，将预处理后的训练数据集输入到循环神经网络中，利用四种不同作用损失函数的线性加权作为网络最终的损失，来引导网络的训练过程；
步骤5，将待稳定的测试视频输入到训练好的网络中，得到低质抖动视频的预测稳定版本。
2.根据权利要求1所述的基于循环神经网络迭代策略的视频稳定方法，其特征在于，步骤1中采用一个抖动视频采集及稳定化处理硬件装置来获取成对视频数据；其中一个视频捕获设备使用手持云台稳定装置进行稳定化处理，另外一个视频捕获设备则通过固定支架与手柄连接，从而保持与原始手部运动的一致，得到低质抖动视频；该硬件装置实时采集低质抖动视频和硬件稳定化后的稳定视频数据，构成端对端的视频数据集样本。
3.根据权利要求1所述的基于循环神经网络迭代策略的视频稳定方法，其特征在于，步骤2中将采集的视频流成对样本的每一帧画面在时间序列上对齐，并通过剪裁来消除差异；再将所有抖动视频按照镜头运动类型、抖动程度和视频画面中的挑战性内容进行类别划分与标注；最后将所有视频帧缩放到256像素大小的相同尺度，并进行亮度归一化，作为后续网络的输入。
4.根据权利要求1所述的基于循环神经网络迭代策略的视频稳定方法，其特征在于，步骤3中构造端到端的基于循环神经网络迭代策略的全卷积深度神经网络；该网络通过帧间迭代和帧内迭代策略更新隐藏状态，并按照时间顺序传递视频帧的运动状态信息，来预测最终的稳定画面；低质抖动视频帧序列在网络前向传播的过程如下：
首先用零初始化两个隐藏状态和；在当前时间步t下，将预处理后训练集中的抖动视频帧序列中的输入到特征编码器中，用多层卷积结构提取抖动帧画面中更深层次的特征信息；之后结合上一个时间步的隐藏状态、，在记忆选择器...
【专利技术属性】
技术研发人员：李恒，谢浩鹏，肖亮，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。