一种基于深度学习图像分割的前景防抖方法及装置制造方法及图纸

本申请公开了一种基于深度学习图像分割的前景防抖方法及装置，涉及图像处理技术领域。本申请包括以下步骤：S1、获取原始视频的第一帧图像，对图像进行前景主体目标检测，并对检测区域进行特征点提取；S2、对原始视频其他帧图像进行前景检测，将前景区域视为选定区域，进行特征点提取；S3、对当前帧特征点和上一帧特征点进行匹配，并排除异常点，得到时域上的轨迹信息；S4、使用高斯滤波对轨迹信息进行平滑处理；S5、根据平滑后的曲线对原始图像进行仿射变换，并对变换后的图像进行边缘裁剪。本申请通过聚焦于拍摄主体的视觉稳定，将前景作为防抖处理的目标区域，从而得到更好的观看效果；本发明专利技术不必介入手工构建的特征，可以有效节约人力成本。效节约人力成本。效节约人力成本。

【技术实现步骤摘要】
一种基于深度学习图像分割的前景防抖方法及装置


[0001]本申请涉及图像处理
，具体涉及一种基于深度学习图像分割的前景防抖方法及装置。

技术介绍

[0002]随着移动设备的普及和视频拍摄的广泛应用，视频防抖技术变得越来越重要。视频防抖旨在减少由于手部抖动或设备移动而导致的视频震动，以提供更加稳定、流畅的观看体验。视频防抖技术可以分为软件防抖和硬件防抖两种类型。
[0003]软件防抖是通过图像处理算法来抵消视频中的抖动，相比于硬件防抖，软件防抖具有灵活性，成本低，便于升级等优势。软件防抖通常分三步进行，即摄像机运动估计、运动校正和稳定视频合成。近年来，随着人工智能技术的发展，深度学习方法在视频防抖中的应用也越来越广泛。现大部分主流的方法是针对整体画面的运动轨迹来进行匹配，在画面中占比较大但却通常不是人们所关注内容的背景部分却在传统的方法中更被受到关注，而在大部分拍摄视频中，前景物体和背景物体的运动轨迹并不一致，但人们的关注点通常在前景物体上。随着人脸识别技术的进步，也出现了针对VLOG视频的人脸防抖技术。因此我们提出了一种基于深度学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习图像分割的前景防抖方法，其特征在于，包括以下步骤：S1、获取原始视频的第一帧图像，对图像进行前景主体目标检测，并对检测区域进行特征点提取；S2、对原始视频其他帧图像进行前景检测，将前景区域视为选定区域，进行特征点提取；S3、对当前帧特征点和上一帧特征点进行匹配，并排除异常点，得到时域上的轨迹信息；S4、使用高斯滤波对轨迹信息进行平滑处理；S5、根据平滑后的曲线对原始图像进行仿射变换，并对变换后的图像进行边缘裁剪。2.根据权利要求1所述的基于深度学习图像分割的前景防抖方法，其特征在于，所述步骤S1中，通过改进U
‑
Net网络对第一帧图像前景主体进行目标检测，分割出画面主体和背景。3.根据权利要求2所述的基于深度学习图像分割的前景防抖方法及装置，其特征在于，改进U
‑
Net网络的模型结构包括电性连接的编码器单元和解码器单元，其中编码器单元包括输入层模块、下采样路径模块和第一跳跃连接模块，解码器单元包括上采样路径模块、第二跳跃连接模块和输出层模块。4.根据权利要求3所述的基于深度学习图像分割的前景防抖方法及装置，其特征在于，所述步骤S2中特征点提取包括以下步骤：设定选定区域为网络输出结果中像素值为255的区域；基于图像任意一个像素点p，以其为圆心选中处于该圆圈范围中的16个像素；若圆圈范围内的灰度值小于l
p
‑
h，其中l
p
表示p点处的灰度值，h为设置的阈值，或；灰度值大于l
p
+h的像素共计有8个以上，则将像素p选作特征点提取...

【专利技术属性】
技术研发人员：臧景峰，刘岩，尤鹏翔，李应松，孟令泽，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：