System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 训练视频分割模型的方法、视频处理方法及电子设备技术_技高网

训练视频分割模型的方法、视频处理方法及电子设备技术

技术编号:40541611 阅读:4 留言:0更新日期:2024-03-05 18:57
本申请实施例涉及视频处理技术领域,公开了一种训练视频分割模型的方法、视频处理方法及电子设备,通过对多个图像分别进行非形变增强处理,将得到的增强图像和原图像构成第一图像组;对多个视频进行遍历,将当前视频帧和前一视频帧构成第二图像组。采用若干个第一图像组和若干个第二图像组作为训练集,对图像分割网络进行迭代训练直至收敛,得到视频分割模型。在此实施例中,对图像进行非形变增强处理以模仿变化微小的连续视频帧,视频数据作为应用场景数据,从而,图像分割网络能够学习第一图像组中连续图像的特征和第二图像组中连续视频帧的特征,使得训练得到的视频分割模型具有较好的准确率及稳定性。

【技术实现步骤摘要】

本申请实施例涉及图像处理,尤其涉及一种训练视频分割模型的方法、视频处理方法及电子设备


技术介绍

1、图像分割技术是计算机视觉领域一个基本的技术方向,该技术的发展为很多应用提供了便利,例如人像美颜、背景替换生成证件照等。图像分割技术在视频领域的应用更是为很多场景带去了便利,例如自动驾驶、视频会议中模糊背景以保护隐私等等。

2、视频物体分割也可以被称为vos(video object segmentation),需要逐帧从视频中提取视频帧并对帧内物体进行分割。本申请专利技术人所知晓的一些视频分割方法,主要采用图像分割模型对视频的逐帧画面进行图像分割。然而,这些图像分割模型应用于视频分割时,存在分割结果不够稳定,容易带来视觉上边界抖动等问题,例如视频中人像静止时,人像静止的连续帧的分割结果不一致,发生边界抖动。


技术实现思路

1、有鉴于此,本申请一些实施例提供了一种训练视频分割模型的方法、视频处理方法及电子设备,采用该方法训练得到视频分割模型具有良好的分割效果,视频帧间分割相对稳定。

2、第一方面,本申请一些实施例提供了一种训练视频分割模型的方法,包括:

3、获取多个图像和多个视频;

4、对图像进行非形变增强处理,得到增强图像,将增强图像和图像构成第一图像组;遍历视频中的视频帧,将当前视频帧和前一视频帧构成第二图像组;

5、采用若干个第一图像组和若干个第二图像组,对图像分割网络进行迭代训练直至收敛,得到视频分割模型。

<p>6、在一些实施例中,前述采用若干个第一图像组和若干个第二图像组,对图像分割网络进行迭代训练直至收敛,得到视频分割模型,包括:

7、将第一图像组输入图像分割网络,得到图像对应的第一分割图像和增强图像对应的第二分割图像;

8、将第二图像组输入图像分割网络,得到前一视频帧对应的第三分割图像和当前视频帧对应的第四分割图像;

9、采用损失函数分别计算第一分割图像和第二分割图像之间的损失、第三分割图像和第四分割图像之间的损失,基于若干个第一图像组和若干个第二图像组对应的损失和,对图像分割网络进行迭代训练直至收敛,得到视频分割模型。

10、在一些实施例中,损失函数包括分割损失函数和一致性损失函数,分割损失函数用于反映图像被分割前后之间的差异,一致性损失函数包括图像一致性损失函数和视频一致性损失函数;

11、其中,图像一致性损失函数用于反映第一分割图像和第二分割图像之间的差异,视频一致性损失函数用于反映第四分割图像和推导分割图像之间的差异,推导分割图像是基于第三分割图像转换得到的。

12、在一些实施例中,图像一致性损失函数为散度损失函数。

13、在一些实施例中,该方法还包括:

14、采用光流估计模型计算当前视频帧和前一视频帧之间的光流向量矩阵;

15、采用光流向量矩阵对第三分割图像进行变形,得到推导分割图像。

16、在一些实施例中,视频一致性损失函数通过计算第四分割图像中像素点和推导分割图像中对应像素点之间的均方差以确定第四分割图像和推导分割图像之间的差异。

17、在一些实施例中,非形变增强处理包括添加噪声、灰度变化、光照对比度变换和/或模糊处理。

18、第二方面,本申请一些实施例提供了一种视频处理方法,包括:

19、获取视频流;

20、将视频流输入视频分割模型,得到分割视频,其中,视频分割模型是采用如第一方面中训练视频分割模型的方法训练得到的;

21、基于分割视频中的每帧分割图像,对视频流中每帧视频帧进行背景模糊处理,得到处理后的视频。

22、第三方面,本申请一些实施例提供了一种电子设备,包括:

23、至少一个处理器,以及

24、与至少一个处理器通信连接的存储器,其中,

25、存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面的方法。

26、第四方面,本申请一些实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于使计算机设备执行如第一方面的方法。

27、本申请实施例的有益效果:区别于现有技术的情况,本申请实施例提供的训练视频分割模型的方法,通过对多个图像分别进行非形变增强处理,将得到的增强图像和原图像构成第一图像组;对多个视频进行遍历,将当前视频帧和前一视频帧构成第二图像组。采用若干个第一图像组和若干个第二图像组作为训练集,对图像分割网络进行迭代训练直至收敛,得到视频分割模型。在此实施例中,训练集中包括第一图像组(图像数据)和第二图像组(连续视频帧),图像数据是模型训练的基础,对图像进行非形变增强处理以模仿变化微小的连续视频帧,使得图像分割网络能够学习第一图像组中连续图像的特征,从而提高模型对视频分割的准确性和稳定性。视频数据作为应用场景数据,图像分割网络能够学习第二图像组中连续帧的特征,使得训练得到的视频分割模型具有较好的准确率及稳定性。此外,通过对图像进行非形变增强处理以模仿变化微小的连续图像,能够有效利用图像资源,相比于单纯采用视频数据,能够减少训练集收集成本,还能提高模型的准确性和稳定性。

本文档来自技高网
...

【技术保护点】

1.一种训练视频分割模型的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采用若干个所述第一图像组和若干个所述第二图像组,对图像分割网络进行迭代训练直至收敛,得到所述视频分割模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述损失函数包括分割损失函数和一致性损失函数,所述分割损失函数用于反映图像被分割前后之间的差异,所述一致性损失函数包括图像一致性损失函数和视频一致性损失函数;

4.根据权利要求3所述的方法,其特征在于,所述图像一致性损失函数为散度损失函数。

5.根据权利要求3所述的方法,其特征在于,所述视频一致性损失函数通过计算所述第四分割图像中像素点和所述推导分割图像中对应像素点之间的均方差以确定所述第四分割图像和所述推导分割图像之间的差异。

6.根据权利要求3所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述非形变增强处理包括添加噪声、灰度变化、光照对比度变换和/或模糊处理。

8.一种视频处理方法,其特征在于,包括:>

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机设备执行如权利要求1-8任一项所述的方法。

...

【技术特征摘要】

1.一种训练视频分割模型的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采用若干个所述第一图像组和若干个所述第二图像组,对图像分割网络进行迭代训练直至收敛,得到所述视频分割模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述损失函数包括分割损失函数和一致性损失函数,所述分割损失函数用于反映图像被分割前后之间的差异,所述一致性损失函数包括图像一致性损失函数和视频一致性损失函数;

4.根据权利要求3所述的方法,其特征在于,所述图像一致性损失函数为散度损失函数。

5.根据权利要求3所述的方法,其特征在于,所述视频一致性损失函数...

【专利技术属性】
技术研发人员:王晶
申请(专利权)人:深圳数联康健智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1