用于利用教师和学生框架训练机器学习模型的系统和方法技术方案

技术编号:41921803 阅读:21 留言:0更新日期:2024-07-05 14:21
用于训练具有教师和学生框架的对象检测机器学习模型的系统和方法。该训练旨在利用大量无标签的图像或视频帧以及少量有标签的图像或视频帧来进行半监督视频对象检测。例如,可以基于有标签视频数据并且利用经过预训练的权重来预训练对象检测机器学习模型,这用经过预训练的权重来初始化教师模型和学生模型。训练教师模型以生成无标签视频数据的伪标签。训练学生模型以生成无标签视频数据的预测的伪标签,其中学生模型的训练基于(i)有标签视频数据和(ii)与无标签视频数据相关联的伪标签。

【技术实现步骤摘要】

本公开涉及用于利用教师和学生框架来训练对象检测机器学习模型的系统和方法。


技术介绍

1、图像对象分类通常涉及处理图像(例如,静态图像)以确定一个或多个显著(例如,共同)对象的存在和位置,并输出标识图像中每个对象所在的像素的遮罩或边界框。还可以基于对象识别技术对表示检测到的对象的像素进行分类(例如,人、动物、车辆)。视频对象分类是类似的,但是视频是一段时间内的帧序列,其中每一帧定义一幅图像,并且其中对象在不同帧中的位置可能有所不同。例如,视频可以从初始帧开始,并以有序序列前进到后续帧。视频剪辑可以是整个视频或视频的一部分,从初始帧——例如参考帧——开始到后续帧,直到剪辑结束。出现在参考帧中的对象可以将位置从一个帧移动到另一个帧,例如,因为对象相对于相机在运动,相机相对于对象在运动,或者相机和对象都在移动。此外,当对象从一个帧移动到另一个帧时,该对象的分类的可靠性或确定性可能发生变化。出于许多原因,期望通过视频剪辑对对象进行准确和可靠的跟踪和分类。例如,在自主车辆的情况下,行人的位置对于操纵(例如,制动、转向)车辆以避免碰撞可能是重要的。检测和跟踪对象也可能具本文档来自技高网...

【技术保护点】

1.一种训练对象检测机器学习模型的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述收敛产生经训练的对象检测机器学习模型,所述对象检测机器学习模型被配置为给无标签视频数据加标签。

3.根据权利要求1所述的方法,其中所述有标签视频数据和所述无标签视频数据中的每一个分别包括关键帧和与所述关键帧相邻的多个参考帧。

4.根据权利要求3所述的方法,进一步包括:

5.根据权利要求4所述的方法,进一步包括:

6.根据权利要求1所述的方法,其中所述教师权重的更新基于所述学生模型的当前权重的指数移动平均。

>7.根据权利要求3...

【技术特征摘要】

1.一种训练对象检测机器学习模型的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述收敛产生经训练的对象检测机器学习模型,所述对象检测机器学习模型被配置为给无标签视频数据加标签。

3.根据权利要求1所述的方法,其中所述有标签视频数据和所述无标签视频数据中的每一个分别包括关键帧和与所述关键帧相邻的多个参考帧。

4.根据权利要求3所述的方法,进一步包括:

5.根据权利要求4所述的方法,进一步包括:

6.根据权利要求1所述的方法,其中所述教师权重的更新基于所述学生模型的当前权重的指数移动平均。

7.根据权利要求3所述的方法,其中所述伪标签包括与所述视频数据中的检测到的对象相关联的类别信息,以及关于检测到的对象的边界框。

8.根据权利要求7所述的方法,进一步包括:

9.根据权利要求8所述的方法,其中所述过滤包括:

10.根据权利要求9所述的方法,其中所述边界框的类别不确定性由下式来确定:

11.根据权利要求9所述的方法,进一步包括:

12.一种用于训...

【专利技术属性】
技术研发人员:T·玛穆德刘峻豪B·亚曼
申请(专利权)人:罗伯特·博世有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1