用于半监督对象检测的鲁棒伪标签生成的系统和方法技术方案

一种用于生成鲁棒伪标签数据集的系统和方法，其中可以接收标记的源数据集(例如，视频)并将其用于训练教师神经网络。然后，可以从教师网络输出伪标记数据集，并将其连同未标记数据集一起提供给相似性感知加权框融合(SWBF)算法。然后，可以通过SWBF算法从学生神经网络生成鲁棒伪标签数据集，并将其用于训练学生神经网络。还可以使用标记的源数据集进一步调谐学生神经网络。最后，教师神经网络可以使用学生神经网络替换。设想该系统和方法可以迭代重复。迭代重复。迭代重复。

【技术实现步骤摘要】
用于半监督对象检测的鲁棒伪标签生成的系统和方法


[0001]本公开涉及一种系统和方法，用于将未标记的视频数据与标记的图像数据相组合，以创建鲁棒的对象检测器，从而减少错误检测和遗漏检测，并有助于减少对注释的需求。

技术介绍

[0002]还设想具有半监督学习(SSL)的深度神经网络(DNN)可能可操作以改进对象检测问题。尽管如此，由传统的基于SSL的对象检测模型根据未标记的数据生成的伪标签可能不总是可靠的，并且因此它们不能总是被直接应用于检测器训练过程以改进其。例如，由于所选择的对象检测器的性能瓶颈，在伪标签中可能出现遗漏检测和错误检测问题。此外，可能需要驻留在未标记序列数据中的运动信息来帮助提高伪标签生成的质量。

技术实现思路

[0003]公开了一种用于生成鲁棒伪标签数据集的系统和方法。该系统和方法可以使用接收到的标记源数据集来训练教师神经网络。可以生成伪标记数据集作为来自教师神经网络的输出。伪标记数据集和未标记数据集可以被提供给相似性感知加权框融合算法。鲁棒伪标签数据集可以从相似性感知加权框融合算法生成，该算法使用伪标记数据集和未标记数据集进行操作。可以使用鲁棒伪标签数据集来训练学生神经网络。此外，教师神经网络可以用学生神经网络替换。
[0004]该系统和方法还可以使用标记的源数据集调谐学生神经网络。标记的源数据集可以包括至少一个图像和至少一个人类注释。人类注释可以包括限定至少一个图像内的对象的置信度分数的边界框。教师神经网络也可以被配置为预测标记的源数据集的帧内的像素的运动矢量。并且，可以使用用于对象检测的损失函数来训练教师神经网络。
[0005]还设想损失函数包括分类损失和回归损失，用于预测边界框内的置信度分数。可以使用预测函数来重新训练教师神经网络。相似性感知加权框融合算法可以进一步被配置为运动预测算法，其可操作来将鲁棒伪标签数据集的质量提高到第一预定义阈值。相似性感知加权框融合算法可以进一步被配置为抗噪声伪标签融合算法，其可操作来将鲁棒伪标签数据集的质量提高到第二预定义阈值。
[0006]该系统和方法还可以使用SDC
‑
Net算法预测未标记数据集内多个帧内的像素的运动矢量。此外，可以使用多个帧来训练SDC
‑
Net算法，其中在没有人工标签的情况下训练SDC
‑
Net算法。设想相似性感知加权框融合算法可以包括相似性算法，该相似性算法可操作来降低在伪标记数据集内被错误检测到的对象的置信度分数。相似性算法还可以包括伪标记数据集的至少一帧内的边界框的类别分数、位置分数和置信度分数。相似性算法可以进一步采用基于特征的策略，当确定对象在定义的类别内时，该策略提供预确定的分数。相似性感知加权框融合算法还可能可操作以减少被确定为冗余的边界框，并减少假阳性结果的置信度分数。最后，相似性感知加权框融合算法可能可操作以对伪标记数据集内检测到的
对象的之前帧、当前帧和未来帧的定位值和置信度分数进行平均。
附图说明
[0007]图1描绘了可以由公开的实施例使用的示例性计算系统。
[0008]图2是图示半监督对象检测中的鲁棒伪标签生成方法的示例性框图。
[0009]图3是相似性感知加权框融合算法的示例性框图。
[0010]图4图示了控制至少部分自主机器人的计算系统。
[0011]图5是其中可以使用计算机系统来控制自动化个人助理的实施例。
[0012]图6A是类型
‑
A假阳性双向伪标签传播方法的示例。
[0013]图6B是来自双向伪标签传播方法的类型
‑
B假阳性的示例。
[0014]图7是双向伪标签传播方法的示例性伪代码。
[0015]图8是双向伪标签传播方法的示例。
具体实施方式
[0016]本文中描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其它实施例可以采取各种和替代形式。各图不一定按比例绘制；一些特征可以被放大或缩小以示出特定组件的细节。因此，本文中公开的特定结构和功能细节不应被解释为限制性的，而仅仅是作为教导本领域技术人员各种地采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任一附图图示和描述的各种特征可以与一个或多个其它附图中图示的特征相组合，以产生没有明确图示或描述的实施例。所图示的特征的组合提供了典型应用的代表性实施例。然而，对于特定的应用或实现，可能期望与本公开的教导一致的特征的各种组合和修改。
[0017]设想图像中的对象检测对若干领域中的计算机视觉任务的重要性增加，包括例如，自主驾驶、视频监控和智能家居应用。可以理解，对象检测器用于检测图像中的特定对象，并且还可以在对象周围绘制边界框，即定位对象。深度神经网络已经被示出是一种可操作来产生可靠的对象检测的框架。然而，应当理解，深度神经网络一般可能需要大量的标记训练数据。为了辅助标记过程，一种方法可以包括将未标记的图像与标记的图像相组合，以提高对象检测性能，从而减少对注释的需要。但是对于一些应用(例如，收集视频数据的自主驾驶)来说，可能存在对象运动形式的附加信息，可以进一步利用这些信息来提高对象检测性能并进一步减少标记需求。因此，设想一种系统和方法可以用于将未标记的视频数据与标记的图像相组合，以创建鲁棒的对象检测器，其不仅减少错误检测和遗漏检测，而且还有助于进一步减少注释工作。
[0018]例如，伪标签可以用于改进对象检测。然而，未标记的视频数据集内的运动信息可能通常被忽略。设想一种方法可以扩展用于对象检测内的基于静态图像的半监督方法。然而，这样的方法可能导致在生成的伪标签中大量的遗漏和错误检测。本公开设想可以使用不同的模型(即，PseudoProp)来生成鲁棒的伪标签，从而以半监督的方式改进视频对象检测。设想PseudoProp系统和方法可以包括新颖的双向伪标签传播和基于图像语义的融合技术二者。双向伪标签传播可以用于通过利用运动预测来补偿遗漏检测。而基于图像语义的融合技术则可以用于通过组合伪标签来抑制推断噪声。
[0019]还设想具有半监督学习(SSL)的深度神经网络(DNN)也已经改进了两个图像对象检测问题。尽管如此，由传统的基于SSL的对象检测模型根据未标记的数据生成的伪标签可能不总是可靠的，并且因此它们不能总是被直接应用于检测器训练过程以改进其。例如，由于所选择的对象检测器的性能瓶颈，在伪标签中可能出现遗漏检测和错误检测问题。此外，可能需要驻留在未标记序列数据中的运动信息来帮助提高伪标签生成的质量。然而，当为实时检测场景(如自主驾驶或视频监控系统)设计基于SSL的对象检测器时，这样的数据可能被忽略。因此，本公开设想了用于生成鲁棒伪标签以提高基于SSL的对象检测器性能的系统和方法。
[0020]可能需要设想的系统和方法，因为现有的基于SSL的对象检测工作一般聚焦于静态图像情况，其中可能没有透彻考虑图像之间的关系。还应当理解，对象检测可以利用基于SSL的方法来生成伪标签，因为原始的标记数据可以由稀疏的视频帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成鲁棒伪标签数据集的方法，包括：接收标记的源数据集；使用标记的源数据集训练教师神经网络；生成伪标记数据集作为来自教师神经网络的输出；将伪标记数据集和未标记数据集提供给相似性感知加权框融合算法；从使用伪标记数据集和未标记数据集操作的相似性感知加权框融合算法生成鲁棒伪标签数据集；使用鲁棒伪标签数据集训练学生神经网络；和用学生神经网络替换教师神经网络。2.根据权利要求1所述的方法，进一步包括：使用标记的源数据集调谐学生神经网络。3.根据权利要求1所述的方法，其中所述标记的源数据集包括至少一个图像和至少一个人类注释。4.根据权利要求3所述的方法，其中所述至少一个人类注释包括限定所述至少一个图像内的对象的置信度分数的边界框。5.根据权利要求4所述的方法，其中所述教师神经网络被配置为预测标记的源数据集的帧内的像素的运动矢量。6.根据权利要求4所述的方法，其中使用用于对象检测的损失函数来训练教师神经网络。7.根据权利要求6所述的方法，其中所述损失函数包括用于预测边界框内置信度分数的分类损失和回归损失。8.根据权利要求1所述的方法，进一步包括：使用预测函数重新训练教师神经网络。9.根据权利要求1所述的方法，其中所述相似性感知加权框融合算法被配置为运动预测算法，所述运动预测算法可操作来将鲁棒伪标签数据集的质量提高到第一预定义阈值。10.根据权利要求9所述的方法，其中所述相似性感知加权框融合算法被配置为抗噪声伪标签融合算法，所述抗噪声伪标签融合算法可操作来将鲁棒伪标签数据集的质量提高到第二预定义阈值。11.根据权利要求1所述的方法，进一步包括：使用SDC
‑
Net算法预测未标记数据集内多个帧内的像素的运动矢量。12.根据权利要求11所述的方法，进一步包括：使用所述多个帧来训练SDC
‑
Net算法，其中所述SDC
‑
...

【专利技术属性】
技术研发人员：胡暑，刘峻豪，J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：