一种基于半监督transformer检测的自动驾驶场景挖掘方法技术

本发明专利技术提供了一种基于半监督transformer检测的自动驾驶场景挖掘方法，包括：采用已有数据集作为标注数据，设置标注数据的超参数，分别训练2个检测模型；采用已有数据集训练小模型；对相机采集到的未标注数据，通过设置合理的参数获得检测结果；对2个检测模型的检测结果进行取交集得到未标注数据的真值，作为伪标注数据；对伪标注数据进行数据增强处理，扩充伪标注数据集；将标注数据和伪标注数据集作为总数据，并设置伪标注数据的loss权重，重新训练student检测模型；使用小模型和student检测模型在已有的未标注数据和新采集的未标注数据中进行推理检测，挖掘需要的长尾场景数据；对长尾场景数据进行筛选，作为待标注数据，扩充长尾数据场景库。扩充长尾数据场景库。扩充长尾数据场景库。

【技术实现步骤摘要】
一种基于半监督transformer检测的自动驾驶场景挖掘方法


[0001]本专利技术涉及自动驾驶
，更具体的说是，涉及一种基于半监督transformer检测的自动驾驶场景挖掘方法。

技术介绍

[0002]在自动驾驶场景中，深度学习感知模型需要检测的目标种类众多，为了达到较好的检测精度，在全监督学习框架下，不仅需要合理地构建算法模型，还需要极其庞大的数据集。目前在常规开源数据集中，由于是自然采集，货车公交车等目标的分布数量相比于小轿车行人显得较为稀少，阴雨天气等也较为少见，即数据集中存在着数据不平衡的问题，一般称之为长尾问题。
[0003]长尾问题会导致目标检测模型对于这些场景的检测效果不佳，需要在新采集的数据中，挖掘出长尾数据，进而标注扩充已有数据集，确保数据分布较为平衡。
[0004]大量有标注的数据获取成本非常高，但是我们却可以非常容易地获取海量的无标注数据，在海量数据中挖掘长尾场景目前一般依赖着人工筛查，由于数据极其庞大，可达到T级规模，在大数据背景下，人工筛查的成本显著增大。如何快速有效地在利用这些海量数据提高模型的性能，以及筛选出所需要的长尾数据，已经成为了算法优化中极其重要的一环。

技术实现思路

[0005]本专利技术的目的是提供一种基于半监督transformer检测的自动驾驶场景挖掘方法。
[0006]本专利技术要解决的是现有自动驾驶场景挖掘方法存在的问题。
[0007]与现有技术相比，本专利技术技术方案及其有益效果如下：
[0008]一种基于半监督transformer检测的自动驾驶场景挖掘方法，包括：采用已有数据集作为标注数据，设置标注数据的超参数，分别训练2个以swin transformer为backbone的yolov5检测模型；采用已有数据集训练小模型；对相机采集到的未标注数据，通过设置合理的参数获得检测结果；对2个检测模型的检测结果进行取交集得到未标注数据的真值，作为伪标注数据；对伪标注数据进行数据增强处理，扩充伪标注数据集；将标注数据和伪标注数据集作为总数据，并设置伪标注数据的loss权重，重新训练以swin transformer为backbone的yolov5检测模型，称之为student模型；使用小模型和student检测模型在已有的未标注数据和新采集的未标注数据中进行推理检测，挖掘需要的长尾场景数据；对长尾场景数据进行筛选，作为待标注数据，扩充长尾数据场景库。
[0009]作为进一步改进的，对相机采集到的未标注数据，通过设置合理的参数获得检测结果，包括：对相机采集到的未标注数据，通过设置合理的nms阈值和confidence阈值获得检测结果。
[0010]作为进一步改进的，数据增强处理包括旋转、平移和翻转。
[0011]作为进一步改进的，检测模型的版本为yolov5。
[0012]本专利技术的有益效果为：
[0013]半监督学习可以在标注数据有限的情况下，充分利用未标注数据提高模型的性能。经过对比，选择以swin transformer作为backbone的yolov5检测网络，进行半监督学习后得到基准大模型；利用基准大模型和已有部署版本的小模型在未标注数据中进行推理对比得到长尾数据，最终扩充本地长尾数据场景库；
[0014]本专利技术通过这个方案，能够充分利用未标注的海量数据，挖掘并扩充本地长尾数据库，进而提升感知模型的检测性能。
附图说明
[0015]图1是本专利技术实施例提供的一种基于半监督transformer检测的自动驾驶场景挖掘方法第一示意图。
[0016]图2是本专利技术实施例提供的一种基于半监督transformer检测的自动驾驶场景挖掘方法第二示意图。
具体实施方式
[0017]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0018]在本专利技术的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0019]参照图1和图2所示，一种基于半监督transformer检测的自动驾驶场景挖掘方法，包括：采用已有数据集作为标注数据，设置标注数据的超参数，分别训练2个以swin transformer为backbone的yolov5检测模型，即teacher1和teacher2模型；采用已有数据集训练用于实地部署的小模型；用相机采集到的未标注数据，通过设置合理的参数获得检测结果；对2个检测模型的检测结果进行取交集得到未标注数据的真值，作为伪标注数据；对伪标注数据进行数据增强处理，扩充伪标注数据集；将标注数据和伪标注数据集作为总数据，并设置伪标注数据的loss权重，重新训练以swintransformer为backbone的yolov5检测模型，称之为student模型；使用小模型和student检测模型在已有的未标注数据和新采集的未标注数据中进行推理检测，挖掘需要的长尾场景数据；对长尾场景数据进行筛选，作为待标注数据，扩充长尾数据场景库。通过这个方案，我们能够充分利用未标注的海量数据，挖掘并扩充本地长尾数据库，进而提升感知模型的检测性能。
[0020]对相机采集到的未标注数据，通过设置合理的参数获得检测结果，包括：对相机采集到的未标注数据，通过设置合理的nms阈值和confidence阈值获得检测结果。
[0021]数据增强处理包括旋转、平移和翻转。
[0022]半监督学习可以在标注数据有限的情况下，充分利用未标注数据提高模型的性能.经过对比，我们选择以swin transformer作为backbone的yolov5检测网络，进行半监督学习后得到基准大模型.利用基准大模型和已有部署版本的小模型在未标注数据中进行推理对比得到长尾数据，最终扩充本地长尾数据场景库。
[0023]以上实施例仅用以解释说明本专利技术的技术方案而非对其限制。本领域技术人员应当理解，未脱离本专利技术精神和范围的任何修改和等同替换，均应落入本专利技术权利要求的保护范围中。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督transformer检测的自动驾驶场景挖掘方法，其特征在于，包括：采用已有数据集作为标注数据，设置标注数据的超参数，分别训练2个检测模型；采用已有数据集训练小模型；对相机采集到的未标注数据，通过设置合理的参数获得检测结果；对2个检测模型的检测结果进行取交集得到未标注数据的真值，作为伪标注数据；对伪标注数据进行数据增强处理，扩充伪标注数据集；将标注数据和伪标注数据集作为总数据，并设置伪标注数据的loss权重，重新训练以swin transformer为backbone的yolov5检测模型，称之为student模型；使用小模型和st...

【专利技术属性】
技术研发人员：李金涛，桂瀚洋，董健，刘飞龙，
申请(专利权)人：上海宏景智驾信息科技有限公司，
类型：发明
国别省市：