一种智能驾驶视觉感知中多场景多任务的主动学习方法技术

本发明专利技术公开了一种智能驾驶视觉感知中多场景多任务的主动学习方法，包括以下步骤：S1：获取车载相机的视频，提取视频的数据帧，基于数据帧生成已标注集和未标注集；S2：基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集；S3：基于初筛集生成概率图并计算不确定性，加权计算初筛集图像的多样性和不确定性的价值程度；S4：筛选价值程度大于价值程度阈值的图像作为待标注集，合并不同任务筛选的待标注集，待标注集去除重复图像后输出图像至已标注集。本发明专利技术的有益效果是：能减少神经网络训练的数据标注量，降低了人工标注成本，能够解决智能驾驶中不同任务的数据长尾分布问题。问题。问题。

【技术实现步骤摘要】
一种智能驾驶视觉感知中多场景多任务的主动学习方法


[0001]本专利技术涉及数据收集方法
，特别涉及一种智能驾驶视觉感知中多场景多任务的主动学习方法。

技术介绍

[0002]主动学习技术涉及人工智能领域，被广泛应用于智能驾驶等领域。智能驾驶的视觉感知被认为是解决数据长尾分布的问题，因此智能驾驶车辆在少见、极端场景中的感知能力十分重要，主动学习使网络模型自主学习有价值的数据，包括少见且极端的场景数据，尤其在2d检测和车道线分隔中能够提高计算效率。
[0003]现有技术中，通过设计额外的网络结构与对应损失函数，可以计算图像的偶然不确定性，通过多次模型推理的方式可以计算图像的认知不确定性，在基于偶然不确定性计算中，通常假定不确定性是高斯分布的，通过设计额外的网络结构预测高斯分布的方差与均值，并通过对应的损失函数学习收敛，但是不能够解决智能驾驶中多任务的数据长尾分布的问题。
[0004]例如，一种在中国专利文献上公开的“一种筛选样本的方法、系统、设备及介质”，其公告号：CN112308144A，其申请日：2020年10月30日，该专利技术通过从目标样本集中获取部分未标注样本形成候选样本集，利用分类模型对候选样本集中每个未标注样本进行多次预测，根据多次预测结果计算候选样本集中每个未标注样本的不确定性值，从候选样本集中筛选出不确定性值最高的前K个未标注样本，以作为分类模型的训练样本，可以从海量数据中挑选出最具代表性的少量样本进行人工标注，解决了传统需要对全量样本进行标注时耗资巨大的问题，但是存在不能够解决智能驾驶中多任务的数据长尾分布的问题。

技术实现思路

[0005]针对现有技术不能解决智能驾驶中多任务的数据长尾分布的不足，本专利技术提出了一种智能驾驶视觉感知中多场景多任务的主动学习方法，能减少神经网络训练的数据标注量，降低了人工标注成本，能够解决智能驾驶中多任务的数据长尾分布问题。
[0006]以下是本专利技术的技术方案，一种智能驾驶视觉感知中多场景多任务的主动学习方法，包括以下步骤：
[0007]S1：获取车载相机的视频，构建网络模型，提取视频的数据帧，基于数据帧生成已标注集和未标注集；
[0008]S2：基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集；
[0009]S3：基于不同的随机种子重复训练S2中的网络模型得到集成网络模型，基于初筛集生成概率图并计算不确定性，加权计算初筛集图像的多样性和不确定性的价值程度；
[0010]S4：筛选价值程度大于价值程度阈值的图像作为待标注集，合并不同任务筛选的待标注集，待标注集去除重复图像后，输出图像至已标注集。
[0011]本方案中，获取车载相机的视频，构建网络模型，提取视频的数据帧，基于数据帧生成已标注集和未标注集，基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集，基于不同的随机种子重复训练S2中的网络模型得到集成网络模型，基于初筛集生成概率图并计算不确定性，加权计算初筛集图像的多样性和不确定性的价值程度，筛选价值程度大于价值程度阈值的图像作为待标注集，合并不同任务筛选的待标注集，待标注集去除重复图像后，输出图像至已标注集，能高效利用数据标注，减少神经网络训练的数据标注量，降低了人工标注成本，在一个多任务模型内挖掘针对不同任务的有价值数据，能够统一解决智能驾驶中多任务的数据长尾分布问题，主动学习计算过程中动态划分视频，提高计算效率，提升应对不同场景的泛化性。
[0012]作为优选，多任务包括2d检测任务和车道线分割任务，2d检测任务中2d检测网络模型的头部网络具有分类分支和边界框回归分支，分类分支输出2d目标语义概率图，车道线分割任务中车道线分割网络模型的头部网络具有语义分割分支和聚类分支，语义分割分支输出车道线语义概率图，对于2d检测任务，计算分类分支概率图的互信息，对于车道线分割任务，计算语义分割分支概率图的互信息。
[0013]本方案中，对不同的任务模型进行不同的处理，若为2d检测任务，2d检测网络模型的头部网络具有分类分支和边界框回归分支，分类分支输出2d目标语义概率图，计算分类分支概率图的互信息，若为车道线分割任务，车道线分割网络模型的头部网络具有语义分割分支和聚类分支，语义分割分支输出车道线语义概率图，计算语义分割分支概率图的互信息。
[0014]作为优选，基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集，包括以下步骤：
[0015]S21：提取未标注集图像特征并生成特征图集合；
[0016]S22：将特征图集合按时间顺序动态划分若干份特征图子集，在每份特征图子集内随机选择一张特征图作为已选集，其余作为未选集，计算未选集内所有特征图与已选集的距离，
[0017]其中，未选集某个特征图到已选集的距离代表多样性；
[0018]S23：将未选集内距离已选集最远的特征图加入已选集，剩下的特征图更新为未选集；
[0019]S24：重复步骤S23，直到当前未选集内所有特征图到已选集之间的距离均小于距离阈值；
[0020]S25：在若干份特征图子集上重复步骤S24，直到计算完所有未标注集特征图，将所有特征图子集内的已选集特征图对应的图像组合成多样性高的初筛集。
[0021]本方案中，基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集，便于提高初筛集的多样性。
[0022]作为优选，步骤S24中，不同任务对应的距离阈值各自独立设置，对于2d检测任务，距离阈值范围为0.18～0.28，对于车道线分割任务，距离阈值范围为0.17～0.27。
[0023]作为优选，步骤S2中，考虑多场景时，未标注集特征图动态划分的特征图子集的数量为场景数量，并赋予不同场景下特征图子集不同的距离阈值，表达式如下：
[0024]th
div_x
＝th
div
*λ
x
[0025]式中，th
div_x
为不同场景x下的距离阈值，th
div
为距离阈值，λ
x
为阈值系数。
[0026]本方案中，赋予不同场景下特征图子集不同的距离阈值，便于加权计算
[0027]作为优选，基于不同的随机种子重复训练网络模型得到集成网络模型，集成网络模型推理初筛集的图像并逐像素计算互信息，概率图的互信息计算公式如下：
[0028][0029]式中，t为多任务索引，∪(
·
)表示特征拼接，l表示分支不同尺度概率图的具体阶数，L表示分支的不同尺度概率图的总阶数，E(
·
)表示对概率图逐像素计算熵值，p
t,n,l
表示任务t的第n个集成模型索引的第l阶概率图，N表示集成模型包含的总模型数。
[0030本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能驾驶视觉感知中多场景多任务的主动学习方法，其特征在于，包括以下步骤：S1：获取车载相机的视频，构建网络模型，提取视频的数据帧，基于数据帧生成已标注集和未标注集；S2：基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集；S3：基于不同的随机种子重复训练S2中的网络模型得到集成网络模型，基于初筛集生成概率图并计算不确定性，加权计算初筛集图像的多样性和不确定性的价值程度；S4：筛选价值程度大于价值程度阈值的图像作为待标注集，合并不同任务筛选的待标注集，待标注集去除重复图像后，输出图像至已标注集。2.根据权利要求1所述的一种智能驾驶视觉感知中多场景多任务的主动学习方法，其特征在于，多任务包括2d检测任务和车道线分割任务，2d检测任务中2d检测网络模型的头部网络具有分类分支和边界框回归分支，分类分支输出2d目标语义概率图，车道线分割任务中车道线分割网络模型的头部网络具有语义分割分支和聚类分支，语义分割分支输出车道线语义概率图，对于2d检测任务，计算分类分支概率图的互信息，对于车道线分割任务，计算语义分割分支概率图的互信息。3.根据权利要求1所述的一种智能驾驶视觉感知中多场景多任务的主动学习方法，其特征在于，基于已标注集训练网络模型，提取未标注集的图像特征生成特征图并计算多样性，筛选多样性高的特征图作为初筛集，包括以下步骤：S21：提取未标注集图像特征并生成特征图集合；S22：将特征图集合按时间顺序动态划分若干份特征图子集，在每份特征图子集内随机选择一张特征图作为已选集，其余作为未选集，计算未选集内所有特征图与已选集的距离，其中，未选集某个特征图到已选集的距离代表多样性；S23：将未选集内距离已选集最远的特征图加入已选集，剩下的特征图更新为未选集；S24：重复步骤S23，直到当前未选集内所有特征图到已选集之间的距离均小于距离阈值；S25：在若干份特征图子集上重复步骤S24，直到计算完所有未标注集特征图，将所有特征图子集内的已选集特征图对应的图像组合成多样性高的初筛集。4.根据权利要求3所述的一种智能驾驶视觉感知中多场景多任务的主动学习方法，其特征在于，步骤S24中，不同任务对应的距离阈值各自独立设置，对于2d检测任务，距离阈值范围为0.18～0.28，对于车道线分割任务，距离阈值范围为0.17～0.27。5.根据权利要求1所述的一种智能驾驶视觉感知中多场景多任务的主动学...

【专利技术属性】
技术研发人员：孙泽浩，谢钱昆，
申请(专利权)人：浙江零跑科技股份有限公司，
类型：发明
国别省市：