本发明专利技术公开了一种基于置信学习和多任务学习的辅助驾驶AI中台系统，包括数据处理模块，用于接收原始数据，利用置信学习进行数据标注和筛选，构建数据集；模型构建模块，用于构建多任务模型的编码器、解码器，并为任务相关性较强的模型提供上下文信息传递通路和融合池化增强模块，使解码器的上下文进行交互；模型训练模块，用于定义和训练参数，训练到指定次数或精度后转化并输出模型；模型部署监控模块，用于将最佳模型进行设备端部署，同时在云端进行实时监控；并将模型效果差的场景数据进行保存回传，构成新的数据集。本发明专利技术有效利用简单任务对复杂任务进行辅助，并对简单任务的部分损失进行弥补，最终能够提升辅助驾驶感知的识别准确率。的识别准确率。的识别准确率。
【技术实现步骤摘要】
一种基于置信学习和多任务学习的辅助驾驶AI中台系统
[0001]本专利技术涉及AI算法中台系统
，尤其是涉及一种基于置信学习和多任务学习的辅助驾驶AI中台系统。
技术介绍
[0002]随着深度学习的发展，辅助驾驶技术借助算法逐步得到应用，如何处理海量数据及标注、构建合适的模型成为关键问题。AI中台将以上问题进行端到端集成，构建大规模智能服务，是一套完整的人工智能模型生命周期管理平台和服务系统，提供数据处理、模型构建、模型训练、模型部署和监控等支持。
[0003]目前多数AI中台系统尚未成熟，存在功能简陋或服务不全的问题。例如联想LeapAI平台缺少对特定场景的模型构建，对视觉任务的关注不够；阿里云AI平台提供视觉领域的模型构建，但仅停留在图像识别的应用上，没有针对辅助驾驶视觉感知任务的检测功能。
[0004]在模型构建方面，辅助驾驶由于涉及多个视觉感知需求，一般有车道线检测、可行驶区域分割和目标检测等具有挑战性的任务，主流做法是构建一个端到端的深度学习多任务网络来解决。现有的多任务辅助驾驶视觉感知系统，通常在深度学习模型的训练阶段进行改进，主要分为结构、优化方法和任务关系三种思路。
[0005]多任务网络一般采用编码器
‑
解码器的结构，编码器由鲁棒性强的特征提取网络作为骨干，往往再加上颈部网络用于特征融合；解码器针对不同的任务分别设计，如2022年期刊机器智能研究(Machine Intelligence Research)第19期第550
‑
562页的文章《YOLOP:You Only Look Once for Panoptic Driving Perception》年提出的YOLOP网络包含三个任务头，用于目标检测、车道线和可行驶区域分割等。
[0006]优化方式主要是对损失函数和梯度的优化，前者针对不同任务进行加权和，目前有利用任务不确定性、学习速率、模型性能以及几何平均等方法。后者围绕梯度进行调优，主要是对梯度的修正来平衡任务间的训练速率，如2018年国际机器学习大会(International Conference on Machine Learning)上文章《GradNorm:Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks》提出的GradNorm方法，以平衡的梯度作为目标，优化Grad Loss，从而动态调整各个任务的权重。
[0007]在任务关系上相关性较弱的任务可能会带来负面迁移效应，因此需要让模型学习确定的任务表示或者任务间的关联。例如2023年人工智能促进协会国际会议(Association for the Advancement of Artificial Intelligence)中的文章《DeMT:Deformable Mixer Transformer for Multi
‑
Task Learning of Dense》，结合CNN和Transformer实现多任务学习，任务感知解码器捕捉任务交互特征并利用Transformer生成相应的任务特定特征用于预测。
[0008]以上方法应用到辅助驾驶领域也取得一定效果，但目前端到端的辅助驾驶多任务网络较少考虑任务之间的交互，即使是视觉感知方面相关性较强的任务也是独立进行解
码。
技术实现思路
[0009]本专利技术提供了一种基于置信学习和多任务学习的辅助驾驶AI中台系统，根据不同任务的难度设计任务间特征传递路径，有效利用简单任务对复杂任务进行辅助，并对简单任务的部分损失加入增强池化融合模块来弥补，最终能够提升辅助驾驶感知的识别准确率。
[0010]一种基于置信学习和多任务学习的辅助驾驶AI中台系统，其特征在于，包括数据处理模块、模型构建模块、模型训练模块和模型部署监控模块；
[0011]其中，所述的数据处理模块，用于接收原始数据，利用置信学习进行数据标注和筛选，构建数据集；
[0012]所述的模型构建模块，用于构建多任务模型的编码器、解码器，并为任务相关性较强的模型提供上下文信息传递通路和融合池化增强模块，使解码器的上下文进行交互；
[0013]所述的模型训练模块，用于定义和训练参数，训练到指定次数或精度后转化并输出模型；
[0014]所述的模型部署监控模块，用于将最佳模型进行设备端部署，同时在云端进行实时监控；并将模型效果差的场景数据进行保存回传，构成新的数据集。
[0015]本专利技术通过构建一个联合上下文信息传递通路和融合池化增强模块的多任务模型，解决多任务网络解码器独立造成的特征损失问题，有效利用上下文的语义信息为复杂任务提供更全面的特征。
[0016]所述的数据处理模块中，利用置信学习进行数据标注和筛选的过程如下：
[0017](1)估计噪声标签和真实标签的联合分布；
[0018](2)根据PBC规则对样本进行筛选，并删除错误样本；
[0019](3)删除错误样本后重新调整样本类别权重进行训练。
[0020]步骤(1)的具体过程如下：
[0021](1
‑
1)通过交叉验证得到第i个样本属于第j类的概率P
ij
，计算人工标签类别j下平均概率t
j
作为置信度阈值；
[0022](1
‑
2)计算计数矩阵得到所有分类情况下P
ij
>t
j
的样本数量；
[0023](1
‑
3)根据进行标定，使得计数总和与人工标记的样本总数相同，公式如下，其中为人工标签的样本总数
[0024][0025](1
‑
4)估计噪声标签和真实标签y
*
的联合分布并做归一化，公式如下：
[0026][0027]步骤(2)中，依据PBC规则筛选，对于人工标记的每个类别i∈1,2,
…
m，选取
个样本，按照概率升序排序进行过滤。
[0028]步骤(3)中，根据联合分布将每个类别i下的损失权重修正为其中，再采取Co
‑
teaching框架重新训练。
[0029]步骤(1)得到真实标签和噪声标签的联合分布，而不仅仅是噪声特性的分布，因此提供的信息更加有效。该分布随着数据集的增大能够近似于真实场景下数据的分布，此为标准，步骤(2)采用PBC规则进行错误标注的筛除是有依据的。步骤(3)根据这一联合分布修正了样本的权重，使用Co
‑
teaching重新训练时也更准确。
[0030]模型构建模块中，构建多任务模型的编码器时，选择特征提取模型作为骨干网络，记作E
b
；根据实时性要求选择颈部网络进行特征融合，作为编码器的一部分，记作E
n
；
[0031]同时，根据任务性本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于置信学习和多任务学习的辅助驾驶AI中台系统，其特征在于，包括数据处理模块、模型构建模块、模型训练模块和模型部署监控模块；其中，所述的数据处理模块，用于接收原始数据，利用置信学习进行数据标注和筛选，构建数据集；所述的模型构建模块，用于构建多任务模型的编码器、解码器，并为任务相关性较强的模型提供上下文信息传递通路和融合池化增强模块，使解码器的上下文进行交互；所述的模型训练模块，用于定义和训练参数，训练到指定次数或精度后转化并输出模型；所述的模型部署监控模块，用于将最佳模型进行设备端部署，同时在云端进行实时监控；并将模型效果差的场景数据进行保存回传，构成新的数据集。2.根据权利要求1所述的基于置信学习和多任务学习的辅助驾驶AI中台系统，其特征在于，所述的数据处理模块中，利用置信学习进行数据标注和筛选的过程如下：(1)估计噪声标签和真实标签的联合分布；(2)根据PBC规则对样本进行筛选，并删除错误样本；(3)删除错误样本后重新调整样本类别权重进行训练。3.根据权利要求2所述的基于置信学习和多任务学习的辅助驾驶AI中台系统，其特征在于，步骤(1)的具体过程如下：(1
‑
1)通过交叉验证得到第i个样本属于第j类的概率P
ij
，计算人工标签类别j下平均概率t
j
作为置信度阈值；(1
‑
2)计算计数矩阵得到所有分类情况下P
ij
>t
j
的样本数量；(1
‑
3)根据进行标定，使得计数总和与人工标记的样本总数相同，公式如下，其中为人工标签的样本总数(1
‑
4)估计噪声标签和真实标签y
*
的联合分布并做归一化，公式如下：4.根据权利要求3所述的基于置信学习和多任务学习的辅助驾驶AI中台系统，其特征在于，步骤(2)中，依据PBC规则筛选，对于人工标记的每个类别i∈1,2,
…
m，选取个样本，按照概率升序排序进行过滤。5.根据权利要求4所述的基于置信学习和多任务学习的辅助驾驶AI中台系统，其特征在于，步骤(3)中，根据联合分布将每个类别i下的损失权重修正为其中，...
【专利技术属性】
技术研发人员：罗芯，王闻箫，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。