一种基于模型微调的交通标识识别方法及系统技术方案

本发明专利技术公开了一种基于模型微调的交通标识识别方法及系统，包括实例分割模型的预训练以及微调模型参数；微调模型参数时，固定预训练部分参数，只训练参数的增量矩阵，通过对增量矩阵进行奇异值值分解，取其最大的一些奇异值对应的左右奇异向量对增量矩阵进行重组。同时，根据梯度大小自动调整奇异值分解的向量个数，既避免了手动调参每层的秩，让微调后的参数矩阵尽可能地接近原矩阵，通过控制参数的变化量来保留模型的泛化能力和避免灾难性遗忘的问题。最后将所有时刻的这些左右奇异向量乘积求和，作为最终的参数补偿量。利用本发明专利技术，可以在保留模型容量的同时强化其对交通标识的识别能力。

【技术实现步骤摘要】

本专利技术属于交通标识识别领域，尤其是涉及一种基于模型微调的交通标识识别方法及系统。

技术介绍

1、自动驾驶在最近几年迎来了前所未有的发展，从之前的研究阶段逐渐开始投入到工业应用中，但是自动驾驶同时作为容错率最低的ai应用之一，想要真正完全地代替人类控制车辆，不但要能常规地驾驶车辆，还需要能应对各种各样复杂的突发状况，这就对自动驾驶的模型提出了极高的要求。现在业界最新的方案是基于预训练大模型进行微调，已使得模型具有足够的表达能力，并且充分利用预训练模型所具有的知识。

2、因为交通标识信息是通过车辆自带的摄像头获取，以图片的形式传递给自动驾驶的信息处理系统，因此需要首先便需要使用图像分割模型准确分割出图像中交通标志所在区域。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，当前对图像的目标分割技术已较为成熟，包括yolact、solov2、condinst、discomask等，下面对这些常用的图像实例分割模型进行介绍：

3、detectors通过使用两次观察和思考的机制来改进目标检测效果，在宏观层面本文档来自技高网...

【技术保护点】

1.一种基于模型微调的交通标识识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(1)中，所述的实例分割模型采用FastInst模型。

3.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-2)中，将所有标注数据一次性或分批次输入预训练后的模型，使用损失函数反向传播计算每一层所有参数的梯度g0：

4.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-3)中，对每一层所有参数的梯度进行绝对值平均，统计每一层参数的适应性得分S，公式为：

...

【技术特征摘要】

1.一种基于模型微调的交通标识识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(1)中，所述的实例分割模型采用fastinst模型。

3.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-2)中，将所有标注数据一次性或分批次输入预训练后的模型，使用损失函数反向传播计算每一层所有参数的梯度g0：

4.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-3)中，对每一层所有参数的梯度进行绝对值平均，统计每一层参数的适应性得分s，公式为：

5.根据权利要求4所述的基于模型微调的交通标识识别方法，其...

【专利技术属性】
技术研发人员：李科，陈征，张卫忠，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：