【技术实现步骤摘要】
本专利技术属于交通标识识别领域，尤其是涉及一种基于模型微调的交通标识识别方法及系统。
技术介绍
1、自动驾驶在最近几年迎来了前所未有的发展，从之前的研究阶段逐渐开始投入到工业应用中，但是自动驾驶同时作为容错率最低的ai应用之一，想要真正完全地代替人类控制车辆，不但要能常规地驾驶车辆，还需要能应对各种各样复杂的突发状况，这就对自动驾驶的模型提出了极高的要求。现在业界最新的方案是基于预训练大模型进行微调，已使得模型具有足够的表达能力，并且充分利用预训练模型所具有的知识。
2、因为交通标识信息是通过车辆自带的摄像头获取，以图片的形式传递给自动驾驶的信息处理系统，因此需要首先便需要使用图像分割模型准确分割出图像中交通标志所在区域。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，当前对图像的目标分割技术已较为成熟，包括yolact、solov2、condinst、discomask等，下面对这些常用的图像实例分割模型进行介绍：
3、detectors通过使用两次观察和思考的机制来改进目标检测效果，在宏观层面上，提出了recursive feature pyramid，他将来自特征金字塔网络的额外反馈连接合并到自下而上的主干层中；在微观层面，提出了switchable atrous convolution，对不同atrous率的的特征进行卷积，并使用switch函数收集结果通过两者的结合，detectors极大地提高了bounding box和mask的平均准确率。
4
5、condinst采用全卷积网络，不依赖于roi操作，因此无需调整特征图的大小，同时将固定权重的实例mask head改为动态的实例感知mask head,在大幅减小mask head的同时保持了稳定的预测精度。
6、discomask使用弱监督学习算法，直接从bounding box监督生成实例mask,在训练期间输出高质量的实例分割结果，而无需掩码标注。由于获取bounding box相比于获取像素级的mask标注要容易的多，因此成为工业级视觉应用的最佳选择之一。
7、模型微调是一种在深度学习中常用的技术，它通过对预训练模型进行调整，使其适应新的任务或数据集，这种方法通常可以在短时间内获得较好的模型性能，同时也可以避免从头开始训练模型的巨大计算成本。
8、目前机器学习领域有多种微调算法，但是主要面临如下三个挑战：一是驾驶中遇到的场景千变万化，因此我们不可能收集到所有场景的数据用于模型微调，这使得我们的微调后的模型需要具有非常优秀的泛化能力；二是现有的微调算法容易过拟合到微调训练数据集上，并导致灾难性遗忘问题，从而丢失预训练模型原先学习到的知识；最后，由于自动驾驶任务需要很大的模型容量，涉及的参数量非常巨大，因此对微调算法的效率提出了很高的要求，让模型在可接受的时间内完成参数的调整。
技术实现思路
1、本专利技术提供了一种基于模型微调的交通标识识别方法及系统，通过模型预训练和面模型微调，可以在保留模型容量的同时强化其对交通标识的识别能力。
2、一种基于模型微调的交通标识识别方法，包括以下步骤：
3、(1)选择实例分割模型，利用数据集对模型预训练；
4、(2)对于预训练后的模型，对模型参数进行微调，具体微调过程为：
5、(2-1)选择包含交通标识的图像数据集进行标注，得到微调数据集；
6、(2-2)从微调数据集中数随机采样标注数据(x′,y′)，计算模型每一层所有参数的梯度；
7、(2-3)对每一层所有参数的梯度进行绝对值平均，统计每一层参数的适应性得分s，并根据适应性得分s的排序对不同层分配不同的秩r；
8、(2-4)得到每一层所需的秩之后，固定所有预训练模型的参数，对每一层参数矩阵w设置对应的参数更新矩阵δw、左向量a和右向量b作为可训练参数，并将添加可训练参数后的网络称为增广网络；
9、(2-5)利用微调数据集分批次对增广网络进行微调训练，每批次训练过程中计算参数更新矩阵δw的梯度，对其进行奇异值分解得到最大奇异值对应的左奇异向量at和右奇异向量bt，并对参数更新矩阵δw进行更新；
10、(3)将待识别的图片输入步骤(2-5)更新得到的网络，得到交通标识识别结果。
11、步骤(1)中，所述的实例分割模型采用fastinst模型。本专利技术选择了目前具有较高分类准确率的实例分割模型fastinst，除了拥有较高的分类准确率，fastinst还拥有实时(32.5fps)实例分割的能力，对于瞬息万变的交通情况，fastinst快速的图片处理能力使得其十分适合本专利技术。
12、步骤(2-2)中，将所有标注数据一次性或分批次输入预训练后的模型，使用损失函数反向传播计算每一层所有参数的梯度g0：
13、
14、式中，l(x′,y′)为标注数据(x′,y′)对应的损失为梯度算子，表示l关于w的梯度。
15、步骤(2-3)中，对每一层所有参数的梯度进行绝对值平均，统计每一层参数的适应性得分s，公式为：
16、
17、式中，w(l)表示预训练模型的l层参数矩阵，l＝1,2,…,l，l为预训练模型的网络层数，mean表示求平均操作，wi,j表示参数矩阵的第i行第j列的元素。
18、步骤(2-3)中，根据适应性得分s的排序对不同层分配不同的秩r，具体过程为：
19、设定空间预算b，先给每一个参数矩阵分配一个秩，然后将剩余的空间预算b-l根据得分比重进行分配，公式如下：
20、
21、式中，r(l)预训练模型第l层参数矩阵的秩。
22、步骤(2-5)中，每批次训练过程中计算参数更新矩阵的梯度，具体包括：
23、对于第t批次来到的数据(x,y)，将其输入增广网络，前向传播计算训练损失l(x,y)，之后反向传播计算参数更新矩阵的梯度，公式为：
24、
25、式中，为梯度算子，表示l关于δw的梯度。
26、步骤(2-5)中，参数更新矩阵沿着其梯度方向的最大奇异向量方向进行增量式更新，参数更新矩阵δw的更新公式如下：
27、
28、其中，和分别表示第t批次时参数矩阵的第k个左奇异向量和右奇异向量
29、一种基于模型微调的交通标识识别系统，包括存储器和一个或多个处理器，所述存储器中存本文档来自技高网...
【技术保护点】
1.一种基于模型微调的交通标识识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(1)中，所述的实例分割模型采用FastInst模型。
3.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-2)中，将所有标注数据一次性或分批次输入预训练后的模型，使用损失函数反向传播计算每一层所有参数的梯度g0：
4.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-3)中，对每一层所有参数的梯度进行绝对值平均，统计每一层参数的适应性得分S，公式为：
5.根据权利要求4所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-3)中，根据适应性得分S的排序对不同层分配不同的秩r，具体过程为：
6.根据权利要求5所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-5)中，每批次训练过程中计算参数更新矩阵的梯度，具体包括：
7.根据权利要求6所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-5)中，参数更
8.一种基于模型微调的交通标识识别系统，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的交通标识识别方法。
...【技术特征摘要】
1.一种基于模型微调的交通标识识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(1)中，所述的实例分割模型采用fastinst模型。
3.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-2)中，将所有标注数据一次性或分批次输入预训练后的模型，使用损失函数反向传播计算每一层所有参数的梯度g0：
4.根据权利要求1所述的基于模型微调的交通标识识别方法，其特征在于，步骤(2-3)中，对每一层所有参数的梯度进行绝对值平均，统计每一层参数的适应性得分s，公式为：
5.根据权利要求4所述的基于模型微调的交通标识识别方法，其...
【专利技术属性】
技术研发人员：李科，陈征，张卫忠，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。