【技术实现步骤摘要】
本公开涉及人工智能领域，特别涉及一种模型训练方法、多标签信息预测方法及其装置、存储介质。
技术介绍
1、通过利用视觉感知技术预测红绿灯信息，在无人驾驶领域得到了广泛的应用。目前，通常仅预测出红绿灯的颜色信息，以满足无人驾驶车辆通行路口的基本要求。若能够尽可能多地预测出红绿灯包含的其它信息，如箭头指向和类型等，则更加有利于下游模块进行决策。
2、例如，第一种方案是将红绿灯包含的各种信息在单标签场景下进行排列组合，如绿色直行机动车灯，可以实现对红绿灯各种信息的预测。第二种方案是将红绿灯的多种信息预测视为多标签多类别分类任务，通过设计二阶段的模型结构，使用两个子任务模型级联的方式实现对红绿灯各种信息的预测，其中在第一阶段使用前背景二分类检测模块提取出图像中的红绿灯目标，输入到第二阶段中的多标签多分类模型中，进行多标签信息预测。该方法从多标签多分类的角度出发，可以有效地解决各种信息排列组合导致的类别数量增加和不均衡问题，进而提升模型的预测能力。
技术实现思路
1、专利技术人注意到，在上述第一种方案中，由于将红绿灯包含的各种信息在单标签场景下进行排列组合，从而极大地增加模型预测的类别数量，加大训练类别数量不均衡的差距，致使模型收敛困难。在上述第二种方案中，二阶段的结构设计割裂了网络结构的完整性，需要维护两部分任务数据，增加人工投入成本，不利于工程维护和使用。
2、据此，本公开提供一种模型训练方法，通过利用单阶段网络结构，能够高效地预测出红绿灯的多标签信息，同时可以减少
3、根据本公开实施例的第一方面，提供一种模型训练方法，包括：利用特征提取网络模型提取包括红绿灯的样本图像的n个图像特征；利用特征复用网络模型对所述n个图像特征进行处理，以得到n个融合特征；利用多标签头部模型中的第i个检测模块对第i个融合特征进行处理，以得到所述红绿灯的第i个多标签分类信息，1≤i≤n；根据n个多标签分类信息和所述红绿灯的多标签标注信息，确定总损失函数；根据所述总损失函数对所述多标签头部模型进行训练。
4、在一些实施例中，根据n个多标签分类信息和所述红绿灯的多标签标注信息，确定总损失函数包括：根据所述第i个多标签分类信息和所述红绿灯的多标签标注信息，确定第i个检测模块的损失函数；根据n个检测模块的损失函数确定所述总损失函数。
5、在一些实施例中，根据所述第i个多标签分类信息和所述红绿灯的多标签标注信息，确定第i个检测模块的损失函数包括：根据所述第i个多标签分类信息中的第k个标签的分类信息，和所述多标签标注信息中的所述第k个标签的标注信息，确定所述第k个子损失函数，1≤k≤m，m为标签总数；根据m个子损失函数确定所述第i个检测模块的损失函数。
6、在一些实施例中，根据m个子损失函数确定所述第i个检测模块的损失函数包括：根据所述m个子损失函数的加权和，确定所述第i个检测模块的损失函数。
7、在一些实施例中，所述第i个多标签分类信息包括位置标签的位置预测框信息、前景标签的前景置信度、颜色标签的颜色分类信息、箭头指向标签的箭头指向分类信息、类型标签的类型分类信息中的至少2个。
8、在一些实施例中，在所述第i个多标签分类信息包括所述位置标签的位置预测框信息的情况下，与所述位置标签对应的子损失函数为所述红绿灯的位置预测框回归损失函数。
9、在一些实施例中，在所述第i个多标签分类信息包括所述前景标签的前景置信度的情况下，与所述前景标签对应的子损失函数为所述红绿灯的位置预测框的前景分类损失函数。
10、在一些实施例中，在所述第i个多标签分类信息包括所述颜色标签的颜色分类信息的情况下，与所述颜色标签对应的子损失函数为所述颜色分类信息的二进制交叉熵损失函数。
11、在一些实施例中，所述颜色标签包括红色、绿色、黄色和黑色中的任一项。
12、在一些实施例中，在所述第i个多标签分类信息包括所述箭头指向标签的箭头指向分类信息的情况下，与所述箭头指向标签对应的子损失函数为所述箭头指向分类信息的二进制交叉熵损失函数。
13、在一些实施例中，所述箭头指向标签包括无方向指引、直行方向指引、左转方向指引、右转方向指引、左转掉头方向指引和右转掉头方向指引中的至少一项。
14、在一些实施例中，在所述第i个多标签分类信息包括所述类型标签的类型分类信息的情况下，与所述类型标签对应的子损失函数为所述类型分类信息的二进制交叉熵损失函数。
15、在一些实施例中，所述类型标签包括机动车信号灯、非机动车信号灯、人行横道信号灯和计时器信号灯中的至少一项。
16、在一些实施例中，根据n个检测模块的损失函数确定总损失函数包括：根据所述n个检测模块的损失函数的加权和，确定所述总损失函数。
17、根据本公开实施例的第二方面，提供一种模型训练装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
18、根据本公开实施例的第三方面，提供一种多标签信息预测方法，包括：采集包括红绿灯的待处理图像；利用特征提取网络模型提取所述待处理图像的n个图像特征；利用特征复用网络模型对所述n个图像特征进行处理，以得到n个融合特征；利用多标签头部模型中的第i个检测模块对第i个融合特征进行处理，以得到所述红绿灯的第i个多标签分类信息，1≤i≤n，其中所述多标签头部模型通过权利要求1-14中任一项所述的方法训练得到；根据n个多标签分类信息预测所述红绿灯的多标签信息。
19、在一些实施例中，根据n个多标签分类信息预测所述红绿灯的多标签信息包括：在所述n个多标签分类信息中，将所述第k个标签的n个分类信息中的最大值作为所述第k个标签的预测信息。
20、根据本公开实施例的第四方面，提供一种多标签信息预测装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
21、根据本公开实施例的第五方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
22、根据本公开实施例的第六方面，提供一种计算机程序产品，包括计算机指令，其中所述计算机指令被处理器执行时实现如上述任一实施例涉及的方法。
23、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
本文档来自技高网...【技术保护点】
1.一种模型训练方法，包括：
2.根据权利要求1所述的方法，其中，根据N个多标签分类信息和所述红绿灯的多标签标注信息，确定总损失函数包括：
3.根据权利要求2所述的方法，其中，根据所述第i个多标签分类信息和所述红绿灯的多标签标注信息，确定第i个检测模块的损失函数包括：
4.根据权利要求3所述的方法，其中，根据M个子损失函数确定所述第i个检测模块的损失函数包括：
5.根据权利要求3所述的方法，其中，
6.根据权利要求5所述的方法，其中，
7.根据权利要求5所述的方法，其中，
8.根据权利要求5所述的方法，其中，
9.根据权利要求8所述的方法，其中，
10.根据权利要求5所述的方法，其中，
11.根据权利要求10所述的方法，其中，
12.根据权利要求5所述的方法，其中，
13.根据权利要求12所述的方法，其中，
14.根据权利要求1-13中任一项所述的方法，其中，根据N个检测模块的损失函数确定总损失函数包括：
15.一
16.一种多标签信息预测方法，包括：
17.根据权利要求16所述的方法，其中，根据N个多标签分类信息预测所述红绿灯的多标签信息包括：
18.一种多标签信息预测装置，包括：
19.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-14、16-17中任一项所述的方法。
20.一种计算机程序产品，包括计算机指令，其中所述计算机指令被处理器执行时实现如权利要求1-14、16-17中任一项所述的方法。
...【技术特征摘要】
1.一种模型训练方法，包括：
2.根据权利要求1所述的方法，其中，根据n个多标签分类信息和所述红绿灯的多标签标注信息，确定总损失函数包括：
3.根据权利要求2所述的方法，其中，根据所述第i个多标签分类信息和所述红绿灯的多标签标注信息，确定第i个检测模块的损失函数包括：
4.根据权利要求3所述的方法，其中，根据m个子损失函数确定所述第i个检测模块的损失函数包括：
5.根据权利要求3所述的方法，其中，
6.根据权利要求5所述的方法，其中，
7.根据权利要求5所述的方法，其中，
8.根据权利要求5所述的方法，其中，
9.根据权利要求8所述的方法，其中，
10.根据权利要求5所述的方法，其中，
11.根据权利要求10所述的方法，其中，
...【专利技术属性】
技术研发人员：张建伟，
申请(专利权)人：北京京东远升科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。