【技术实现步骤摘要】
本申请涉及人工智能，特别涉及一种模态分类模型的训练方法和基于多模态数据的分类方法。
技术介绍
1、随着自动驾驶技术的发生，汽车不再仅仅是机械装置，其变得更加智能化，如能够对环境进行感知，并做出相应决策进而执行。其中，汽车通过摄像头、激光雷达等传感器装置来采集图像、激光雷达点云等多个模态的数据，以获取车辆周围环境的详细信息。相应地，汽车基于多个模态的数据确定当前时刻所产生事件的事件类别(如遇到红灯)，进而做出决策(如停车)。因此，如何基于多个模态的数据确定事件类别对于自动驾驶十分重要。
2、相关技术中，一般是通过多个模态的数据训练出模态分类模型，通过模态分类模型，基于采集的多个模态的数据确定事件类别。然而，多个模态的数据的训练难度不同，模态分类模型往往倾向于优先学习训练简单的模态的数据，而忽略训练困难的模态的数据，使得模态分类模型的性能下降，进而降低分类的准确性。
技术实现思路
1、本申请实施例提供了一种模态分类模型的训练方法和基于多模态数据的分类方法，该方法通过对模态分类模型和...
【技术保护点】
1.一种模态分类模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述样本场景数据的多个单模态分类结果、所述样本场景数据的第一多模态分类结果和所述样本场景数据的标注事件类别，调整所述多个模态各自的权重值，包括：
3.根据权利要求2所述的方法，其特征在于，所述减小所述多个模态中第一模态的权重值，增大所述多个模态中第二模态的权重值，包括：
4.根据权利要求2所述的方法，其特征在于，所述增大所述第二模态的权重值，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于多个样本场景数...
【技术特征摘要】
1.一种模态分类模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述样本场景数据的多个单模态分类结果、所述样本场景数据的第一多模态分类结果和所述样本场景数据的标注事件类别，调整所述多个模态各自的权重值，包括：
3.根据权利要求2所述的方法，其特征在于，所述减小所述多个模态中第一模态的权重值，增大所述多个模态中第二模态的权重值，包括：
4.根据权利要求2所述的方法，其特征在于，所述增大所述第二模态的权重值，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于多个样本场景数据各自的标注事件类别和所述多个样本场景数据各自的第二多模态分类结果，确定损失值，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述多个模态各自调整后的权重值，对所述样本场景数据的多个单模态分类结果进行融合，得到所述样本场景数据的第二多模态分类结果，包括：
7.一种基于多模态数据的分类方法，其特征在于，所述方法包括：
8.根据权利要求7所述的分类方法，其特征在于，所述基于所述多个模态各自的第一权重值，对所述场景数据的多个单模态分类结果进行融合，得到所述场景数据的目标分类结果，包括：
9.根据权利要求8所述的分类方法，其特征在于...
【专利技术属性】
技术研发人员：马焕，吴秉哲，朱妍，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。