【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种知识蒸馏方法、目标检测方法、装置、设备及存储介质。
技术介绍
1、激光雷达传感器与相机传感器在感知任务当中是可以互补的存在，具体地，激光雷达传感器可以获取到精确的距离位置信息，而相机传感器则可以获取的更直观的语义信息，因此在实际的使用中，会融合这两种传感器的信息，进行多模态的融合感知以提升感知精度。
2、知识蒸馏是一种经典的模型压缩方法，之前主要用于大模型向轻量化模型的知识传递，而最近在多模态感知中也开始引入了知识蒸馏来进行跨模态之间的信息传递，以保证感知模型在单模态输入下可以具备多模态输入的性能，同时也不增加额外的计算量。
3、然而，传统的知识蒸馏方式会让学生网络特征专注于模仿教师网络特征，而损失了自身模态所具备的特异性的信息，进而，学生网络用于执行目标检测任务时，目标检测的准确性会比较差。
技术实现思路
1、有鉴于此，本申请提供一种知识蒸馏方法、目标检测方法、装置、设备及存储介质，以解决传统的知识蒸馏方式会让学生网络损失自身模态所具备的信息，导致学生网络目标检测准确性差的问题。
2、具体地，本申请是通过如下技术方案实现的：
3、根据本申请实施例的第一方面，提供一种知识蒸馏方法，包括：
4、获取学生网络的待蒸馏特征；
5、依据所述学生网络的待蒸馏特征，利用跨模态学习器，生成对应的跨模态学习特征；其中，在知识蒸馏过程中，以所述学生网络的待蒸馏特征为输入，依据蒸馏损失对所述学生网络
6、依据所述跨模态学习特征，以及，所述学生网络的待蒸馏特征，确定所述学生网络的蒸馏特征。
7、根据本申请实施例的第二方面，提供一种目标检测方法，包括：
8、获取待检测数据；
9、利用训练好的学生网络对所述待检测数据进行特征提取，得到初始待检测特征，并利用训练好的跨模态学习器生成与所述初始待检测特征对应的跨模态学习特征；其中，在学生网络及跨模态学习器的训练过程中，利用第一方面提供的知识蒸馏方法对所述学生网络及跨模态学习器进行训练；
10、依据所述初始待检测特征，以及，与所述初始待检测特征对应的跨模态学习特征，生成待检测特征，并依据所述待检测特征，进行目标检测。
11、根据本申请实施例的第三方面，提供一种知识蒸馏装置，包括：
12、获取单元，用于获取学生网络的待蒸馏特征；
13、生成单元，用于依据所述学生网络的待蒸馏特征，利用跨模态学习器，生成对应的跨模态学习特征；其中，在知识蒸馏过程中，以所述学生网络的待蒸馏特征为输入，依据蒸馏损失对所述学生网络和所述跨模态学习器进行反馈调优，所述蒸馏损失依据教师网络特征与所述跨模态学习器输出的跨模态学习特征之间的差异确定，所述教师网络特征与所述学生网络的待蒸馏特征为同一场景下不同模态的特征；
14、确定单元，用于依据所述跨模态学习特征，以及，所述学生网络的待蒸馏特征，确定所述学生网络的蒸馏特征。
15、根据本申请实施例的第四方面，提供一种目标检测装置，包括：
16、获取单元，用于获取待检测数据；
17、特征提取单元，用于利用训练好的学生网络对所述待检测数据进行特征提取，得到初始待检测特征，并利用训练好的跨模态学习器生成与所述初始待检测特征对应的跨模态学习特征；其中，在学生网络及跨模态学习器的训练过程中，利用第一方面提供的知识蒸馏方法对所述学生网络及跨模态学习器进行训练；
18、检测单元，用于依据所述初始待检测特征，以及，与所述初始待检测特征对应的跨模态学习特征，生成待检测特征，并依据所述待检测特征，进行目标检测。
19、根据本申请实施例的第五方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面或第二方面提供的方法。
20、根据本申请实施例的第六方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面或第二方面提供的方法。
21、本申请提供的技术方案至少可以带来以下有益效果：
22、通过获取学生网络的待蒸馏特征，依据学生网络的待蒸馏特征，利用跨模态学习器，生成对应的跨模态学习特征，并依据跨模态学习特征，以及，学生网络的待蒸馏特征，确定学生网络的蒸馏特征，与传统知识蒸馏方案相比，通过引入跨模态学习器生成待蒸馏特征对应的跨模态学习特征，对跨模态学习特征进行蒸馏，而不直接对待蒸馏特征进行蒸馏，在保证学生网络在学习教师网络不同模态的信息的情况下，保留了学生网络自身模态信息，优化了知识蒸馏效果，为后续更高准确性的目标检测提供了技术支持。
本文档来自技高网...【技术保护点】
1.一种知识蒸馏方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述知识蒸馏方法基于多模态蒸馏架构实现，所述多模态蒸馏架构包括鸟瞰图BEV蒸馏模块；
3.根据权利要求2所述的方法，其特征在于，所述多模态蒸馏架构还包括输出空间蒸馏模块；
4.根据权利要求3所述的方法，其特征在于，所述依据所述置信度预测蒸馏损失，以及，所述检测框位置和形状预测蒸馏损失，确定输出空间的蒸馏损失，包括：
5.根据权利要求4所述的方法，其特征在于，所述依据所述第一动态权重、所述第二动态权重、所述置信度预测蒸馏损失，以及，所述检测框位置和形状预测蒸馏损失，确定输出空间蒸馏损失，通过以下方式实现：
6.根据权利要求2所述的方法，其特征在于，所述教师网络的模态输入为图像数据，所述学生网络的模态输入为3D点云；所述多模态蒸馏架构还包括逐点蒸馏模块；
7.一种目标检测方法，其特征在于，包括：
8.根据权利要求7所述的方法，其特征在于，所述知识蒸馏方法基于多模态蒸馏架构实现，所述多模态蒸馏架构包括逐点蒸馏模块、BEV
9.一种知识蒸馏装置，其特征在于，包括：
10.根据权利要求9所述的装置，其特征在于，所述知识蒸馏方法基于多模态蒸馏架构实现，所述多模态蒸馏架构包括鸟瞰图BEV蒸馏模块；
11.一种目标检测装置，其特征在于，包括：
12.根据权利要求11所述的装置，其特征在于，所述知识蒸馏方法基于多模态蒸馏架构实现，所述多模态蒸馏架构包括逐点蒸馏模块、BEV蒸馏模块，以及，输出空间蒸馏模块；
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-6或7-8任一项所述的方法。
14.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现如权利要求1-6或7-8任一项所述的方法。
...【技术特征摘要】
1.一种知识蒸馏方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述知识蒸馏方法基于多模态蒸馏架构实现，所述多模态蒸馏架构包括鸟瞰图bev蒸馏模块；
3.根据权利要求2所述的方法，其特征在于，所述多模态蒸馏架构还包括输出空间蒸馏模块；
4.根据权利要求3所述的方法，其特征在于，所述依据所述置信度预测蒸馏损失，以及，所述检测框位置和形状预测蒸馏损失，确定输出空间的蒸馏损失，包括：
5.根据权利要求4所述的方法，其特征在于，所述依据所述第一动态权重、所述第二动态权重、所述置信度预测蒸馏损失，以及，所述检测框位置和形状预测蒸馏损失，确定输出空间蒸馏损失，通过以下方式实现：
6.根据权利要求2所述的方法，其特征在于，所述教师网络的模态输入为图像数据，所述学生网络的模态输入为3d点云；所述多模态蒸馏架构还包括逐点蒸馏模块；
7.一种目标检测方法，其特征在于，包括：
8.根据权利要求7所述的方法，其特征在于，所述知...
【专利技术属性】
技术研发人员：裴宇，张经纬，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。