目标识别方法、目标识别模型训练方法及装置制造方法及图纸

本公开提供了一种目标识别方法、目标识别模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能领域，尤其涉及图像处理、计算机视觉和深度学习技术领域，可应用于3D视觉、虚拟现实等场景。实现方案为：初始化待训练的学生模型并确定经训练的教师模型；获取点云数据、点云数据中的每个点所对应的第一标签以及点云数据所对应的第二标签，第一标签用于标识该点与点云数据所对应的待识别目标所在区域的关系，第二标签为预设的目标识别结果；将点云数据输入学生模型，以及将点云数据和第一标签输入教师模型，从而基于知识蒸馏方法对该学生模型进行训练。知识蒸馏方法对该学生模型进行训练。知识蒸馏方法对该学生模型进行训练。

【技术实现步骤摘要】
目标识别方法、目标识别模型训练方法及装置


[0001]本公开涉及人工智能领域，尤其涉及图像处理、计算机视觉和深度学习
，可应用于3D视觉、虚拟现实等场景。具体涉及一种目标识别方法、目标识别模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]深度学习技术近年来在计算机视觉和自然语言处理领域获得了巨大的成功，基于点云数据的目标检测任务作为计算机视觉中的经典子任务，近年来也成为了深度学习研究者的热点课题。通过例如激光雷达采集的点云数据蕴含丰富的几何信息，但是相比图像缺少丰富的语义信息，这导致在一些小物体和非刚体的物体上，检测指标很差。

技术实现思路

[0004]本公开提供了一种目标识别方法、目标识别模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种目标识别网络模型训练方法，包括：初始化待训练的学生模型，所述学生模型包括第一特征提取网络和第一检测头网络；获取点云数据；确定所述点云数据中的每个点所对应的第一标签以及所述点云数据所对应的第二标签，其中，所述第一标签用于标识该点与所述点云数据所对应的待识别目标所在区域的关系，所述第二标签为预设的目标识别结果；确定经训练的教师模型，其中所述教师模型包括第二特征提取网络和第二检测头网络；将所述点云数据输入所述学生模型，获得第一特征图和第一识别结果；将所述点云数据以及所述第一标签输入所述教师模型，获得第二特征图以及第二识别结果；基于所述第一特征图和所述第二特征图所组成的组、以及所述第一识别结果和所述第二识别结果所组成的组中的至少一组，通过预设的第一损失函数确定蒸馏损失值；基于所述第一识别结果以及所述第二标签，通过预设的第二损失函数确定目标识别损失值；以及基于所述蒸馏损失值以及所述目标识别损失值，调节所述学生模型的参数值。
[0006]根据本公开的另一方面，提供了一种目标识别方法，包括：通过点云采集装置获取点云数据，其中所述点云采集装置用于对待识别目标进行观测；以及将所述点云数据输入经训练的学生模型，以获得目标识别结果。所述学生模型基于本公开所述的方法训练得到。
[0007]根据本公开的另一方面，提供了一种目标识别网络模型训练装置，包括：初始化单元，配置为初始化待训练的学生模型，所述学生模型包括第一特征提取网络和第一检测头网络；第一获取单元，配置为获取点云数据；第一确定单元，配置为确定所述点云数据中的
每个点所对应的第一标签以及所述点云数据所对应的第二标签，其中，所述第一标签用于标识该点与所述点云数据所对应的待识别目标所在区域的关系，所述第二标签为预设的目标识别结果；第二确定单元，配置为确定经训练的教师模型，其中所述教师模型包括第二特征提取网络和第二检测头网络；第二获取单元，配置为将所述点云数据输入所述学生模型，获得第一特征图以及第一识别结果；第三获取单元，配置为将所述点云数据以及所述第一标签输入所述教师模型，获得第二特征图以及第二识别结果；第三确定单元，配置为基于所述第一特征图和所述第二特征图所组成的组、以及所述第一识别结果和所述第二识别结果所组成的组中的至少一组，通过预设的第一损失函数确定蒸馏损失值；第四确定单元，配置为基于所述第一识别结果以及所述第二标签，通过预设的第二损失函数确定目标识别损失值；以及训练单元，配置为基于所述蒸馏损失值以及所述目标识别损失值，调节所述学生模型的参数值。
[0008]根据本公开的另一方面，提供了一种目标识别装置，包括：第四获取单元，配置为通过点云采集装置获取点云数据，其中所述点云采集装置用于对待识别目标进行观测；以及第五确定单元，配置为将所述点云数据输入经训练的学生模型，以获得目标识别结果。所述学生模型基于本公开所述的方法训练得到。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开所述的方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开所述的方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所述的方法。
[0012]根据本公开的一个或多个实施例，将教师模型通过加上语义掩码的点云数据进行训练，该语义掩码为点云中的每个点的真值标签，并基于该教师模型完成学生模型的训练，从而增强学生模型的语义信息，提升目标识别效果。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0015]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0016]图2示出了根据本公开的实施例的目标识别网络模型训练方法流程图；
[0017]图3示出了根据本公开的实施例的教师模型和学生模型的结构示意图；
[0018]图4示出了根据本公开的实施例的目标识别方法的流程图；
[0019]图5示出了根据本公开的实施例的目标识别网络模型训练装置的结构框图
[0020]图6示出了根据本公开的实施例的目标识别装置的结构框图；以及
[0021]图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标识别网络模型训练方法，包括：初始化待训练的学生模型，所述学生模型包括第一特征提取网络和第一检测头网络；获取点云数据；确定所述点云数据中的每个点所对应的第一标签以及所述点云数据所对应的第二标签，其中，所述第一标签用于标识该点与所述点云数据所对应的待识别目标所在区域的关系，所述第二标签为预设的目标识别结果；确定经训练的教师模型，其中所述教师模型包括第二特征提取网络和第二检测头网络；将所述点云数据输入所述学生模型，获得第一特征图和第一识别结果；将所述点云数据以及所述第一标签输入所述教师模型，获得第二特征图以及第二识别结果；基于所述第一特征图和所述第二特征图所组成的组、以及所述第一识别结果和所述第二识别结果所组成的组中的至少一组，通过预设的第一损失函数确定蒸馏损失值；基于所述第一识别结果以及所述第二标签，通过预设的第二损失函数确定目标识别损失值；以及基于所述蒸馏损失值以及所述目标识别损失值，调节所述学生模型的参数值。2.如权利要求1所述的方法，其中，所述第一特征提取网络包括依次连接的第一3D特征提取网络和第一2D特征提取网络，和所述第二特征提取网络包括依次连接的第二3D特征提取网络和第二2D特征提取网络，并且其中，通过预设的第一损失函数确定蒸馏损失值包括：基于所述第一3D特征提取网络输出的3D特征图和所述第二3D特征提取网络输出的3D特征图所组成的组、所述第一2D特征提取网络输出的2D特征图和所述第二2D特征提取网络输出的2D特征图所组成的组、以及所述第一识别结果和所述第二识别结果所组成的组中的至少一组，通过预设的第一损失函数确定蒸馏损失值。3.如权利要求1或2所述的方法，其中，所述至少一组中的每一组所对应的蒸馏损失值具有相应的权重值。4.如权利要求1或2所述的方法，其中，所述学生模型和所述教师模型中的用于基于其输出结果确定所述蒸馏损失值的网络所对应的网络结构相同。5.如权利要求1所述的方法，其中，第二标签包括预设的目标检测框的位置信息以及目标类别信息。6.如权利要求1所述的方法，其中，该点位于所述点云数据所对应的待识别目标所在区域内时，所述点所对应的第一标签为第一数值；以及该点位于所述点云数据所对应的待识别目标所在区域外时，所述点所对应的第一标签为第二数值，其中，所述第一数值不等于所述第二数值。7.一种目标识别方法，包括：通过点云采集装置获取点云数据，其中所述点云采集装置用于对待识别目标进行观测；以及将所述点云数据输入经训练的学生模型，以获得目标识别结果，
其中，所述学生模型基于权利要求1
‑
6中任一项所述的方法训练得到。8.如权利要求7所述的方法，其中，所述点云采集装置位于观测车辆上或路侧设备上；所述目标识别方法在计算设备中实现，所述计算设备通过所述点云采集装置获取点云数据；所述计算设备驻留在所述观测车辆上、驻留在所述路侧设备上或者驻留在云端。9.一种目标识别网络模型训练装置，包括：初始化单元，配置为初始化待训练的学生模型，所述学生模型包括第一特征提取网络和第一检测头网络；第一获取单元，配置为获取点云数据；第一确定单元，配置为确定所述点云数据中的每个点所对应的第一标签以及所述点云数据所对应的第二标签，其中，所述第一标签用于标识该点与所述点云数据所对应的待识别目标所在区域的关系，所述第二标签为预设的目标识别结果；第二确定单元，配置为确定经训练的教师...

【专利技术属性】
技术研发人员：鞠波，邹智康，叶晓青，蒋旻悦，谭啸，丁二锐，王井东，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：