模型训练及特征提取方法、装置、电子设备和介质制造方法及图纸

本公开提出一种模型训练及特征提取方法、装置、电子设备和介质，其中，方法包括：从车载摄像头采集的第一图像中提取第一感兴趣区域；采用学生网络对第一感兴趣区域进行特征提取，得到第一图像特征；对第一图像进行增强处理，得到第二图像；从第二图像中提取与第一感兴趣区域对应的第二感兴趣区域；采用教师网络对第二感兴趣区域进行特征提取，得到第二图像特征；根据第一图像特征和第二图像特征之间的差异，对学生网络和教师网络进行联合训练。由此，通过自监督学习方式，利用车载摄像头采集的无标签图像对学生网络和教师网络进行联合训练，使得学生网络和教师网络学习到图像的语义、几何、定位等丰富的特征，从而增强自动驾驶算法的泛化能力。的泛化能力。的泛化能力。

【技术实现步骤摘要】
模型训练及特征提取方法、装置、电子设备和介质


[0001]本公开涉及自动驾驶
，尤其涉及一种模型训练及特征提取方法、装置、电子设备和介质。

技术介绍

[0002]自动驾驶车辆每天都会产生大量的传感器数据（比如图像数据、雷达数据等），可以采用深度学习模型对传感器数据进行检测，以确定障碍物信息，从而可根据障碍物信息控制车辆行驶，以提升车辆行驶的安全性。
[0003]目前，为了提升深度学习模型预测结果的准确性，可以采用人工标注的传感器数据对深度学习模型进行预先训练，然而，由于人工标注的成本高昂，通过人工标注所有传感器数据，再利用标注数据对模型进行有监督训练的方式，几乎是无法实现的。
[0004]针对上述问题，现有厂商普遍通过人工筛选或主动学习等方式选取部分针对自动驾驶场景的传感器数据进行标注和学习，但这种方式会丢失大部分的传感器数据。此外，部分厂商尝试了在虚拟引擎中构建仿真环境进行快速的数据收集和标注，但是仿真环境采集的数据和真实采集的传感器数据存在色彩、光照、数据分布等方面的差异，因此也无法仅仅依靠虚拟数据进行自动驾驶算法的学习。

技术实现思路

[0005]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本公开提出了如下技术方案：本公开第一方面实施例提出了一种模型训练方法，包括：获取车载摄像头采集的第一图像，并从所述第一图像中提取第一感兴趣区域；采用学生网络对所述第一感兴趣区域进行特征提取，以得到第一图像特征；对所述第一图像进行增强处理，以得到第二图像，并从所述第二图像中提取与所述第一感兴趣区域对应的第二感兴趣区域；采用教师网络对所述第二感兴趣区域进行特征提取，以得到第二图像特征；根据所述第一图像特征和所述第二图像特征之间的差异，对所述学生网络和所述教师网络进行联合训练。
[0007]本公开第二方面实施例提出了一种特征提取方法，包括：获取车载摄像头采集的待识别图像；采用如本公开第一方面实施例所训练得到的学生网络对所述待识别图像进行特征提取，或者，采用如本公开第一方面实施例所训练得到的教师网络对所述待识别图像进行特征提取，以得到所述待识别图像的图像特征。
[0008]本公开第三方面实施例提出了一种模型训练装置，包括：第一获取模块，用于获取车载摄像头采集的第一图像，并从所述第一图像中提取第一感兴趣区域；
第一提取模块，用于采用学生网络对所述第一感兴趣区域进行特征提取，以得到第一图像特征；第二获取模块，用于对所述第一图像进行增强处理，以得到第二图像，并从所述第二图像中提取与所述第一感兴趣区域对应的第二感兴趣区域；第二提取模块，用于采用教师网络对所述第二感兴趣区域进行特征提取，以得到第二图像特征；训练模块，用于根据所述第一图像特征和所述第二图像特征之间的差异，对所述学生网络和所述教师网络进行联合训练。
[0009]本公开第四方面实施例提出了一种特征提取装置，包括：获取模块，用于获取车载摄像头采集的待识别图像；提取模块，用于采用如本公开第三方面实施例所训练得到的学生网络对所述待识别图像进行特征提取，或者，采用如本公开第三方面实施例所训练得到的教师网络对所述待识别图像进行特征提取，以得到所述待识别图像的图像特征。
[0010]本公开第五方面实施例提出了一种电子设备，包括：处理器；用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为调用并执行所述存储器存储的可执行指令，以实现如本公开第一方面实施例提出的模型训练方法，或者，实现如本公开第二方面实施例提出的特征提取方法。
[0011]本公开第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的模型训练方法，或者，实现如本公开第二方面实施例提出的特征提取方法。
[0012]本公开第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的模型训练方法，或者，实现如本公开第二方面实施例提出的特征提取方法。
[0013]本公开的技术方案，通过自监督学习方式，利用车载摄像头采集的无标签的图像数据对学生网络和教师网络进行联合训练，使得学生网络和教师网络能够学习到图像的语义、几何、定位等丰富的特征，从而增强自动驾驶算法的泛化能力和可靠性，一方面，无需人工标注图像，可以节省人工成本，另一方面，采用真实采集的图像数据对学生网络和教师网络进行训练，可以提升学生网络和教师网络在实际自动驾驶场景中预测结果的准确性和可靠性。
[0014]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0015]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本公开一实施例所提供的模型训练方法的流程示意图；图2为本公开另一实施例所提供的模型训练方法的流程示意图；图3为本公开另一实施例所提供的模型训练方法的流程示意图；
图4为本公开另一实施例所提供的模型训练方法的流程示意图；图5为本公开另一实施例所提供的模型训练方法的流程示意图；图6为本公开实施例所提供的非对称网络的训练过程示意图；图7为本公开一实施例所提供的特征提取方法的流程示意图；图8为本公开一实施例所提供的模型训练装置的结构示意图；图9为本公开一实施例所提供的特征提取装置的结构示意图；图10示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
[0016]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
[0017]自监督学习是目前先进的深度学习训练方法，其可以充分利用车载传感器采集的大量丰富的无标签数据进行模型的特征学习，从而增强自动驾驶软件的泛化能力和可靠性。但是目前的自监督学习方法普遍是为通用计算机视觉应用而设计，在自动驾驶场景中的应用存在诸多问题。
[0018]针对上述问题，本公开针对自动驾驶场景中车载传感器采集的图像数据，采用改进的自监督学习方法来学习图像数据中的语义信息、几何信息、定位能力等更广泛的特征。
[0019]下面参考附图描述本公开实施例的模型训练及特征提取方法、装置、电子设备和介质。
[0020]图1为本公开一实施例所提供的模型训练方法的流程示意图。
[0021]本公开实施例以该模型训练方法被配置于模型训练装置中来举例说明，该模型训练装置可以应用于任一电子设备中，以使该电子设备可以执行模型训练功能。
[0022]其中，电子设备可以为任一具有计算能力的设备，例如可以为电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取车载摄像头采集的第一图像，并从所述第一图像中提取第一感兴趣区域；采用学生网络对所述第一感兴趣区域进行特征提取，以得到第一图像特征；对所述第一图像进行增强处理，以得到第二图像，并从所述第二图像中提取与所述第一感兴趣区域对应的第二感兴趣区域；采用教师网络对所述第二感兴趣区域进行特征提取，以得到第二图像特征；根据所述第一图像特征和所述第二图像特征之间的差异，对所述学生网络和所述教师网络进行联合训练。2.根据权利要求1所述的方法，其特征在于，所述从所述第一图像中提取第一感兴趣区域，包括：获取所述第一图像对应的热力图，其中，所述热力图中各像素点的响应值，用于指示所述第一图像中对应像素点的重要程度；根据所述热力图中各所述像素点的响应值，从所述热力图中确定至少一个第三感兴趣区域；根据所述至少一个第三感兴趣区域在所述热力图中的第一位置，从所述第一图像中确定与各所述第一位置匹配的第一感兴趣区域。3.根据权利要求2所述的方法，其特征在于，所述增强处理中包括颜色增强处理和/或高斯模糊处理，所述从所述第二图像中提取与所述第一感兴趣区域对应的第二感兴趣区域，包括：根据所述至少一个第三感兴趣区域在所述热力图中的第一位置，从所述第二图像中提取与各所述第一位置匹配的第二感兴趣区域。4.根据权利要求2所述的方法，其特征在于，所述增强处理中包括平移处理；所述从所述第二图像中提取与所述第一感兴趣区域对应的第二感兴趣区域，包括：根据设定的平移距离和所述第一位置，确定所述第二感兴趣区域对应的第二位置；其中，所述平移距离是根据所述增强处理导致所述第一图像中像素点相对所述第二图像中对应像素点之间的距离差异确定的；根据所述第二位置，从所述第二图像中提取与所述第二位置匹配的第二感兴趣区域。5.根据权利要求2所述的方法，其特征在于，所述增强处理中包括缩放处理；所述从所述第二图像中提取与所述第一感兴趣区域的位置匹配的第二感兴趣区域，包括：根据设定的缩放尺度和所述第一位置，确定所述第二感兴趣区域对应的第三位置；其中，所述缩放尺度是根据所述增强处理导致所述第二图像相对所述第一图像的缩放程度确定的；根据所述第三位置，从所述第二图像中确定与所述第三位置匹配的第二感兴趣区域。6.根据权利要求2所述的方法，其特征在于，所述根据所述热力图中各所述像素点的响应值，从所述热力图中确定至少一个第三感兴趣区域，包括：根据所述热力图中各所述像素点的响应值，从各所述像素点中确定至少一个目标像素点；其中，所述目标像素点的响应值高于设定阈值；从所述热力图中确定至少一个第三感兴趣区域，其中，所述第三感兴趣区域是以所述
目标像素点为中心的区域。7.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像特征和所述第二图像特征之间的差异，对所述学生网络和所述教师网络进行联合训练，包括：根据所述第一图像特征和所述第二图像特征之间的差异，对所述学生网络中的各模型参数进行调整；根据调整后的所述学生网络中的各模型参数，对所述教师网络中对应模型参数进行调整。8.根据权利要求7所述的方法，其特征在于，所述根据调整后的所述学生网络中的各模型参数，对所述教师网络中对应模型参数进行调整，包括：针对所述调整后的学生网络中的任一模型参数，确定本次调整的目标调整值；查询所述任一模型参数对应的多个历史调整值；根据所述目标调整值和所述多个历史调整值，对所述教师网络中与所述任一模型参数对应的模型参数进行调整。9.根据权利要求1
‑
8中任一项所述的方法，其特征在于，所述方法还包括：对所述第一感兴趣区域中的至少一个子区域进行掩码，以得到掩码后的第一感兴趣区域；采用所述学生网络对所述掩码后的第一感兴趣区域进行图像预测，以得到预测图像；根据所述预测图像和所述第一感兴趣区域之间的差异，对所述学生网络中的模型参数进行调整。10.根据权利要求1
‑
8中任一项所述的方法，其特征在于，所述方法还包括：对所述第一感兴趣区域中的至少一个子区域进行掩码，以得到掩码后的第一感兴趣区域；采用所述学生网络对所述掩码后的第一感兴趣区域中的掩码子区域进行图像预测，以得到至少一个预测区域；根据所述至少一个预测区域和所述至少一个子区域之间的差异，对所述学生网络中的模型参数进行调整。11.一种特征提取方法，其特征在于，所述方法包括：获取车载摄像头采集的待识别图像；采用如权利要求1
‑
10中任一项所述的方法所训练得到的学生网络对所述待识别图像进行特征提取，或者，采用如权利要求1
‑
10中任一项所述的方法所训练得到的教师网络对所述待识别图像进行特征提取，以得到所述待识别图像的图像特征。12.一种模型训练装置，其特征在于，所述装置包括：第一获取模块，用于获取车载摄像头采集的第一图像，并从所述第一图像中提取第一感兴趣区域；第一提取模块，用于采用学生网络对所述第一感兴趣区域进行特征提...

【专利技术属性】
技术研发人员：陈吕劼，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：