适配神经网络的初始模型的方法、系统、存储部分和车辆技术方案

将利用源域的经标记的图像训练的初始模型适配到适配模型的方法，其包括：将初始模型复制到适配模型中；将适配模型划分成编码器部分和第二部分，其中，该第二部分配置为处理从所述编码器部分输出的特征；在固定所述第二部分的参数并使以下两个距离的函数最小化的同时使用源域和目标域的图像(x

【技术实现步骤摘要】
适配神经网络的初始模型的方法、系统、存储部分和车辆
本专利技术涉及图像处理的领域，并且更确切地涉及神经网络的分类性能的改进。
技术介绍
本专利技术在自动驾驶车辆的图像分类的领域中找到了专用的应用，但是可以应用于处理任何类型的图像。语义信息为自动车辆周围的场景理解提供了有价值的来源，以便计划它们的动作并做出决定。这些场景的语义分割允许识别汽车、行人、车道等。因此，语义分割是用于自动驾驶系统或其他自动化系统的主干技术。语义图像分割通常使用诸如神经网络的模型以执行分割。这些模型需要被训练。训练模型通常包括将已知图像输入到模型。对于这些图像，预定语义分割是已知的(操作者可能已通过对图像加标记来准备每个图像的预定语义分割)。然后鉴于预定语义分割来评估模型的输出，并且如果模型的输出不同于图像的预定语义分割，则调整模型的参数。为了训练语义分割模型，需要大量的图像和预定语义分割。例如，已经观察到恶劣天气下的视觉状况(特别是当存在遮挡视线的雾时)为驾驶员和自动化系统造成可见性问题。尽管传感器和计算机视觉算法不断地变得更好，但是改进通常利用在良好和晴朗的天气期间拍摄的图像作为基准。这些方法通常在其他天气状况下不能很好地工作。这阻止了自动系统实际被使用：难以设想车辆避免变化的天气状况，并且车辆必须能够在这些状况期间区分不同的对象。因此，期望利用变化的天气图像(在由于天气状况的多个可见的状态期间拍摄的图像)来训练语义分割模型。然而，获得这些变化的天气状况期间的语义分割数据是特别困难且耗时的。本专利技术提出可以用于将针对在良好天气状况下采集的图像而训练的模型适配到其他天气状况的方法。
技术实现思路
更具体地，根据第一方面，本专利技术提出将神经网络的初始模型适配到适配模型中的方法，其中，初始模型已经利用源域的经标记的图像进行训练，该方法包括：将初始模型复制到适配模型中；将适配模型划分成编码器部分和第二部分，其中，该第二部分配置为处理从编码器部分输出的特征；在固定第二部分的参数和适配编码器部分的参数的同时使用源域的随机图像和目标域的随机图像将适配模型适配到目标域。适配模型使以下两个距离的函数最小化：第一距离D1，该第一距离D1测量初始模型的编码器部分的输出的源域的特征与适配模型的编码器部分的输出的源域的特征之间的距离；以及第二距离D2，该第二距离D2测量针对源域的图像获得的这些特征的概率与针对目标域的图像获得的这些特征的概率之间的分布距离。适配模型可以用于处理源域或目标域的新图像。在本专利技术的特定实施例中，适配模型可以用于对新图像进行分类或分割。适配模型还可以用于创建包围新图像的像素的边界框。适配模型还可以用于识别新图像中的预定对象。适配模型还可以用于计算新图像的测量值，例如光强度。从非常一般化的视角来看，本专利技术提出了将针对源域的图像训练的模型适配到目标域的图像的方法。在本专利技术的一个应用中，源域的图像是在高可见度状况下采集的图像，而目标域的图像是在低可见度状况下采集的图像。此外，表述“低可见度状况”和“高可见度状况”仅表明可见度(例如，根据本领域技术人员设定的标准)在“高可见度状况”下比在“低可见度状况”下更好，两个可见度状况之间的差距是本领域技术人员根据应用能够选择的。根据本专利技术，适配模型基于已经针对源域的图像训练的经训练的模型。该经训练的模型为源域的图像而不是目标域的图像提供了良好的准确度。根据本专利技术，适配模型是通过适配经训练的模型的编码器部分的权重获得的，经训练的模型的架构和经训练的模型的第二部分的权重不变。这通过在保留源域的图像的良好的准确度的同时显著降低适配的复杂度而导致更短的适配训练时间。将初始训练的模型切割成编码器部分和第二部分可以在初始模型的任何层处做出。对这个层的选择可以在例如使用源域的图像的试错法之后实现。本领域技术人员可以在考虑以下项的同时选择这个层：这个层必须足够深，使得编码器的输出的特征变化足够；这个层足够深，以具有足够的特征来计算D2的相关分布概率；这个层不应当太深，以避免计算D1和D2的复杂度太高。本专利技术提供了两个距离，即D1和D2。D1测量初始模型的编码器部分的输出的源域的特征与适配模型的编码器部分的输出的源域的特征之间的距离。该测量表示源域的图像的处理的准确度如何降级。D2测量针对源域的图像获得的特征的概率与针对目标域的图像获得的特征的概率之间的分布距离。为了使D2相关，目标域的图像必须统计地表示与源域的图像相同的场景，但是本专利技术不需要这两个域的图像之间的对应关系。D2然后表示适配模型以相同的准确度处理源域的图像和目标域的图像的能力。函数f基于D1和D2，本专利技术提供了一种适配模型，该适配模型被优化成使得对于源域特征和目标域特征而言，概率分布是相似的，同时保持源域的图像处理的准确度接近利用经训练的初始模型实现的准确度。适配模型因此被适配成用于处理源域或目标域的新图像，换言之，无论可见度状况如何而采集的图像。根据特定实施例，函数的形式是(μD2+λD1)，其中，μ和λ是正实数，D1是第一距离，并且D2是第二距离。这些参数μ和λ可以用于平衡距离D1或D2的权重。可以使用基于D1和D2的其他函数f。优选地，该函数必须是D1的递增和D2的递增。根据特定实施例，适配编码器部分的参数的步骤使用自监控损耗以测量第一距离D1。因此，在该实施例中，未经标记的图像用于将经训练的模型适配为适配模型，经标记的图像仅用于训练初始模型。例如，对于变化的可见度状况，该实施例避免了在目标域中对图像进行注释或获得语义分割数据的需要。测量D2(针对源域的图像获得的特征的概率与针对目标域的图像获得的特征的概率之间的分布距离)是复杂的。在一个实施例中，该距离使用最大均值差异(maximummeandiscrepancy)度量统计地获得。根据另一实施例，第二距离D2由第二神经网络获得，该第二神经网络用于对抗地训练编码器部分以适配适配模型的参数。第二神经网络因此被训练以学习如何测量D2。在该实施例中，第二神经网络可以是例如，一阶Wasserstein神经网络或Jensen-Shannon神经网络。对于关于对抗地训练的更多信息，本领域技术人员可以具体地参考：T.-H.Vu,H.Jain,M.Bucher,M.Cord&P.Pérez:“ADVENT:AdversarialEntropyMinimizationforDomainAdaptationinSemanticSegmentation”,CVPR,2019；或Y.Luo,L.Zheng,T.Guan,J.Yu&Y.Yang:“TakingACloserLookatDomainShift:Category-levelAdversariesforSemantic本文档来自技高网...

【技术保护点】
1.将神经网络的初始模型适配到适配模型的方法，其中，所述初始模型已经利用源域的经标记的图像进行训练，其特征在于，所述方法包括：/n将所述初始模型复制到所述适配模型中；/n将所述适配模型划分成编码器部分和第二部分，其中，所述第二部分配置为处理从所述编码器部分输出的特征；/n在固定所述第二部分的参数和适配所述编码器部分的参数的同时使用所述源域的随机图像和目标域的随机图像将所述适配模型适配到所述目标域，所述适配模型使以下两个距离的函数最小化：/n第一距离，所述第一距离测量所述初始模型的编码器部分的输出的源域的特征与所述适配模型的编码器部分的输出的源域的特征之间的距离；以及/n第二距离，所述第二距离测量针对所述源域的图像获得的所述特征的概率与针对所述目标域的图像获得的所述特征的概率之间的分布距离，/n所述适配模型用于处理所述源域或所述目标域的新图像。/n

【技术特征摘要】
20200228 EP 20305205.51.将神经网络的初始模型适配到适配模型的方法，其中，所述初始模型已经利用源域的经标记的图像进行训练，其特征在于，所述方法包括：
将所述初始模型复制到所述适配模型中；
将所述适配模型划分成编码器部分和第二部分，其中，所述第二部分配置为处理从所述编码器部分输出的特征；
在固定所述第二部分的参数和适配所述编码器部分的参数的同时使用所述源域的随机图像和目标域的随机图像将所述适配模型适配到所述目标域，所述适配模型使以下两个距离的函数最小化：
第一距离，所述第一距离测量所述初始模型的编码器部分的输出的源域的特征与所述适配模型的编码器部分的输出的源域的特征之间的距离；以及
第二距离，所述第二距离测量针对所述源域的图像获得的所述特征的概率与针对所述目标域的图像获得的所述特征的概率之间的分布距离，
所述适配模型用于处理所述源域或所述目标域的新图像。


2.根据权利要求1所述的方法，其特征在于，所述函数的形式是(μD2+λD1)，其中，μ和λ是正实数，D1是所述第一距离，并且D2是所述第二距离。


3.根据权利要求1或2所述的方法，其特征在于，适配所述编码器部分的参数使用自监控损耗以测量所述第一距离。


4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第二距离由第二神经网络获得，所述第二神经网络用于对抗地训练所述编码器部分以适配所述适配模型的所述参数。


5.根据权利要求4所述的方法，其特征在于，所述第二神经网络是一阶Wasserstein神经网络或Jensen-Shannon神经网络。


6.根据权利要求1至5中任一项所述的方法，其特...

【专利技术属性】
技术研发人员：格布里尔·欧斯梅兹奥瑞，厄兹古尔·额肯特，克里斯蒂安·劳吉尔，
申请(专利权)人：丰田自动车株式会社，国家信息及自动化研究院，
类型：发明
国别省市：日本;JP