训练模型的方法、图像处理方法和电子设备技术

本申请提供一种训练模型的方法、图像处理方法和电子设备，该训练模型的方法包括：在每一轮次的训练中，利用第一数据、第二数据和第三数据中的至少两个更新待训练神经网络模型的权重，从而得到训练后的神经网络模型；第一数据包括一个待训练图像和该待训练图像对应的第一标签，第一标签对应第一任务，第二数据包括一个待训练图像和该待训练图像对应的第二标签，第二标签对应第二任务，第三数据包括一个待训练图像和该待训练图像对应的第一标签和第二标签。该方案针对多任务的神经网络模型，通过相对均衡的训练，使得每项任务都能得到充分和均衡的训练，避免整体性能偏向某个任务，而导致其他任务的性能较低。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种训练模型的方法、图像处理方法和电子设备。

技术介绍

1、随着人工智能技术的不断发展，对神经网络模型的需求也越来越高，尤其是图像处理领域，需要按照目标任务对图像进行不同的处理，例如语义分割、目标检测、深度估计等等。并且出现了目标任务包括多种子任务的情况，非常常见的就是同时包括语义分割任务和深度估计任务的情况。

2、在这类既需要对图像进行语义分割处理，又需要对图像进行深度估计的场景中，传统方案是设置两个单独的神经网络分别执行语义分割任务和深度估计任务。然而，以这种方式去部署网络，计算量大、处理复杂性高，对于部署网络的电子设备的软件和硬件要求也会较高，导致无法很好地适配手机、车机、平板电脑等终端类电子设备。此外，语义分割任务和深度估计任务都需要进行图像特征提取等重复的处理操作，这些重复操作造成计算资源的浪费。

3、为了解决上述问题，研究人员试图将两个单独的神经网络合并成一个能够同时执行两个任务的整体网络，但是这却带来了新的问题，因为实际应用中发现这样的整体网络在用于推理时，要么其中一项任务的推理结果的准确性本文档来自技高网...

【技术保护点】

1.一种训练模型的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述待训练神经网络模型包括至少一个特征提取模块、至少一个特征融合模块、第一预测头和第二预测头；所述待训练神经网络模型还包括第一辅助头和/或第二辅助头，所述至少一个特征提取模块与所述至少一个特征融合模块一一对应；每个特征提取模块对应一个分级，每个特征提取模块用于提取输入到所述待训练神经网络模型的图像中该特征提取模块对应的分级的图像特征，并用于将提取到的图像特征发送给该特征提取模块对应的特征融合模块；所述至少一个特征融合模块用于将每个分级的图像特征进行逐步融合，得到目标融合特征，并用于将所述目标...

【技术特征摘要】

1.一种训练模型的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述待训练神经网络模型包括至少一个特征提取模块、至少一个特征融合模块、第一预测头和第二预测头；所述待训练神经网络模型还包括第一辅助头和/或第二辅助头，所述至少一个特征提取模块与所述至少一个特征融合模块一一对应；每个特征提取模块对应一个分级，每个特征提取模块用于提取输入到所述待训练神经网络模型的图像中该特征提取模块对应的分级的图像特征，并用于将提取到的图像特征发送给该特征提取模块对应的特征融合模块；所述至少一个特征融合模块用于将每个分级的图像特征进行逐步融合，得到目标融合特征，并用于将所述目标融合特征发送给所述第一预测头、所述第二预测头、所述第一辅助头和所述第二辅助头；所述第一辅助头对应所述第一任务，用于对所述目标融合特征进行处理，得到第一辅助结果；所述第二辅助头对应所述第二任务，用于对所述目标融合特征进行处理，得到第二辅助结果；所述第一预测头对应所述第一任务，用于对所述目标融合特征和所述第二辅助结果进行处理，得到第一预测结果；所述第二预测头对应所述第二任务，用于对所述目标融合特征和所述第一辅助结果进行处理，得到第二预测结果；

3.根据权利要求2所述的方法，其特征在于，在每一轮次的训练中，所述方法还包括执行以下至少一项操作：

4.根据权利要求2所述的方法，其特征在于，所述至少一个特征提取模块随着分级的增高逐级降低分辨率；所述至少一个特征融合模块中分辨率最高的特征融合模块输出所述目标融合特征。

5.根据权利要求2所述的方法，其特征在于，每个特征融合模块包括输入卷积层、第一残差结构、第二残差结构、上采样层和输出卷积层；

6.根据权利要求5所述的方法，其特征在于，所述第一残差结构和/或所述第二残差结构包括激活函数层和多个卷积层。

7.根据权利要求2所述的方法，其特征在于，所述第一辅助头和/或所述第二辅助头均包括至少一个卷积层和至少一个上采样层。

【专利技术属性】
技术研发人员：张博翔，张涵君，
申请(专利权)人：荣耀终端股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人