用于生成中间特征的神经网络的训练方法、装置及介质制造方法及图纸

公开了一种用于生成中间特征的神经网络的训练方法、装置及介质。该方法包括：获取原生图像和第一可视化图像；对第一可视化图像进行信息标注，得到与机器视觉任务关联的标注信息；基于原生图像，经由待训练中间特征生成网络，生成第一中间特征；基于第一中间特征，生成第二可视化图像；基于第一中间特征，生成机器视觉任务的任务执行结果；基于第一可视化图像、标注信息、第二可视化图像和任务执行结果，对待训练中间特征生成网络进行训练；响应于训练后的待训练中间特征生成网络满足预设训练结束条件，将训练后的待训练中间特征生成网络确定为已训练中间特征生成网络。本公开的实施例可以提升机器视觉任务的执行效果。例可以提升机器视觉任务的执行效果。例可以提升机器视觉任务的执行效果。

【技术实现步骤摘要】
用于生成中间特征的神经网络的训练方法、装置及介质


[0001]本公开涉及驾驶技术，尤其是一种用于生成中间特征的神经网络的训练方法、装置及介质。

技术介绍

[0002]可视化成像和机器视觉任务是自动驾驶领域的关键技术。以机器视觉任务为目标检测任务的情况为例，为了完成目标检测任务，一般需要先利用图像信号处理(Image Signal Processor，ISP)技术，对图像传感器采集的原生图像进行处理，以得到RGB图像等可视化图像，然后对得到的可视化图像进行目标检测；其中，RGB中的R代表红色，G代表绿色，B代表蓝色。

技术实现思路

[0003]为了解决从原生图像到可视化图像的ISP处理过程无法保证机器视觉任务的执行效果的技术问题，提出了本公开。本公开的实施例提供了一种用于生成中间特征的神经网络的训练方法、装置及介质。
[0004]根据本公开实施例的一个方面，提供了一种用于生成中间特征的神经网络的训练方法，包括：
[0005]获取原生图像和第一可视化图像，所述原生图像和所述第一可视化图像中的一者由另一者转换得到；
[0006]对所述第一可视化图像进行信息标注，得到与机器视觉任务关联的标注信息；
[0007]基于所述原生图像，经由待训练中间特征生成网络，生成第一中间特征；
[0008]基于所述第一中间特征，生成第二可视化图像；
[0009]基于所述第一中间特征，生成所述机器视觉任务的任务执行结果；
[0010]基于所述第一可视化图像、所述标注信息、所述第二可视化图像和所述任务执行结果，对所述待训练中间特征生成网络进行训练；
[0011]响应于训练后的所述待训练中间特征生成网络满足预设训练结束条件，将训练后的所述待训练中间特征生成网络确定为已训练中间特征生成网络。
[0012]根据本公开实施例的另一个方面，提供了一种用于生成中间特征的神经网络的训练装置，包括：
[0013]获取模块，用于获取原生图像和第一可视化图像，所述原生图像和所述第一可视化图像中的一者由另一者转换得到；
[0014]信息标注模块，用于对所述获取模块获取的所述第一可视化图像进行信息标注，得到与机器视觉任务关联的标注信息；
[0015]第一生成模块，用于基于所述获取模块获取的所述原生图像，经由待训练中间特征生成网络，生成第一中间特征；
[0016]第二生成模块，用于基于所述第一生成模块生成的所述第一中间特征，生成第二
可视化图像；
[0017]第三生成模块，用于基于所述第一生成模块生成的所述第一中间特征，生成所述机器视觉任务的任务执行结果；
[0018]训练模块，用于基于所述获取模块获取的所述第一可视化图像、所述信息标注模块标注的所述标注信息、所述第二生成模块生成的所述第二可视化图像和所述第三生成模块生成的所述任务执行结果，对所述待训练中间特征生成网络进行训练；
[0019]确定模块，用于响应于所述训练模块训练后的所述待训练中间特征生成网络满足预设训练结束条件，将训练后的所述待训练中间特征生成网络确定为已训练中间特征生成网络。
[0020]根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述用于生成中间特征的神经网络的训练方法。
[0021]根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
[0022]处理器；
[0023]用于存储所述处理器可执行指令的存储器；
[0024]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述用于生成中间特征的神经网络的训练方法。
[0025]根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述用于生成中间特征的神经网络的训练方法。
[0026]基于本公开上述实施例提供的用于生成中间特征的神经网络的训练方法、装置、介质、电子设备及计算机程序产品，在神经网络训练阶段，可以获取属于训练数据的原生图像和第一可视化图像，对第一可视化图像进行信息标注，得到与机器视觉任务关联的标注信息，基于原生图像，经由待训练中间特征生成网络，生成第一中间特征，第一中间特征可以用于可视化成像和机器视觉任务，由此可以得到第二可视化图像和机器视觉任务的任务执行结果，第一可视化图像、标注信息、第二可视化图像和任务执行结果可以一并用于待训练中间特征生成网络的训练。这样，在神经网络推理阶段，只需将图像传感器采集的原生图像提供至训练好的中间特征生成网络，训练好的中间特征生成网络即可据此进行运算，以高效可靠地生成相应的中间特征，生成的中间特征可以用于得到机器视觉任务的任务执行结果。因此，本公开的实施例中，在神经网络推理阶段，机器视觉任务的执行无需依赖于可视化图像，而可以直接依赖于由原生图像得到的中间特征，这样既能够避免从原生图像到可视化图像的ISP处理过程存在的信息丢弃问题，又能够避免ISP处理过程主要是为保证人眼视觉质量服务，并没有考虑机器视觉性能的问题，从而有利于提升机器视觉任务的执行效果。
[0027]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0028]图1是本公开一示例性实施例提供的用于生成中间特征的神经网络的训练方法的流程示意图。
[0029]图2是本公开另一示例性实施例提供的用于生成中间特征的神经网络的训练方法
的流程示意图。
[0030]图3
‑
1是本公开一示例性实施例中原生图像的示意图。
[0031]图3
‑
2是本公开一示例性实施例中通过对原生图像进行图像重排得到的多通道图像的示意图。
[0032]图4
‑
1是本公开的实施例中的一种能够兼顾可视化成像和机器视觉任务的神经网络的示意图。
[0033]图4
‑
2是本公开的实施例中的另一种能够兼顾可视化成像和机器视觉任务的神经网络的示意图。
[0034]图5是本公开再一示例性实施例提供的用于生成中间特征的神经网络的训练方法的流程示意图。
[0035]图6是本公开的实施例中通过像素重组，由目标切分特征得到第二可视化图像的示意图。
[0036]图7是本公开又一示例性实施例提供的用于生成中间特征的神经网络的训练方法的流程示意图。
[0037]图8是本公开又一示例性实施例提供的用于生成中间特征的神经网络的训练方法的流程示意图。
[0038]图9是本公开又一示例性实施例提供的用于生成中间特征的神经网络的训练方法的流程示意图。
[0039]图10是本公开又一示例性实施例提供的用于生成中间特征的神经网络的训练方法的流程示意图。
[0040]图11是本公开一示例性实施例中神经网络训练阶段和推理阶段执行的操作的示意图。
[0041]图12是本公开一示例性实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成中间特征的神经网络的训练方法，包括：获取原生图像和第一可视化图像，所述原生图像和所述第一可视化图像中的一者由另一者转换得到；对所述第一可视化图像进行信息标注，得到与机器视觉任务关联的标注信息；基于所述原生图像，经由待训练中间特征生成网络，生成第一中间特征；基于所述第一中间特征，生成第二可视化图像；基于所述第一中间特征，生成所述机器视觉任务的任务执行结果；基于所述第一可视化图像、所述标注信息、所述第二可视化图像和所述任务执行结果，对所述待训练中间特征生成网络进行训练；响应于训练后的所述待训练中间特征生成网络满足预设训练结束条件，将训练后的所述待训练中间特征生成网络确定为已训练中间特征生成网络。2.根据权利要求1所述的方法，其中，所述基于所述原生图像，经由待训练中间特征生成网络，生成第一中间特征，包括：基于所述原生图像包括的多个颜色分量，对所述原生图像进行图像重排，得到多通道图像；通过所述待训练中间特征生成网络，对所述多通道图像进行多尺度特征提取，得到所述第一中间特征。3.根据权利要求2所述的方法，其中，所述通过所述待训练中间特征生成网络，对所述多通道图像进行多尺度特征提取，得到所述第一中间特征，包括：通过所述待训练中间特征生成网络中的第一子网络，对所述多通道图像进行特征提取，得到高度和宽度分别与所述多通道图像的高度和宽度相同的第一特征图；通过所述待训练中间特征生成网络中的第二子网络，对所述第一特征图进行特征提取，得到高度和宽度分别小于所述第一特征图的高度和宽度的第二特征图；通过所述待训练中间特征生成网络中的第三子网络，对所述第二特征图进行特征提取，得到高度、宽度和通道数分别与所述第一特征图的高度、宽度和通道数相同的第三特征图；通过所述待训练中间特征生成网络中的第四子网络，基于所述第一特征图和所述第三特征图进行特征提取，得到高度和宽度分别与所述第一特征图的高度和宽度相同的所述第一中间特征。4.根据权利要求2所述的方法，其中，所述多通道图像为四通道图像，所述多通道图像的第一个通道包括：所述原生图像中位于奇数行奇数列的各个元素，所述多通道图像的第二个通道包括：所述原生图像中位于奇数行偶数列的各个元素，所述多通道图像的第三个通道包括：所述原生图像中位于偶数行奇数列的各个元素，所述多通道图像的第四个通道包括：所述原生图像中位于偶数行偶数列的各个元素。5.根据权利要求1所述的方法，其中，所述原生图像的高度与所述第一中间特征的高度的比值为目标比值，所述原生图像的宽度与所述第一中间特征的宽度的比值为所述目标比值，所述第一中间特征的通道数与预设通道数的比值为：所述目标比值的平方结果的N倍，所述目标比值为大于或等于2的整数，N为大于或等于2的整数；所述基于所述第一中间特征，生成第二可视化图像，包括：
将所述第一中间特征沿通道方向进行切分，得到N个切分特征；按照预设筛选规则，从所述N个切分特征中确定目标切分特征；对所述目标切分特征进行像素重组，生成高度和宽度分别与所述原生图像的高度和宽度相同，且通道数为所述预设通道数的所述第二可视化图像。6.根据权利要求1所述的方法，其中，所述第一中间特征的高度小于所述原生图像的高度，所述第一中间特征的宽度小于所述原生图像的宽度，所述第一中间特征的通道数大于预设通道数；所述基于所述第一中间特征，生成第二可视化图像，包括：通过用于生成可视化图像的第一神经网络中的第五子网络，对所述第一中间特征进行特征提取，得到高度和宽度分别与所述第一中间特征的...

【专利技术属性】
技术研发人员：王润，李凯，王国利，张骞，黄畅，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：