获得卷积神经网络的方法及装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种获得卷积神经网络的方法及装置。其中，卷积神经网络中包括至少一个采样结构，采样结构的每个采样分支按照不同的采样参数对卷积神经网络中产生的特征图进行采样，采样后的特征图由每个采样分支的采样结果按照每个采样分支的加权系数加权平均后获得，该方法包括：通过训练卷积神经网络确定每个采样结构的每个采样分支的加权系数；在训练完成后，将包含有加权系数最大的采样分支的卷积神经网络确定为可用于图像处理任务的卷积神经网络。上述方法自动选择针对当前训练集最优的采样方式，有效降低了模型设计过程中的人工负担，其适用范围较广，且获得的卷积神经网络性能较好。

【技术实现步骤摘要】
获得卷积神经网络的方法及装置
本专利技术涉及图像处理
，具体而言，涉及一种获得卷积神经网络的方法及装置。
技术介绍
图像语义分割是计算机视觉的基本任务之一，是计算机理解图像或视频的重要一环，其目的是对输入图像的每一个像素都预测出它的类别标签，因此理论上要求输出的预测图像大小与输入图像大小相同。现有的语义分割方法大多基于卷积神经网络，并且为了让网络获取更大的感受野和减少模型的计算量，网络往往会先对图像进行下采样(downsample)，并在最后用上采样(upsample)恢复输出图像的大小，使得与输入图像一致。在现有技术中，可以设计不同的采样参数进行下采样或上采样，然而，目前并没有具体的理论依据可以证明采用哪种采样参数的效果更好，因此语义分割模型的设计仍然需要人工不断尝试，费时费力。
技术实现思路
有鉴于此，本专利技术实施例提供一种获得卷积神经网络的方法及装置，在多种采样方式中自动选择最优的采样方式来构建卷积神经网络，大大降低了模型设计过程中的人工负担。为实现上述目的，本专利技术提供如下技术方案：第一方面，本专利技术实施例提供一种获得卷积神经网络的方法，卷积神经网络中包括至少一个采样结构，采样结构包括多个采样分支，每个采样分支按照不同的采样参数对卷积神经网络中产生的特征图进行采样，采样后的特征图由每个采样分支的采样结果按照每个采样分支的加权系数加权平均后获得，方法包括：通过训练卷积神经网络确定每个采样结构的每个采样分支的加权系数；在训练完成后，将包含有加权系数最大的采样分支的卷积神经网络确定为可用于图像处理任务的卷积神经网络。上述方法在设计针对某项图像处理任务的卷积神经网络时，将将可供选择的采样方式设计为采样结构中不同的采样分支，并为每个采样分支分配一个加权系数，然后通过对样本的训练确定这些加权系数的值，在最后获得的可用于图像处理任务的卷积神经网络中仅保留每个采样结构中权重最大的采样分支，。其中，加权系数的大小反映了采样分支在构建采样后的特征图时的重要性占比，从这个意义上说，权重最大的采样分支可以认为是基于当前的训练集选择的一个最优的采样分支，从而获得的卷积神经网络性能良好，适用于相应的图像处理任务。同时，选择采样分支的过程是完全自动化的，用户只需在初始时提供可供选择的采样参数即可，并不需要干预模型优化的过程，大大降低了模型设计过程中的人工负担。而最终选择出的采样分支还可以作为评估不同采样方式的理论依据。此外，该方法是一种通用的方法，并不受不同的数据集以及硬件环境的影响，可用于各类图像处理任务，例如图像语义分割、图像分类、图像识别等任务中采样部分的设计，具有广泛的适用范围。结合第一方面，在第一方面的第一种可能的实现方式中，采样参数包括采样方法以及采样倍数。采样方法是指某种具体的采样算法，采样倍数对于下采样就是下采样倍数(缩小倍数)，对于上采样就是上采样倍数(放大倍数)，当然不排除采样参数还包括其他参数的情况。结合第一方面的第一种可能的实现方式，在第一方面的二种可能的实现方式中，采样结构为下采样结构，每个下采样分支按照不同的下采样方法以及相同的下采样倍数对特征图进行下采样。在该实现方式中，每个下采样分支的下采样倍数是相同的，从而可以确保各个下采样分支的采样结果可以加权平均。结合第一方面的第二种可能的实现方式，在第一方面的三种可能的实现方式中，下采样方法包括平均池化、最大池化、卷积或深度可分离卷积。以上列举了一些常见的下采样方法，当然还可以采用其他的下采样方法。结合第一方面的第一种可能的实现方式，在第一方面的四种可能的实现方式中，采样结构为上采样结构，每个上采样分支按照不同的上采样方法以及相同的上采样倍数对特征图进行上采样。在该实现方式中，每个上采样分支的上采样倍数是相同的，从而可以确保各个上采样分支的采样结果可以加权平均。结合第一方面的第四种可能的实现方式，在第一方面的五种可能的实现方式中，上采样方法包括双线性插值、最近邻插值或反卷积。以上列举了一些常见的上采样方法，当然还可以采用其他的上采样方法。结合第一方面的第一种可能的实现方式，在第一方面的六种可能的实现方式中，采样结构的每个采样分支均包括下采样部分以及上采样部分，下采样部分按照与所在采样分支对应的下采样方法以及与所在采样分支对应的下采样倍数对特征图进行下采样，上采样部分按照与所在采样分支对应的上采样方法以及与所在采样分支对应的上采样倍数对下采样后的特征图进行上采样，其中，每个采样分支对应的下采样倍数和上采样倍数的比值相同。在该实现方式中，每个采样分支对应的下采样倍数和上采样倍数的比值是相同的，从而可以确保各个采样分支的采样结果可以加权平均。同时，该限制条件也意味着不同的采样分支的下采样倍数以及上采样倍数是可以不同的，从而可以在一个采样结构中比较不同的采样倍数对采样结果的影响，有利于选择最优的采样方式。结合第一方面的第六种可能的实现方式，在第一方面的七种可能的实现方式中，下采样部分为下采样结构，下采样结构包括多个下采样分支，每个下采样分支按照不同的下采样方法以及相同的下采样倍数对特征图进行下采样，下采样结构输出的特征图由每个下采样分支的下采样结果按照每个下采样分支的加权系数加权平均后获得。下采样部分可以是一个简单的下采样分支，值对应一种下采样方式，也可以是一个嵌套的下采样结构，该下采样结构进一步包括多个下采样分支，对应多种可供选择的下采样方式。结合第一方面的第六种可能的实现方式，在第一方面的八种可能的实现方式中，上采样部分为上采样结构，上采样结构包括多个上采样分支，每个上采样分支按照不同的上采样方法以及相同的上采样倍数对下采样后的特征图进行上采样，上采样结构输出的特征图由每个上采样分支的采样结果按照每个上采样分支的加权系数加权平均后获得。上采样部分可以是一个简单的上采样分支，值对应一种上采样方式，也可以是一个嵌套的上采样结构，该上采样结构进一步包括多个上采样分支，对应多种可供选择的上采样方式。结合第一方面，在第一方面的九种可能的实现方式中，采样结构的每个采样分支的加权系数之和为1。在该实现方式中，将各加权系数之和归一化，使得各个加权系数的取值相互制约，形成竞争关系，有利于选择最优的采样分支。结合第一方面或第一方面的第一种至第九种中的任意一种可能的实现方式，在第一方面的十种可能的实现方式中，在将包含有加权系数最大的采样分支的卷积神经网络确定为可用于图像处理任务的卷积神经网络之后，方法还包括：对可用于图像处理任务的卷积神经网络进行调优训练，获得调优训练后的卷积神经网络。由于可用于图像处理任务的卷积神经网络是经过采样分支选择后获得的，网络结构有所变化，因此可以进一步进行调优训练，使模型性能更优，当然在一些实现方式中，为节约时间，不再进一步调优训练直接在图像处理任务中使用获得的卷积神经网络也是可以的。结合第一方面的第十种可能的实现方式，在第一方面的十一种可能的实现方式中，在获得调优训练后的卷积神经网络之后，方法还包括：利用调优训练后的卷积神经网络执行图像处理任务。在调优训练后的卷积神经网络中，不仅选择了最优的采样方式，而且还在可用于图像处理任务的卷积神经网络的基础上进行了参数的微调，因此将该模型用于执行图像处理任务可以获得较好的效果。当然，在某些实施方式中，本文档来自技高网...

【技术保护点】
1.一种获得卷积神经网络的方法，其特征在于，所述卷积神经网络中包括至少一个采样结构，所述采样结构包括多个采样分支，每个采样分支按照不同的采样参数对所述卷积神经网络中产生的特征图进行采样，采样后的特征图由每个采样分支的采样结果按照每个采样分支的加权系数加权平均后获得，所述方法包括：通过训练所述卷积神经网络确定每个采样结构的每个采样分支的加权系数；在训练完成后，将包含有加权系数最大的采样分支的卷积神经网络确定为可用于图像处理任务的卷积神经网络。

【技术特征摘要】
1.一种获得卷积神经网络的方法，其特征在于，所述卷积神经网络中包括至少一个采样结构，所述采样结构包括多个采样分支，每个采样分支按照不同的采样参数对所述卷积神经网络中产生的特征图进行采样，采样后的特征图由每个采样分支的采样结果按照每个采样分支的加权系数加权平均后获得，所述方法包括：通过训练所述卷积神经网络确定每个采样结构的每个采样分支的加权系数；在训练完成后，将包含有加权系数最大的采样分支的卷积神经网络确定为可用于图像处理任务的卷积神经网络。2.根据权利要求1所述的获得卷积神经网络的方法，其特征在于，所述采样参数包括采样方法以及采样倍数。3.根据权利要求2所述的获得卷积神经网络的方法，其特征在于，所述采样结构为下采样结构，每个下采样分支按照不同的下采样方法以及相同的下采样倍数对所述特征图进行下采样。4.根据权利要求3所述的获得卷积神经网络的方法，其特征在于，所述下采样方法包括平均池化、最大池化、卷积或深度可分离卷积。5.根据权利要求2所述的获得卷积神经网络的方法，其特征在于，所述采样结构为上采样结构，每个上采样分支按照不同的上采样方法以及相同的上采样倍数对所述特征图进行上采样。6.根据权利要求5所述的获得卷积神经网络的方法，其特征在于，所述上采样方法包括双线性插值、最近邻插值或反卷积。7.根据权利要求2所述的获得卷积神经网络的方法，其特征在于，所述采样结构的每个采样分支均包括下采样部分以及上采样部分，所述下采样部分按照与所在采样分支对应的下采样方法以及与所在采样分支对应的下采样倍数对所述特征图进行下采样，所述上采样部分按照与所在采样分支对应的上采样方法以及与所在采样分支对应的上采样倍数对下采样后的特征图进行上采样，其中，每个采样分支对应的下采样倍数和上采样倍数的比值相同。8.根据权利要求7所述的获得卷积神经网络的方法，其特征在于，所述下采样部分为下采样结构，所述下采样结构包括多个下采样分支，每个下采样分支按照不同的下采样方法以及相同的下采样倍数对所述特征图进行下采样，所述下采样结构输出的特征图由每个下采样分支的下采样结果按照每个下采样分支的加权系数加权平均后获得。9.根据权利要求7所述的获得卷...

【专利技术属性】
技术研发人员：郭梓超，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11