自适应运行时高效图像分类的输入图像大小可切换网络制造技术

论述了与实现和训练图像分类网络有关的技术。这种技术包括在不考虑分辨率的情况下向输入图像应用共享卷积层，并且基于输入图像分辨率选择性地应用正规化。这种技术还包括使用混合图像大小并行训练和混合图像大小集总提炼进行训练。炼进行训练。炼进行训练。

【技术实现步骤摘要】
【国外来华专利技术】自适应运行时高效图像分类的输入图像大小可切换网络

技术介绍

[0001]深度卷积神经网络(Convolutional Neural Network，CNN)被用于各种图像分类应用中。虽然CNN体系结构在准确性改善方面取得了进展，但表现优异的CNN模型的密集存储器存储、计算和能量成本限制了它们在资源约束型设备上的部署，尤其是在实时应用中。通常，对于多图像大小实现，为每个目标图像大小训练个体CNN模型，要训练和保存的模型的总数与在运行时要考虑的目标图像大小的数目成比例。如果不为每个目标图像大小训练个体CNN模型，那么如果将用特定图像大小训练的模型应用到其他大小的图像，则模型的准确性会劣化。因此，需要为每个目标图像大小存储模型，这带来了高存储器存储成本。除了高存储器存储成本以外，每次图像大小调整都必须伴随着额外的延迟，以为不同CNN模型卸载和加载各自的模型参数，尤其是对于云计算应用场景。在这种多模型的场景中，当前的技术尝试通过调整网络的结构配置(例如，调整网络深度、宽度和构建块)、修剪预训练模型的冗余参数、过滤器和通道、使用量化的低精度CNN模型而不是全精度的对应物、转移大型本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于图像分类的系统，包括：存储器，用于存储处于第一分辨率的第一图像和处于小于所述第一分辨率的第二分辨率的第二图像；以及与所述存储器耦合的一个或多个处理器，所述一个或多个处理器用于：使用多个卷积层参数将卷积神经网络层应用到所述第一图像或者与所述第一图像相对应的第一特征图谱，以生成与所述第一图像相对应的一个或多个第二特征图谱；使用多个第一正规化参数对所述一个或多个第二特征图谱执行第一正规化，以生成一个或多个第三特征图谱；使用所述一个或多个第三特征图谱为所述第一图像生成第一标签；使用所述多个卷积层参数将所述卷积神经网络层应用到所述第二图像或者与所述第二图像相对应的第四特征图谱，以生成与所述第二图像相对应的一个或多个第五特征图谱；使用与所述第一正规化参数互斥的多个第二正规化参数对所述一个或多个第五特征图谱执行第二正规化，以生成一个或多个第六特征图谱；并且使用所述一个或多个第六特征图谱为所述第二图像生成第二标签。2.如权利要求1所述的系统，其中，所述一个或多个处理器生成所述第一标签包括所述一个或多个处理器应用一个或多个额外的卷积神经网络层并且应用完全连接层，所述一个或多个额外的卷积神经网络层中的每一者之后跟随着额外的第一正规化，并且其中，所述一个或多个处理器生成所述第二标签包括所述一个或多个处理器应用所述一个或多个额外的卷积神经网络层并且应用所述完全连接层，所述一个或多个额外的卷积神经网络层中的每一者之后跟随着额外的第二正规化，所述额外的第二正规化使用与所述额外的第一正规化中使用的那些参数互斥的参数。3.如权利要求2所述的系统，其中，所述第一正规化和额外的第一正规化是响应于所述第一图像处于所述第一分辨率而被选择的，并且所述第二正规化和额外的第二正规化是响应于所述第二图像处于所述第二分辨率而被选择的。4.如权利要求1至3中的任一项所述的系统，其中，所述卷积层参数、所述第一正规化参数和所述第二正规化参数包括预训练的卷积神经网络参数，所述预训练的卷积神经网络参数的训练是基于：生成训练集，该训练集包括分别处于所述第一分辨率和第二分辨率的第一训练图像和第二训练图像，以及相应的地面实况标签，所述第一训练图像和第二训练图像对应于相同的图像实例；以及在训练迭代时，使用损失项对所述预训练的卷积神经网络参数进行并行的参数调整，所述损失项包括基于向所述第一训练图像和第二训练图像应用所述预训练的卷积神经网络参数的交叉熵损失之和。5.如权利要求4所述的系统，其中，所述参数调整还包括对所述预训练的卷积神经网络参数的完全连接层参数的调整，所述卷积层参数和完全连接层参数在各输入图像大小之间是共享的，并且所述第一正规化参数和第二正规化参数在各输入图像大小之间是不共享的。6.如权利要求1至3中的任一项所述的系统，其中，所述卷积层参数、所述第一正规化参
数和所述第二正规化参数包括预训练的卷积神经网络参数，所述预训练的卷积神经网络参数的训练是基于：生成训练集，该训练集包括处于所述第一分辨率、所述第二分辨率和小于所述第二分辨率的第三分辨率的第一训练图像、第二训练图像和第三训练图像，以及相应的地面实况标签，所述第一训练图像、第二训练图像和第三训练图像对应于相同的图像实例；在训练迭代时，基于分别使用所述第一训练图像、第二训练图像和第三训练图像进行的第一预测、第二预测和第三预测生成集总预测；以及将所述集总预测与所述地面实况标签进行比较。7.如权利要求6所述的系统，其中，所述集总预测包括与应用到所述第一训练图像、第二训练图像和第三训练图像中的每一者的所述预训练的卷积神经网络参数相对应的分对数的加权平均，所述分对数的加权平均是使用分对数重要性得分来加权的。8.如权利要求6所述的系统，其中，在所述训练迭代时，参数更新是基于损失函数的最小化的，所述损失函数包括集总损失项和提炼损失项的总和，所述集总损失项基于使用所述集总预测的分类概率，所述提炼损失项基于所述第一预测、第二预测和第三预测中的每一者与所述集总预测的分歧。9.如权利要求8所述的系统，其中，所述提炼损失项还包括所述第二预测与所述第一预测的第一分歧，所述第二预测与所述第三预测的第二分歧，以及所述第三预测与所述第一预测的第三分歧。10.如权利要求8所述的系统，其中，所述损失函数还包括基于向所述第一训练图像、第二训练图像和第三训练图像应用所述预训练的卷积神经网络参数的交叉熵损失之和。11.如权利要求1至3中的任一项所述的系统，其中，所述卷积神经网络层包括修剪的卷积神经网络层或者量化的卷积神经网络层之一。12.一种用于图像分类的方法，包括：接收处于第一分辨率的第一图像和处于小于所述第一分辨率的第二分辨率的第二图像；使用多个卷积层参数将卷积神经网络层应用到所述第一图像或者与所述第一图像相对应的第一特征图谱，以生成与所述第一图像相对应的一个或多个第二特征图谱；使用多个第一正规化参数对所述一个或多个第二特征图谱执行第一正规化，以生成一个或多个第三特征图谱；使用所述一个或多个第三特征图谱为所述第一图像生成第一标签；使用所述多个卷积层参数将所述卷积神经网络层应用到所述第二图像或者与所述第二图像相对应的第四特征图谱，以生成与所述第二图像相对应的一个或多个第五特征图谱；使用与所述第一正规化参数互斥的多个第二正规化参数对所述一个或多个第五特征图谱执行第二正规化，以生成一个或多个第六特征图谱；并且使用所述一个或多个第六特征图谱为所述第二图像生成第二标签。13.如权利要求12所述的方法，其中，生成所述第一标签包括应用一个或多个额外的卷积神经网络层并且应用完全连接层，所述一个或多个额外的卷积神经网络层中的每一者之后跟随着额外的第一正规化，并且其中，生成所述第二标签包括应用所述一个或多个额外
的卷积神经网络层并且应用所述完全连接层，所述一个或多个额外的卷积神经网络层中的每一者之后跟随着额外的第二正规化，所述额外的第二正规化使用与所述额外的第一正规化中使用的那些参数互斥的参数。14.如权利要求12或13所述的方法，其中，所述卷积层参数、所述第一正规化参数和所述第二正规化参数包括预训练的卷积神经网络参数，所述预训练的卷积神经网络参数的训练是基于：生成训练集，该训练集包括分别处于所述第一分辨率和第二分辨率的第一训练图像和第二训练图像，以及相应的地面实况标签，所述第一训练图像和第二训练图像对应于相同的图像实例；以及在训练迭代时，使用损失项对所述预训练的卷积神经网络参数进行并行的参数调整，所述损失项包括基于向所述第一训练图像和第二训练图像应用所述预训练的卷积神经网络参数的交叉熵损失之和。15.如权利要求12或13所述的方法，其中，所述卷积层参数、所述第一正规化参数和所述第二正规化参数包括预训练的卷积神经网络参数，所述预训练的卷积神经网络参数的训练是基于：生成训练集，该训练集包括处于所...

【专利技术属性】
技术研发人员：姚安邦，王一凯，陆鸣，王山东，陈峰，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：