本公开内容涉及信息处理装置和信息处理方法。根据本公开的信息处理装置包括：生成单元，被配置成基于教师神经网络模型生成多个候选学生神经网络模型；训练单元，被配置成通过注意力传输处理基于教师神经网络模型对多个候选学生神经网络模型进行训练；以及选择单元，被配置成基于预定标准从经训练的多个候选学生神经网络模型中选择学生神经网络模型。根据本公开的信息处理装置和信息处理方法能够自动地对规模较大的教师神经网络模型进行压缩以获得规模较小的学生神经网络模型，该学生神经网络模型的性能接近教师神经网络模型但是处理速度更快。是处理速度更快。是处理速度更快。
【技术实现步骤摘要】
信息处理装置和信息处理方法
[0001]本文公开的实施方式涉及信息处理的
特别地，本公开内容的实施方式涉及用于对卷积神经网络模型进行压缩的信息处理装置和信息处理方法。
技术介绍
[0002]目前，卷积神经网络(CNN)模型已被广泛应用于图像和语音处理领域。越来越多的CNN模型结构被设计出来并且具有优秀的性能，例如VGG网络，ResNet网络和Inception结构。然而，由于这些CNN模型的规模变得越来越大，因此在被实际部署和应用时受到硬件成本和计算代价的限制。
[0003]为了解决上述问题，已提出了若干对CNN模型进行压缩以在不显著降低性能的同时减小其规模的方法。现有的CNN模型压缩方法通常对大规模的教师神经网络模型的参数进行人工调节来获得规模较小的具有类似性能的学生神经网络模型。然而，教师神经网络模型的参数调节需要大量的专业知识并且耗费大量的时间。
[0004]因此，有必要提供一种信息处理技术，能够自动地对规模较大的教师神经网络模型进行压缩以获得性能类似于教师神经网络模型但是规模较小的学生神经网络模型。
技术实现思路
[0005]在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0006]本公开内容的目的在于一种对卷积神经网络模型进行压缩的信息处理装置和信息处理方法，用于将规模较大的教师神经网络模型压缩成具有相似性能的规模较小的学生神经网络。
[0007]为了实现本公开内容的目的，根据本公开内容的一个方面，提供了一种信息处理装置，包括：生成单元，被配置成基于教师神经网络模型生成多个候选学生神经网络模型；训练单元，被配置成通过注意力传输处理基于教师神经网络模型对多个候选学生神经网络模型进行训练；以及选择单元，被配置成基于预定标准从经训练的多个候选学生神经网络模型中选择学生神经网络模型。
[0008]根据本公开内容的另一方面，提供了一种信息处理方法，包括：生成步骤，用于基于教师神经网络模型生成多个候选学生神经网络模型；训练步骤，用于通过注意力传输处理基于教师神经网络模型对多个候选学生神经网络模型进行训练；以及选择步骤，用于基于预定标准从经训练的多个候选学生神经网络模型中选择学生神经网络模型。
[0009]根据本公开内容的再一方面，还提供了能够实现上述的信息处理方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述的信息处理方法的计算机程序代码。
[0010]根据本公开内容的信息处理技术，能够自动地对规模较大的教师神经网络模型进行压缩以获得规模较小的学生神经网络模型，该学生神经网络模型的性能接近教师神经网络模型的性能，但是由于规模较小因而处理速度更快。
附图说明
[0011]参照下面结合附图对本公开内容实施方式的说明，会更加容易地理解本公开内容的以上和其它目的、特点和优点，在附图中：
[0012]图1示出了根据本公开内容的实施方式的信息处理装置的框图；
[0013]图2示出了根据本公开内容的实施方式的生成单元执行的处理的示意图；
[0014]图3示出了根据本公开内容的实施方式的生成单元执行的采样压缩率的处理的示意图；
[0015]图4示出了根据本公开内容的实施方式的训练单元对候选学生神经网络模型执行的第一提取方法的示意图；
[0016]图5示出了根据本公开内容的实施方式的训练单元对教师神经网络模型执行的第二提取方法的示意图；
[0017]图6示出了根据本公开内容的实施方式的生成单元基于训练单元的反馈调整候选学生神经网络模型的处理的示意图；
[0018]图7示出了根据本公开内容的实施方式的选择单元选择学生神经网络模型的处理的示意图；
[0019]图8示出了根据本公开内容的实施方式的信息处理方法的流程图；以及
[0020]图9示出了可用来实现根据本公开内容的实施方式的信息处理装置和信息处理方法的通用机器的结构简图。
具体实施方式
[0021]在下文中，将参照所附的说明性示图详细描述本公开内容的一些实施方式。在用附图标记指示附图的元件时，尽管相同的元件在不同的附图中示出，但相同的元件将由相同的附图标记表示。此外，在本公开内容的以下描述中，在有可能使本公开内容的主题不清楚的情况下，将省略对并入于本文中的已知功能和配置的详细描述。
[0022]本文中使用的术语仅用于描述特定实施方式的目的，而非旨在限制本公开内容。如本文所使用的，除非上下文另外指出，否则单数形式旨在也包括复数形式。还将理解的是，说明书中使用的术语“包括”、“包含”和“具有”旨在具体说明所陈述的特征、实体、操作和/或部件的存在，但是并不排除一个或更多个其他的特征、实体、操作和/或部件的存在或添加。
[0023]除非另有定义，否则本文中使用的包括技术术语和科学术语的所有术语具有与本专利技术构思所属领域技术人员通常理解的含义相同的含义。将进一步理解的是，诸如在常用词典中定义的那些术语应该被解释为具有与其在相关领域的上下文中的含义一致的含义，除非在此明确定义否则不应以理想化或过于正式的意义来解释。
[0024]在下面的描述中，阐述了许多具体细节以提供对本公开内容的全面理解。本公开内容可以在没有这些具体细节中的一些或所有具体细节的情况下实施。在其他实例中，为
了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的部件，而省略了与本公开内容关系不大的其他细节。
[0025]本公开内容所要解决的问题是对规模较大的教师神经网络模型进行压缩以获得规模较小的学生神经网络模型，该学生神经网络模型具备与教师神经网络模型相似的性能，例如具有相似的处理精度。
[0026]根据本公开内容，上述问题可以通过强化学习来解决，典型的强化学习模型是作为策略网络的马尔可夫决策过程(MDP)。强化学习用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报(奖励)最大化或实现特定目标的问题。
[0027]为了解决上述问题，本公开内容提出了一种信息处理技术，其基于神经架构搜索(Neutral Architecture Search：NAS)和知识提炼(Knowledge Distillation)来对规模较大的教师神经网络模型进行压缩以获得具备相似性能的规模较小的学生神经网络模型。
[0028]下面将结合附图来更详细地描述根据本公开内容的实施方式。
[0029]图1是示出根据本公开内容的实施方式的信息处理装置100的框图。根据本公开内容的实施方式信息处理装置100用于对卷积神经网络进行压缩。如图1所示，信息处理装置100可以包括生成单元101、训练单元102本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种信息处理装置，包括：生成单元，被配置成基于教师神经网络模型生成多个候选学生神经网络模型；训练单元，被配置成通过注意力传输处理基于所述教师神经网络模型对所述多个候选学生神经网络模型进行训练；以及选择单元，被配置成基于预定标准从经训练的所述多个候选学生神经网络模型中选择学生神经网络模型。2.根据权利要求1所述的信息处理装置，其中，所述生成单元被配置成：通过策略网络对所述教师神经网络模型采样压缩率；以及根据所述压缩率对所述教师神经网络模型进行剪枝。3.根据权利要求2所述的信息处理装置，其中，所述策略网络通过循环神经网络实现。4.根据权利要求2所述的信息处理装置，其中，所述生成单元被配置成根据所述压缩率基于卷积核的范数对所述教师神经网络模型进行剪枝。5.根据权利要求1所述的信息处理装置，其中，所述训练单元被配置成：基于第一提取方法提取所述候选学生神经网络模型的第一注意力图；基于第二提取方法提取所述教师神经网络模型的第二注意力图；以及通过注意力传输处理...
【专利技术属性】
技术研发人员：张雪，汪留安，孙俊，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。