构建卷积神经网络制造技术

本公开的实施例提供了一种用于信息处理的方法、装置和计算机程序产品。该方法包括：基于针对多媒体内容的训练数据集，确定用于卷积神经网络中的卷积层的卷积参数和第一特征图；根据第一特征图之间的相关性来改变第一特征图的顺序，以获得第二特征图；以及基于训练数据集和第二特征图来更新卷积参数。

【技术实现步骤摘要】
【国外来华专利技术】构建卷积神经网络
本公开的实施例一般地涉及信息处理，并且更特别地涉及用于构建卷积神经网络(CNN)的方法、装置和计算机程序产品。
技术介绍
CNN已经在图像识别、对象检测、语音识别等应用中实现了最先进的性能。CNN的代表性应用包括阿尔法围棋(AlphaGo)、高级驾驶员辅助系统(ADAS)、自动驾驶汽车、光学字符识别(OCR)、面部识别、大规模图像分类(例如，ImageNet分类)、以及人机交互(HCI)。通常，CNN被组织在两种类型的交织层中：卷积层和池化(子采样)层。卷积层的作用是特征表示，并且特征的语义层次随着层的深度而增加。设计有效的卷积层以获得稳健的特征图(featuremap)是提高CNN性能的关键。
技术实现思路
总体上，本公开的实施例包括一种用于构建CNN的方法、装置和计算机程序产品。在本公开的第一方面，提供了一种方法。该方法包括：基于针对多媒体内容的训练数据集，确定用于卷积神经网络中的卷积层的卷积参数和第一特征图；根据第一特征图之间的相关性来改变第一特征图的顺序，以获得第二特征图；以及基于训练数据集和第二特征图来更新卷积参数。在一些实施例中，更新卷积参数包括：确定第一特征图的顺序的改变量；以及响应于该量大于预定阈值，更新卷积参数。在一些实施例中，该方法进一步包括：将索引指配给第一特征图；以及生成索引列表。在一些实施例中，该方法进一步包括：基于第二特征图来更新索引列表。在一些实施例中，确定第一特征图的顺序的改变量包括：确定生成的索引列表与更新的索引列表之间的差异。在一些实施例中，根据第一特征图之间的相关性来改变第一特征图的顺序包括：获得第一特征图的表示信息；确定表示信息之间的差异；以及基于表示信息之间的差异来确定相关性。在本公开的第二方面，提供了一种装置。该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器；至少一个存储器和计算机程序代码被配置为，与至少一个处理器一起，使得装置至少执行：基于针对多媒体内容的训练数据集，确定用于卷积神经网络中的卷积层的卷积参数和第一特征图；根据第一特征图之间的相关性来改变第一特征图的顺序，以获得第二特征图；以及基于训练数据集和第二特征图来更新卷积参数。在本公开的第三方面，提供了一种装置。该装置包括用于执行根据本公开的第一方面的方法的部件。在本公开的第四方面，提供了一种计算机程序产品。该计算机程序产品包括至少一个计算机可读非瞬态存储器介质，该至少一个计算机可读非瞬态存储器介质具有存储在其上的程序代码，该程序代码在由装置执行时，使得装置执行根据本公开的第一方面的方法。将理解，
技术实现思路
不旨在标识本公开的实施例的关键特征或必要特征，也不旨在用于限制本公开的范围。本公开的其他特征通过以下描述将变得易于理解。附图说明通过附图中的本公开的一些实施例的更详细描述，本公开的上述和其他目的、特征和优点将变得更加明显，其中：图1示意地示出了本公开的实施例可以被实施在其中的CNN的架构；图2是根据本公开的实施例的方法的流程图；图3a示出了在重排序之前的特征图的示例；图3b示出了经重排序的特征图的示例；以及图4是本公开的实施例可以被实施在其中的电子设备的框图；贯穿附图，相同或相似的参考标号表示相同或相似的元件。具体实施方式现在将参考一些示例实施例来描述本公开的原理。将理解，这些实施例被描述仅用于说明目的并且帮助本领域的技术人员理解和实施本公开，而不暗示对本专利技术的范围的任何限制。本文描述的专利技术可以按照除了下文描述的方式之外的各种方式被实施。如本文使用的，术语“包括”及其变型被解读为开放术语，意味着“包括但不限于”。术语“基于”被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”被解读为“至少一个实施例”。术语“另一实施例”被解读为“至少一个其他实施例”。下文可以包括其他明确和隐含的定义。首先参考图1，其示意地示出了本公开的实施例可以被实施在其中的CNN100的架构。将理解，CNN100的结构和功能被描述仅用于说明目的，而不暗示对本文描述的本公开的范围的任何限制。本文描述的本公开可以利用不同结构和/或功能来体现。如图1中示出的，CNN100包括输入层110、卷积层120、140、池化层130、150、以及输出层160。通常，卷积层120、140和池化层130、150以交替形式被组织。在一些实施例中，卷积层120之后是池化层130，并且卷积层140之后是池化层150。在一些实施例中，CNN100仅包括跟随在连续的卷积层120和140之后的池化层130和150之一。在其他实施例中，CNN100不包括任何池化层。CNN100可以利用训练数据集而被训练。训练数据集在输入层110进入CNN100。一旦被训练，CNN100可以被用于图像识别、对象检测、语音识别等。卷积层120和140的作用是特征表示，并且特征的语义层次随着层的深度而增加。通过利用附近输出的概要统计来替换某个位置处的在前卷积层的输出，池化层130和150被获得。输出层160输出分类结果。输入层110、卷积层120、140、池化层130、150、以及输出层160中的每个层包括沿着Z维度布置的一个或多个平面。平面中的每个平面由X维度和Y维度来定义，其被称为空间域。卷积层120、140和池化层130、150中的平面中的每个平面可以被认为是特征图或具有特征检测器的通道。因此，Z维度也被称为通道维度或通道域。通过对空间域和通道域两者中相应的在前层中的特征图应用卷积操作，卷积层120和140中每个卷积层的特征图可以被获得。借助于卷积操作，卷积层120和140的特征图中的元素中的每个元素仅与在前层中的特征图的局部区域中的元素相连接。在该意义上，向卷积层的在前层应用卷积操作意味着这两层之间存在稀疏连接。因此，如本文使用的，术语“卷积操作”和“稀疏连接”可以互换使用。已知的是卷积操作适合于相邻元素高度相关的情形。然而，因为已有的学习算法不保证通道域中的不同特征图之间的相邻元素是高度相关的，所以通道域中相邻元素之间的相关性不像空间域中相邻元素之间的相关性那样大。作为结果，通道域中的稀疏连接不能导致良好性能。例如，在图像识别的情况下，经由卷积操作获得的特征图不具有强的特征表示能力，并且因此不能用作图像的判别表示。根据本公开的实施例，提出了一种用于构建CNN的方案，以提高通道域中相邻元素之间的相关性，使得在空间域和通道域两者中应用卷积操作产生更好的性能。图2示出了根据本公开的实施例的用于构建CNN的方法200的流程图。方法200可以实施在CNN(诸如图1中示出的CNN100)中。在一些实施例中，方法200可以关于卷积层120和140两者而被执行，以提高这些卷积层中不同特征图之间的相关性。在其他实施例中，方法200可以关于卷积层120和140中的任何卷积层而被执行。在后文中，为了说明的目的，方法200将通过采用卷积层120作为示例而被描述。如所示出的，在步骤210中进入方法200，其中用于CNN100中的卷积层120的卷积参数和第一特征图基于针对多媒体内容的训练数据集而被确定。如上文描述的，一旦被训练，CNN100可以被用于图像识别、对象检测、语音识别等。在这方面，针对多媒体内容的训练数据集的示例包括但不限于针对图像、语音本文档来自技高网...

【技术保护点】
1.一种方法，包括：基于针对多媒体内容的训练数据集，确定用于卷积神经网络中的卷积层的卷积参数和第一特征图；根据所述第一特征图之间的相关性来改变所述第一特征图的顺序，以获得第二特征图；以及基于所述训练数据集和所述第二特征图来更新所述卷积参数。

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：基于针对多媒体内容的训练数据集，确定用于卷积神经网络中的卷积层的卷积参数和第一特征图；根据所述第一特征图之间的相关性来改变所述第一特征图的顺序，以获得第二特征图；以及基于所述训练数据集和所述第二特征图来更新所述卷积参数。2.根据权利要求1所述的方法，其中更新所述卷积参数包括：确定所述第一特征图的所述顺序的改变量；以及响应于所述量大于预定阈值，更新所述卷积参数。3.根据权利要求2所述的方法，进一步包括：将索引指配给所述第一特征图；以及生成所述索引的列表。4.根据权利要求3所述的方法，进一步包括：基于所述第二特征图来更新所述索引的所述列表。5.根据权利要求4所述的方法，其中确定所述第一特征图的所述顺序的改变量包括：确定所生成的所述索引的所述列表与经更新的所述索引的所述列表之间的差异。6.根据权利要求1至5中任一项所述的方法，其中根据所述第一特征图之间的相关性来改变所述第一特征图的顺序包括：获得所述第一特征图的表示信息；确定所述表示信息之间的差异；以及基于所述表示信息之间的所述差异来确定所述相关性。7.一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器；所述至少一个存储器和所述计算机程序代码被配置为，与所述至少一个处理器一起，使得所述装置至少：基于针对多媒体内容的训练数据集，确定用于卷积神经网络中的卷积层的卷积参数和第一特征图；根据所述第一特征图之间的相关性来改变所述第一特征图的顺序，以获得第二特征图；以及基于所述训练数据集和所述第二特征图来更新所述卷积参数。8.根据权利要求7所述的装置，其中所述至少一个存储器和所述计算...

【专利技术属性】
技术研发人员：曹家乐，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI