信息处理方法、信息处理装置、计算机可读存储介质制造方法及图纸

一种信息处理方法，包括：从两个神经网络的模型的每一个模型中，读取层结构和层参数；对于所述两个神经网络的模型，从输入层开始顺序地，通过使用宽度优先搜索或深度优先搜索，比较在对应的隐藏层中被构造成图状形式的层，基于对应的层之间的相似度来确定所述两个神经网络的模型之间的匹配度。

Information Processing Method, Information Processing Device, Computer Readable Storage Media

【技术实现步骤摘要】
【国外来华专利技术】信息处理方法、信息处理装置、计算机可读存储介质
本专利技术涉及用于确定神经网络中模型参数的修改的技术。
技术介绍
神经网络最近在图像识别、语音识别和自然语言处理领域获得了广泛关注。神经网络是指通过计算机模拟表达活体大脑特征的数学模型。它指的是整体模型，在该整体模型中，通过突触连接形成网络的人工神经元(单元)，通过训练改变突触的键强度而进化为具有解决问题的能力。专利文献(PTLs)1至3和非专利文献(NPTLs)1至3公开了优化神经网络结构的技术。另外，PTL2公开了一种在大规模卷积神经网络中有效地设置权重的技术。另外，PTL3公开了一种使用神经网络检测音频事件的技术。此外，NPTL1和2公开了一种适合于图像识别的卷积神经网络。此外，NPTL3还公开了一种使用神经网络估算单词类别的技术。大规模神经网络的模型参数需要进行长期的训练。例如，NPTL2公开了需要使用四个GPU(图形处理单元)进行为期两到三周的训练。因此，NPTLS4和5公开了通过使用预先训练过的部分模型参数或通过使用训练过的模型参数作为初始值进行重新训练来设置模型参数的技术。引文列表专利文献PTL1：日本专利公开号：2015-11510PTL2：日本专利公开号：2015-52832PTL3：日本专利公开号：2015-57630非专利文献NPTL1:A.Krizhevsky,I.SutskeverandG.E.Hinton,"ImageNetClassificationwithDeepConvolutionalNeuralNetworks,"NIPS'12.NPTL2:K.SimonyanandA.Zisserman,"VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition,"ICLR'15.NPTL3:X.MaandE.Hovy,"End-to-endSequenceLabelingviaBi-directionalLSTM-CNNs-CRF,"ACL'16.NPTL4:S.Ren,K.He,R.Girshick,andJ.Sun,"FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks,"NIPS'15.NPTL5:W.Liu,etal.,"SSD:SingleShotMultiBoxDetector,"ECCV'16.NPTL6:P.-T.Yu,H.-H.Tsai,andJ.-S.Lin,"Digitalwatermarkingbasedonneuralnetworksforcolorimages,"inSignalProcessing,vol.81,no.3,2001.NPTL7:M.Elarbi,C.B.Amar,andH.Nicolas,"VideoWatermarkingBasedonNeuralNetworks,"inProc.ofICME,2006.NPTL8:Fei-FeiLi&AndrejKarpathy&JustinJohnson,Lecture7,ConvolutionalNeuralNetworks,27Jan2016,[online]Internet,URL:http://cS231n.stanford.edu/slides/winter1516_lecture7.pdf,retrievedinJanuary4,2017.NPTL9:Regularization,[online],Internet,URL:https://ja.wikipedia.org/wiki/％E6％AD％A3％E5％89％87％E5％8C％96,retrievedinJanuary5,2017.NPTL10:A.KroghandJ.A.Hertz,"ASimpleWeightDecayCanImproveGeneralization,"inProc.ofNIPS,1992.NPTL11:Caffe,[online]Internet,URL:http://caffe.berkeleyvision.org/,retrievedinJanuary5,2017.NPTL12:TensorFlow,[online]Internet,URL:https://www.tensorflow.org/,retrievedinJanuary5,2017.NPTL13:Chainer,[online]Internet,URL:http://chainer.org/,retrievedinJanuary5,2017.
技术实现思路
技术问题如上所述，如果所有模型参数都是使用大规模神经网络从零开始训练的，需要大量的计算成本和努力。因此，有些情况下，研究机构以许可证形式分发经过训练的模型参数，以允许重复使用。但是，在商业服务中，经过训练的模型参数本身是服务中的核心技术，一般来说，禁止重复使用。例如，可以很容易地直观地发现未经授权使用的图像等。然而，很难直观地发现未经授权而使用模型参数。本专利技术提供一种检测修改的技术，即使神经网络模型的一部分被修改或重新训练。问题的解决方案根据本专利技术的一个方面，信息处理方法包括：从两个神经网络的模型的每一个模型中，读取层结构和层参数；对于所述两个神经网络的模型，从输入层开始顺序地，通过使用宽度优先搜索或深度优先搜索，比较在对应的隐藏层中被构造成图状形式的层，基于对应的层之间的相似度来确定所述两个神经网络的模型之间的匹配度。专利技术的有益效果根据本专利技术，即使神经网络模型的一部分被修改或重新训练，也可以检测到修改。本专利技术的其他特征和优点将从以下结合附图的描述中显而易见。请注意，在附图中，相同的参考标号表示相同或类似的部件。附图说明图1是神经网络的一般功能配置图。图2是根据一个实施例的信息处理方法的图。图3是神经网络的图，其中多个层以图形形式配置。图4是输入数据与特征图之间的卷积关系的图。图5是使用权重滤波器生成特征图的图。图6是N个权重滤波器和具有N个阶段的特征图之间关系的图。图7是从卷积层的权重滤波器估算的真实滤波器尺寸的图。图8是比较卷积层的方法的图。图9是根据一个实施例的信息处理装置的配置图。具体实施方式在下文中，将使用附图详细描述本专利技术的实施例。图1是神经网络的一般功能配置图。神经网络采用不同的配置，但基本上，神经网络表示为多个类型的层的叠加(或图形结构)。将输入数据与正确答案标签相关联的训练数据输入神经网络。此外，在神经网络中，对模型参数进行训练，使得与输入数据对应的最终输出结果与正确的答案标签相匹配(根据任务，与输入对应的输出是近似的)。根据图1，前馈神经网络包括输入层、隐藏层和输出层三层，输入数据从输入层向输出层单向传送。隐藏层可以由多个层组成。每一层包括多个单元(神经元)，与从前一层的单元到后一层的单元的输入相关的参数称为“权重”。训练是指计算与此输入相关的适当“权重”作为参数。卷积神经网络(CNN)也如图1所示，作为前馈神经网络。训练是指使用与输入数据对应的输出层的输出数据和与输入数据相关的正确答案标签之间的误差，来适当更新各层权重的操作。为了计算误差，定义了“本文档来自技高网...

【技术保护点】
1.一种信息处理方法，包括：从两个神经网络的模型的每一个模型中，读取层结构和层参数；以及对于所述两个神经网络的模型，从输入层开始顺序地，通过使用宽度优先搜索或深度优先搜索，比较在对应的隐藏层中被构造成图状形式的层，基于对应的层之间的相似度来确定所述两个神经网络的模型之间的匹配度。

【技术特征摘要】
【国外来华专利技术】2017.01.13 JP 2017-0038491.一种信息处理方法，包括：从两个神经网络的模型的每一个模型中，读取层结构和层参数；以及对于所述两个神经网络的模型，从输入层开始顺序地，通过使用宽度优先搜索或深度优先搜索，比较在对应的隐藏层中被构造成图状形式的层，基于对应的层之间的相似度来确定所述两个神经网络的模型之间的匹配度。2.根据权利要求1所述的信息处理方法，其中，所述确定所述两个神经网络的模型之间的匹配度包括：如果待比较的层的类型不同，则将相似度设置为0，不执行从所述层到后续层中的比较。3.根据权利要求1所述的信息处理方法，其中，所述确定所述两个神经网络的模型之间的匹配度包括：当比较卷积层时，估算与所述卷积层的每个权重滤波器相关的真实滤波器尺寸，将待比较的权重滤波器的参数修改为对应的经估算的真实滤波器尺寸，通过将每个权重滤波器的参数作为一个向量，以向量集合表示所述卷积层，将待比较的对应的卷积层的所述向量集合之间的相似度，设置为所述卷积层之间的相似度。4.根据权利要求3所述的信息处理方法，其中，所述估算真实滤波器尺寸包括：对所述权重滤波器的每一个权重滤波器中各个通道的参数的绝对值进行累加，估算包括累加值等于或大于预定阈值的所有位置的最小矩形，作为真实滤波器尺寸。5.根据权利要求1所述的信息处理方法，其中，所述确定所述两个神经网络的模型之间的匹配度包括：当比较全连接层时，通过将所述全连接层的每一层的权重作为特征向量，使用向量集合，表示所述全连接层的每一层，将待比较的对应的全连接层的所述向量集合之间的相似度，设置为所述全连接层之间的相似度。6.根据权利要求3或5所述的信息处理方法，其中，获取所述向量集合之间的相似度通过：配置二分图，通过获取距离等于或小于预定阈值的特征向量对来配置所述二分图，以及计算最大匹配数，通过求解所...

【专利技术属性】
技术研发人员：内田祐介，酒泽茂之，永井有希，
申请(专利权)人：凯迪迪爱通信技术有限公司，
类型：发明
国别省市：日本,JP