具有数量被减少的参数的神经网络制造技术

提供了一种方法。该方法包括：提供具有权重集(W)并被配置为接收输入数据结构(x)的神经网络，用于根据所述权重集的值来生成对应的输出阵列(y(x,W))‑训练(200)神经网络(100)以获得经训练的神经网络(100”)，所述训练包括借助于梯度下降算法来设置权重集的值，该梯度下降算法利用包括损失项和正则化项的成本函数；‑通过通信网络(650)在设备(620)上部署经训练的神经网络(100”)；‑在设备上使用已部署的经训练的神经网络(100”)，其中：正则化项基于由权重值集的变化造成的输出阵列元素的变化率。

【技术实现步骤摘要】
【国外来华专利技术】具有数量被减少的参数的神经网络
本专利技术涉及神经网络领域。
技术介绍
在过去的几年中，人工神经网络(下文中简称“ANN”)已引起强烈关注，并成功应用于广泛的应用领域，包括控制系统、机器人技术、模式识别系统、预测、医学、电力系统、制造、优化、信号处理和社会/心理科学。在ANN的应用领域中，随着诸如智能电话或包括数码相机的其它便携式设备之类的数字图像捕获设备的使用的增长，图像的对象分类(在下文中简称为“对象分类”)变得越来越重要。对象分类是提供用于根据预定义的图像类别将标签分配给(数字)图像中描绘的(一个或多个)对象的过程。对象分类提供了通过分析图像的视觉图案来在可用的预定义图像类别中为图像中描绘的对象选择适当的类别。特别地，对象分类可以基于已知的通常被称为应用于ANN的“深度学习”的机器学习方法。如本领域技术人员众所周知的，ANN的基本元素是神经元，也称为节点。每个神经元都有单个输出，但它可能有许多输入。神经元的输出是将非线性函数应用于添加到通常称为偏差的恒定值的其输入的线性组合的结果。该线性组合的系数通常被称为权重w，并且非线本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n-提供具有权重集(W)并被配置为接收输入数据结构(x)的神经网络，用于根据所述权重集的值来生成对应的输出阵列(y(x,W))；/n-训练(200)神经网络(100)以获得经训练的神经网络(100”)，所述训练包括借助于梯度下降算法来设置权重集的值，该梯度下降算法利用包括损失项和正则化项的成本函数；/n-通过通信网络(650)在设备(620)上部署经训练的神经网络(100”)；/n-在设备上使用已部署的经训练的神经网络(100”)，/n其特征在于/n正则化项基于由权重值集的变化造成的输出阵列的元素的变化率。/n

【技术特征摘要】
【国外来华专利技术】20180720 IT 1020180000073771.一种方法，包括：
-提供具有权重集(W)并被配置为接收输入数据结构(x)的神经网络，用于根据所述权重集的值来生成对应的输出阵列(y(x,W))；
-训练(200)神经网络(100)以获得经训练的神经网络(100”)，所述训练包括借助于梯度下降算法来设置权重集的值，该梯度下降算法利用包括损失项和正则化项的成本函数；
-通过通信网络(650)在设备(620)上部署经训练的神经网络(100”)；
-在设备上使用已部署的经训练的神经网络(100”)，
其特征在于
正则化项基于由权重值集的变化造成的输出阵列的元素的变化率。


2.如权利要求1所述的方法，其中所述正则化项基于惩罚的总和，每个惩罚惩罚权重集的对应权重，每个惩罚基于第一因子和第二因子的乘积，其中：
-所述第一因子基于所述对应权重的幂，特别是对应权重的平方，并且
-所述第二因子基于输出阵列对对应权重的变化的灵敏度的函数。


3.如权利要求2所述的方法，其中所述函数与输出阵列的输出元素相对于权重的导数的绝对值的平均值对应。


4.如权利要求2所述的方法，其中：
-所述训练包括，针对多个训练输入数据结构当中的每一个训练输入数据结构，将由神经网络根据所述训练输入数据结构生成的输出阵列与仅具有一个非零元素的对应目标输出阵列进行比较，以及
-所述函数与对应于目标输出阵列的所述一个非零元素对应的输出阵列的元素相对于权重的导数的绝对值对应。...

【专利技术属性】
技术研发人员：A·费安德罗缇，G·弗兰希尼，S·莱普索伊，E·塔泰格里昂，
申请(专利权)人：意大利电信股份公司，
类型：发明
国别省市：意大利;IT