神经网络模型生成制造技术

提供了由计算机实现的用于生成神经网络的方法，以及用于基于生成的网络对生理数据和患者进行分类的方法

【技术实现步骤摘要】
【国外来华专利技术】神经网络模型生成、生理数据分类、以及患者临床分类


[0001]本专利技术涉及用于生成神经网络的方法，特别涉及用于特定应用的自动神经网络设计，例如生理数据的分类以及对患者进行临床分类
。

技术介绍

[0002]神经网络正被在越来越多的领域中用于各种目的，包括数据分类
。
一种流行的神经网络类型是卷积神经网络
。
卷积神经网络
(CNN)
是具有至少一个卷积运算层的网络，并且是权重共享机制的一个示例
。
[0003]第一个
CNN(LeNet
‑
5)
由
[13]提出，用于读取手写数字
。LeNet
‑5开始使用由一个或多个卷积层后跟池化层组成的重复结构
。
这些重复结构后跟扁平化层
(Flatten layer)
，以将最后的输出张量
(Tensor)
连接成一个长向量，再连接到几个密集连接层进行分类
。LeNet
‑5还推广了随着层的加深而减少
f
h
和
f
w
并增加
f
c
的启发式方法
(Heuristic)。
卷积
‑
池化块用作特征提取层，全连接层通常具有递减的神经元数量
、
逐渐降低的维度
、
且最后一层用作分类器
。
[0004]AlexNet
由/>Alexander Krizhevsky
提出
[12]，并赢得了
ILSVRC 2012[16]，这对深度学习历史产生了深远的影响，因为它让计算机视觉界相信了深度学习的力量
。AlexNet
的架构与
LeNet
‑5相似，但它是一个更大的网络，有8层神经网络和超过
6200
万个参数
。K.Simonyan
和
A.Zisserman[18]将“原则性”超参数选择提升到了另一个水平，构建了
VGG
‑
16。
随着层的加深，他们使用了越来越多的神经元，总共产生了
16
层和
1.38
亿个参数
。
相对合理的超参数选择使其对开发者很有吸引力
。VGG
‑
16
在
2014
年赢得了
ILSVRC。
最先进
CNN
的发展有深度增加的趋势，但参数的数量并不一定增加
。
[0005]在可以在特定数据集上训练神经网络之前，必须对神经网络的架构进行设计选择，例如网络中层的数量和维度
。
目前用于这一阶段神经网络开发的最先进的方法是试错法
。
设计者将选择架构，对架构进行测试，并根据自己关于性能提升的经验和直觉进行调整
。
可以遵循一些常规原则，例如当训练数据稀缺时使用小模型，而当训练数据丰富时使用大模型
。
然而，很少以一致且系统性的方式设计神经网络架构，例如基于确切数量的训练样本
。
[0006]由于随机权重初始化
、
随机梯度估计和其他随机性来源引起的神经网络训练中固有的随机性使得模型开发特别有挑战性
。
可能不清楚性能的变化是由于为了改变架构而进行的干预
(
如添加层和改变超参数
)
还是由于训练中的随机性
。
通常，研究人员在得出干预有益或有害的结论之前，会在同一组超参数上对模型进行多次训练
。
当模型变得非常大时，这是不可取的，并且训练一次需要几天到几个月的时间
。
[0007]考虑到这些限制，希望提供改进的技术来设计更加具备一致性且需要更少人工输入的神经网络架构
。

技术实现思路

[0008]根据本专利技术的一个方面，提供了一种由计算机实现的用于生成神经网络的方法，包括：接收输入数据；基于所述输入数据的一个或多个属性确定多个超参数的值；基于所述超参数的值，生成包括多个层的神经网络；使用所述输入数据训练所述神经网络，并且至少如果不满足第一预定条件，则更新所述超参数中的一个或多个超参数的值；复所述生成一个神经网络并对其进行训练的步骤直到满足所述第一预定条件；选择经训练的神经网络中的一个；以及输出所述选择的神经网络
。
[0009]通过基于输入数据的属性来选择神经网络的初始参数，并使用迭代方法来开发神经网络，该方法可以一致地适用于要使用神经网络的输入数据的生成架构
。
[0010]在一些实施例中，所述多个层包括一个或多个池化层以及每个池化层之间的一个或多个卷积层，所述多个超参数包括池化层的数量以及每个池化层之间的卷积层的数量
。
[0011]卷积神经网络
(CNN)
是权重共享机制的一个例子
。CNN
允许在输入数据的多个位置重复使用“特征检测器”。
例如，在图像处理应用中，
CNN
应该能够检测图像中任意位置的眼睛
。CNN
还在同一层内共享权重，以减少参数的数量，从而有效地减少过拟合并降低计算量
。
[0012]在一些实施例中，池化层是最大池化层
。
[0013]最大池化层提供了一种降低维度的简单机制，从而降低了计算量
。
[0014]在一些实施例中，其中所述输入数据是周期性时序数据，并且在所述确定多个超参数的值的步骤中，基于所述时序数据的每个周期内所述时序数据中的样本数量来确定所述池化层的数量
。
[0015]通过将池化层的数量建立在周期性数据的时间尺度上，可以通过防止基于数据的周期性而不合适的跨更大时间尺度的拟合来最小化过拟合，跨更大时间尺度的拟合不适合基于数据的周期性
。
[0016]在一些实施例中，所述池化层的数量根据以下来确定：
[0017][0018]其中，
n
最大池化
是所述池化层的数量，
p
是量化每个池化层的维度降低的预定参数，
τ
是所述时序数据周期的预定估计值，以及
f
s
是所述时序数据的采样频率
。
[0019]这种特定形式的依赖关系基于周期性和每个池化层所选择的池化程度确保了池化层的数量适当
。
[0020]在一些实施例中，所述输入数据是非周期性时序数据，并且在所述确定多个超参数的值的步骤中，基于所述时序数据中的样本数量来确定所述池化层的数量
。
[0021]如果数据是非周期性的，则适合于在输入数据的整个长度上进行拟合
。
[0022]在一些实施例中，所述池化层的数量根据以下来确本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种由计算机实现的用于生成神经网络的方法，包括：接收输入数据；基于所述输入数据的一个或多个属性确定多个超参数的值；基于所述超参数的值，生成包括多个层的神经网络；使用所述输入数据训练所述神经网络，并且至少如果不满足第一预定条件，则更新所述超参数中的一个或多个超参数的值；重复所述生成一个神经网络并对其进行训练的步骤直到满足所述第一预定条件；选择经训练的神经网络中的一个；以及输出所述选择的神经网络
。2.
根据权利要求1所述的方法，其中所述多个层包括一个或多个池化层以及每个池化层之间的一个或多个卷积层，所述多个超参数包括池化层的数量以及每个池化层之间的卷积层的数量
。3.
根据权利要求2所述的方法，其中所述池化层是最大池化层
。4.
根据权利要求2或3所述的方法，其中所述输入数据是周期性时序数据，并且在所述确定多个超参数的值的步骤中，基于所述时序数据的每个周期内所述时序数据中的样本数量来确定所述池化层的数量
。5.
根据权利要求4所述的方法，其中所述池化层的数量根据以下来确定：其中，
n
最大池化
是所述池化层的数量，
p
是量化每个池化层的维度降低的预定参数，
τ
是所述时序数据的周期的预定估计值，以及
f
s
是所述时序数据的采样频率
。6.
根据权利要求2或3所述的方法，其中所述输入数据是非周期性时序数据，并且在所述确定多个超参数的值的步骤中，基于所述时序数据中的样本数量来确定所述池化层的数量
。7.
根据权利要求6所述的方法，其中所述池化层的数量根据以下来确定：其中，
n
最大池化
是所述池化层的数量，
p
是量化每个池化层的维度降低的预定参数，以及
D
是所述时序数据的样本数量
。8.
根据权利要求2至7中任一项所述的方法，其中所述多个层还包括每个卷积层之后的激活层
。9.
根据权利要求8所述的方法，其中所述激活层包括线性整流函数或带泄漏线性整流函数
。10.
根据权利要求2至7中任一项所述的方法，其中所述更新所述超参数中的一个或多个超参数的值包括增加每个池化层之间的卷积层的数量
。11.
根据前述权利要求中任一项所述的方法，其中所述输入数据为经标注的输入数据，并且使用监督学习的方式来训练所述神经网络
。12.
根据权利要求
11
所述的方法，其中：所述多个层包括一个或多个池化层和每个池化层之间的一个或多个卷积层，所述多个
超参数包括池化层的数量和每个池化层之间的卷积层的数量；每个卷积层有相关联的多个参数，并且训练所述神经网络包括：基于所述超参数的值和所述卷积层的参数的先前值来选择所述卷积层的参数值；使用所述神经网络的输出来计算损失函数的训练值；以及重复所述选择参数值和计算损失函数的训练值的步骤，直到在两次或更多次连续计算所述损失函数的训练值的步骤内所述损失函数的训练值的变化低于预定阈值
。13.
根据权利要求
12
所述的方法，其中所述损失函数的训练值包括通过对应用于所述输入数据的所述神经网络的输出上的所述损失函数进行评估来计算的训练损失
。14.
根据前述权利要求中任一项所述的方法，其中神经网络在训练之后的损失函数的验证值不低于前一个神经网络在训练之后的损失函数的验证值时，满足所述第一预定条件
。15.
根据权利要求1至
14
中任一项所述的方法，其中所述方法还包括，在满足所述第一预定条件之后：基于所述超参数的值生成神经网络，所述神经网络在其非连续层之间包括一个或多个跳跃连接；使用所述输入数据训练所述包括一个或多个跳跃连接的神经网络，并且至少如果不满足第二预定条件，则更新所述超参数中的一个或多个超参数的值；以及重复所述生成包括一个或多个跳跃连接的神经网络并对其进行训练的步骤，直到满足所述第二预定条件
。16.
根据权利要求
15
所述的方法，其中当包括一个或多个跳跃连接的神经网络在训练之后的损失函数的验证值不低于前一个包括一个或多个跳跃连接的神经网络在训练之后的损失函数的验证值时，满足所述第二预定条件
。17.
根据权利要求
15
或
16
所述的方法，其中所述方法还包括，在满足所述第二预定条件之后：基于所述超参数的值生成包...

【专利技术属性】
技术研发人员：沈雁婷，罗伯特，
申请(专利权)人：牛津大学科技创新有限公司，
类型：发明
国别省市：