深度可学习模型和深度可学习模型的训练方法技术

本发明专利技术公开了一种深度可学习模型和深度可学习模型的训练方法，深度可学习模型，包括：多个可变神经元，可变神经元包括多种类型，且可变神经元需要以状态方程形式表达；多层网络层，每一网络层由相同类型的可变神经元构成，每一网络层对应一个变化规律模型

【技术实现步骤摘要】
深度可学习模型和深度可学习模型的训练方法


[0001]本专利技术涉及人工智能
，尤其涉及一种深度可学习模型和深度可学习模型的训练方法
。

技术介绍

[0002]神经网络专利技术于上世纪的五六十年代，被称作为感知机，其将神经元简化为输入信号加权
、
求和以及非线性激活三个部分
。
后来在七八十年代的时候，
Hinton
进一步的专利技术了多层感知机
(MLP,Multilayer Perceptron)。
多层感知机能够解决单层感知机不能够解决的复杂非线性问题，逐渐成为机器学习算法中的主流方法
。
[0003]传统的神经网络模型，需要使用额外的
BP
算法进行训练，训练好的模型可被广泛应用在模式识别
、
回归预测等各个领域
。
随着非线性激活函数的改善，以及残差模型等一系列方法的出现，人们可以训练越来越深的神经网络，进而促进了深度学习的产生和人工智能的发展
。
为了方便深度学习算法可以被更容易得实现，
TensorFlow
和
Pytorch
等深度学习框架被开发出来
。
研究人员使用深度学习框架，可以更方便的实现他们的想法，也进一步促进了深度学习的发展
。
[0004]但现有的人工智能技术，从根本上来看，其实并没有能够真正的实现智能
。
准确的来说，现有的人工智能，本质上都是人工功能，只是这些功能是一些生物特有的功能，如识别一副图像，预测一个指标，甚至对一段文字进行翻译，和想要聊天的人进行对话等
。
人工智能准确的说，应该是指人类等生物所特有的智力能力
。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一
。
为此，本专利技术的一个目的在于提出一种深度可学习模型和深度可学习模型的训练方法，该深度可学习模型神经元为可变神经元，相应的，神经元构成的网络层之间的连接方式由可变神经元决定，构建下一代神经网络模型，运用该神经网络模型以实现真正的人工智能
。
[0006]为达到上述目的，本专利技术第一方面实施例提出一种深度可学习模型，包括：多个可变神经元，所述可变神经元包括多种类型，且所述可变神经元以状态方程形式表达；多层网络层，每一所述网络层由相同类型的所述可变神经元构成，每一所述网络层对应一个变化规律模型
。
[0007]另外，根据本专利技术上述实施例提出的深度可学习模型还可以具有如下附加的技术特征：
[0008]根据本专利技术的一个实施例，同一网络层中的所述可变神经元共用同一变化规律模型，其中，所述可变神经元的参数和状态由对应变化规律模型确定
。
[0009]根据本专利技术的一个实施例，所述可变神经元的参数还包括属性参数，所述属性参数包括可变神经元的编号
、
位置和当前被执行累计次数，所述属性参数被配置为作为所述变化规律模型的输入
。
[0010]根据本专利技术的一个实施例，所述网络层之间采用堆叠的方式连接，其中，所述可变神经元的参数还包括当前网络层和上一网络层之间的连接权重
。
[0011]本专利技术实施例的深度可学习模型，由多层网络层堆叠构成，每一个网络层中包括多个可变神经元，而可变神经元包括多种类型，且可变神经元以状态方程形式表达，相同类型的可变神经元构成一个网络层，每一个网络层中的可变神经元共用一个变化规律模型，每一网络层对应一个变化规律模型，这样大大节省了深度可学习模型的参数量，相邻两层网络层之间的连接方式由下一层网络层中的可变神经元决定，这样实现了真正意义上的自主学习能力
。
并且通过对所有变化规律模型进行演化训练，得到训练好的深度可学习模型，这样的得到的深度可学习模型是下一代神经网络模型，根据该神经网络模型实现的深度学习开发框架即为下一代神经网络框架，运用该神经网络框架进行产品开发以实现真正的人工智能
。
[0012]为达到上述目的，本专利技术第二方面实施例提出了一种深度可学习模型的训练方法，所述方法包括：构建多个可变神经元，其中，所述可变神经元包括多种类型，所述可变神经元以状态方程形式表达；根据所述可变神经元的类型构建多个网络层，其中，每一所述网络层对应一个变化规律模型；对所有网络层的所述变化规律模型进行训练，得到训练好的深度可学习模型
。
[0013]根据本专利技术的一个实施例，所述对所有网络层的所述变化规律模型进行训练，包括：搭建可学习模型所需场景，其中，所述可学习模型包括所述变化规律模型；建立可学习模型，并初始化所述可学习模型；选择优化算法，并配置优化算法的参数，利用配置好的优化算法对所述变化规律模型进行训练；当满足训练终止条件时，停止对所述变化规律模型训练
。
[0014]根据本专利技术的一个实施例，所述优化算法包括演化算法，所述演化算法的参数包括种群规模
、
每一代种群执行时间步，所述配置优化算法的参数，利用配置好的优化算法对所述变化规律模型进行训练，包括：配置所述种群规模和所述每一代种群执行时间步；根据所述种群规模和所述每一代种群执行时间步利用所述演化算法对所述变化规律模型进行训练
。
[0015]根据本专利技术的一个实施例，所述对所有网络层的所述变化规律模型进行训练还包括：统计训练指标；其中，所述训练终止条件包括所述训练指标达到预设指标要求
。
[0016]根据本专利技术的一个实施例，所述训练指标包括变化规律模型的平均适应度和最佳规律组合的适应度中至少一者
。
[0017]根据本专利技术的一个实施例，所述演化算法包括进化策略
ES、
遗传算法
GA、
进化神经网络算法
NEAT
和进化过程算法
EP
的至少一者
。
[0018]本专利技术实施例的可学习模型的训练方法，首先构建多个可变神经元，可变神经元的参数由其对应的变化规律模型决定，可变神经元可以状态方程的形式表达，根据可变神经元的类型构建多个网络层，由相同类型的可变神经元构建一个网络层，每一个网络层对应一个变化规律模型，多层网络层堆叠构成一个可学习模型，为对可学习模型进行训练，搭建可学习模型所需场景，将仿真场景和可学习模型进行连接，并初始化可学习模型，选择优化算法对可学习模型中的变化规律模型进行训练，根据训练指标得到训练好的可学习模型
。
通过该可学习模型的训练方法得到的可学习模型即为下一代神经网络模型，根据该神
经网络模型实现的深度学习开发框架即为下一代神经网络框架，运用该神经网络框架进行产品开发以实现真正的人工智能
。
[0019]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到
。
附图说明
...

【技术保护点】

【技术特征摘要】
1.
一种深度可学习模型，其特征在于，包括：多个可变神经元，所述可变神经元包括多种类型，且所述可变神经元以状态方程形式表达；多层网络层，每一所述网络层由相同类型的所述可变神经元构成，每一所述网络层对应一个变化规律模型
。2.
根据权利要求1所述的深度可学习模型，其特征在于，同一网络层中的所述可变神经元共用同一变化规律模型，其中，所述可变神经元的参数和状态由对应变化规律模型确定
。3.
根据权利要求2所述的深度可学习模型，其特征在于，所述可变神经元的参数还包括属性参数，所述属性参数包括可变神经元的编号
、
位置和当前被执行累计次数，所述属性参数被配置为作为所述变化规律模型的输入
。4.
根据权利要求3所述的深度可学习模型，其特征在于，所述网络层之间采用堆叠的方式连接，其中，所述可变神经元的参数还包括当前网络层和上一网络层之间的连接权重
。5.
一种深度可学习模型的训练方法，其特征在于，所述方法包括：构建多个可变神经元，其中，所述可变神经元包括多种类型，所述可变神经元以状态方程形式表达；根据所述可变神经元的类型构建多个网络层，其中，每一所述网络层对应一个变化规律模型；对所有网络层的所述变化规律模型进行训练，得到训练好的深度可学习模型
。6.
根据权利要求5所述的深度可学习模型的训练方法，其特征在于，所述对所有网络层的所述变化规律模型进行训练，包括：搭建可学习模型所...

【专利技术属性】
技术研发人员：朱宝，
申请(专利权)人：苏州如动科技有限公司，
类型：发明
国别省市：