一种通用的深宽网络结合框架的构建方法技术

本发明专利技术公开了一种通用的深宽网络结合框架的构建方法，包括以下步骤：S1、初始化宽度学习参数，包括映射特征组个数、组内特征个数以及增强节点个数；S2、由输入数据，使用具有随机值的深度网络或其组件初始化宽度学习中的映射特征节点组；S3、由得到的映射特征使用深度网络或其组件构建增强特征节点组；S4、将两组提取的特征合并，共同连接到最终输出层；S5、使用优化算法对深宽网络参数进行优化，包括最后一层连接权重和特征层中深度网络的参数，直到达到停止条件。本发明专利技术将深度学习或其组件提取特征的能力融合到宽度学习中，实现深宽结合的模型，有效解决了深度学习中参数量大，时间消耗长的问题。耗长的问题。耗长的问题。

【技术实现步骤摘要】
一种通用的深宽网络结合框架的构建方法


[0001]本专利技术属于神经网络
，具体涉及一种通用的深宽网络结合框架的构建方法。

技术介绍

[0002]网络空间信息在形式上多种多样(如文本，图像，音频，视频等)，在数据量上呈爆炸式增长，而在数据处理上则呈现出高复杂度、高实时性和高并发性等特性，这些复杂特性对网络空间信息的智能化处理提出了新的挑战。计算智能方法已经成为了网络空间信息智能化处理的基础核心方法。
[0003]神经网络作为计算智能的有效方法，目前已经流行两大流派：深度学习和宽度学习。两种模型具有各自独特的优缺点，并能供数据中获取不同角度的信息。深度学习提取的特征更细节，但是其时间代价高；而宽度学习的单层设计使其速度极快，但浅层结构在一定程度影响了模型在实际高维数据上的分类效果。如何能够将两种模型相结合实现一种高效且效果好的模型，对解决当前大规模背景下高维数据的处理和模式识别具有重大意义。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，提出一种通用的深宽网络结合框架的构建方法，将深度学习或其组件提取特征的能力融合到宽度学习中，实现深宽结合的模型，这有效解决了深度学习中参数量大，时间消耗长的问题，并突破宽度学习的浅层限制，使其具有更强的特征提取能力，从而提升模型性能。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]一种通用的深宽网络结合框架的构建方法，包括以下步骤：
[0007]S1、初始化宽度学习参数，包括映射特征组个数、组内特征个数以及增强节点个数；
[0008]S2、由输入数据，使用具有随机值的深度网络或其组件初始化宽度学习中的映射特征节点组；
[0009]S3、由得到的映射特征使用深度网络或其组件构建增强特征节点组；
[0010]S4、将两组提取的特征合并，共同连接到最终输出层；
[0011]S5、使用优化算法对深宽网络参数进行优化，包括最后一层连接权重和特征层中深度网络的参数，直到达到停止条件。
[0012]进一步的，步骤S2中，映射特征节点为整个深度学习模型或模型中组件，在优化过程中，其参数值可变。
[0013]进一步的，步骤S3中，增强节点为整个深度学习模型或模型中组件，在优化过程中，其参数可变。
[0014]进一步的，步骤S2具体包括：
[0015]利用输入数据X，使用深度网络f
k
(θ1)计算特征映射节点Z
n
≡[Z1,Z2,
…
,Z
n
]，其中
第i组映射特征Z
i
的计算如公式(1)，每一组特征包含k个映射特征；
[0016]Z
i
＝X*f
k
(θ1),i＝1,2,
…
,n
ꢀꢀ
(1)。
[0017]进一步的，步骤S3具体包括：
[0018]由映射节点Z
n
使用随机初始化的深度网络f
m
(θ2)计算增强节点H
m
≡[H1,H2,
…
,H
m
]，其中增强特征H
j
的计算如公式(2)
[0019]H
j
≡Z
n
*f
m
(θ2),j＝1,2,
…
，m
ꢀꢀ
(2)。
[0020]进一步的，步骤S4具体包括：
[0021]将映射特征和增强节点特征合并成特征层A＝α[Z|H]，连接到模型输出层Y，特征层和输出层的连接权重为W；其中α是一个向量，所有元素和为1；输出Y和特征层A的关系如公式(3)：
[0022]Y＝WA
ꢀꢀ
(3)。
[0023]进一步的，步骤S5中，深宽模型中的参数，包括深度网络参数θ1、θ2以及宽度学习输出层权重W，通过优化算法进行优化。
[0024]进一步的，步骤S5中，优化算法的中心思想是通过最小化损失函数，如公式(4)，实现参数最优化：
[0025][0026]其中，N表示数据的个数，z
i
是第i个数据对应的预测输出。
[0027]进一步的，步骤S5中，通过优化算法进行优化具体包括以下步骤：
[0028]Sa、随机初始化模型参数；
[0029]Sb、根据当前参数计算损失值；
[0030]Sc、判断是否达到终止条件或迭代达到最大代数；若是，则终止优化，将得到最佳参数作为最优解输出；若否，继续迭代；
[0031]Sd、根据损失值，更新参数；
[0032]Se、迭代次数+1；转到步骤Sb。
[0033]本专利技术与现有技术相比，具有如下优点和有益效果：
[0034]1、本专利技术能够让宽度学习充分利用深度网络极其组件提取的特征，并通过增强层加强特征，并且由于宽度学习本身的特点，该框架能使用比较少的模块实现较高的测试精度。
[0035]2、本专利技术能有效结合深度和宽度达到减少参数和节约时间的目的，相较于现有的深度和宽度模型具有高效、效果好的特点。
[0036]3、本专利技术方法构建的框架使宽度学习突破浅层结构提取特征的限制，同时较浅层的特征节点和增强节点通过宽度方向的延伸能够起到丰富特征的作用，使模型效果更好。
附图说明
[0037]图1是本专利技术方法的流程图；
[0038]图2a是实施例中构建的CCFEBLS1模型示意图；
[0039]图2b是实施例中Building block的结构示意图。
具体实施方式
[0040]下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0041]实施例
[0042]如图1所示，本专利技术，一种通用的深宽网络结合框架的构建方法，包括以下步骤：
[0043]S1、初始化宽度学习参数，包括映射特征组个数n、组内特征个数k以及增强节点个数m；
[0044]S2、使用深度网络或其组件随机初始化宽度学习中的映射特征节点组；利用输入数据X，使用深度网络f
k
(θ1)计算特征映射节点Z
n
≡[Z1,Z2,
…
,Z
n
]，其中第i组映射特征Z
i
的计算如公式(1)，每一组特征包含k个映射特征；
[0045]Z
i
＝X*f
k
(θ1),i＝1,2,
…
,n
ꢀꢀ
(1)
[0046]其中，映射特征节点为整个深度学习模型或模型中组件，在优化过程中，其参数可变。
[0047]S3、由映射节点Z
n
使用随机初始化的深度网络f
m
(θ2)计算增强节点H
m
≡[H1,H2,
…<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通用的深宽网络结合框架的构建方法，其特征在于，包括以下步骤：S1、初始化宽度学习参数，包括映射特征组个数、组内特征个数以及增强节点个数；S2、由输入数据，使用具有随机值的深度网络或其组件初始化宽度学习中的映射特征节点组；S3、由得到的映射特征使用深度网络或其组件构建增强特征节点组；S4、将两组提取的特征合并，共同连接到最终输出层；S5、使用优化算法对深宽网络参数进行优化，包括最后一层连接权重和特征层中深度网络的参数，直到达到停止条件。2.根据权利要求1所述的一种通用的深宽网络结合框架的构建方法，其特征在于，步骤S2中，映射特征节点为整个深度学习模型或模型中组件，在优化过程中，其参数值可变。3.根据权利要求1所述的一种通用的深宽网络结合框架的构建方法，其特征在于，步骤S3中，增强节点为整个深度学习模型或模型中组件，在优化过程中，其参数可变。4.根据权利要求1所述的一种通用的深宽网络结合框架的构建方法，其特征在于，步骤S2具体包括：利用输入数据X，使用深度网络f
k
(θ1)计算特征映射节点Z
n
≡[Z1,Z2,
…
,Z
n
]，其中第i组映射特征Z
i
的计算如公式(1)，每一组特征包含k个映射特征；Z
i
＝X*f
k
(θ1),i＝1,2,
…
,n
ꢀꢀꢀ
(1)。5.根据权利要求1所述的一种通用的深宽网络结合框架的构建方法，其特征在于，步骤S3具体包括：由映射节点Z
n
使用随机初始化的深度网络d...

【专利技术属性】
技术研发人员：冯绮颖，郭继凤，陈俊龙，刘竹琳，张通，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：