晋级网络自强化的图像语音深度学习模型制造技术

晋级网络自强化的图像语音深度学习模型。本申请将晋级方案与神经网络结构融合设计出一种可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构，系统稳定性提高；通过松散和紧凑分别将线性和非线性晋级方案与神经网络分类模型相结合构造深度学习分类模型，泛化能力强；网络结构方面对卷积和池化层进行自主联合，实现全晋级网络，分级处理在分类和估计推理任务上有更好效果；网络运算方面用晋级实现卷积运算和池化运算，实现线性与非线性的统一，计算复杂度低；网络训练过程采用分层低熵来加速网络训练,不仅使网络保留卷积的可学习性，还使得池化层变得可学习，模型学习能力强，误差比现有技术方法的都小，图像语音识别分类的准确性和鲁棒性更好。音识别分类的准确性和鲁棒性更好。音识别分类的准确性和鲁棒性更好。

【技术实现步骤摘要】
晋级网络自强化的图像语音深度学习模型


[0001]本申请涉及一种自强化图像语音深度学习模型，特别涉及一种晋级网络自强化的图像语音深度学习模型，属于图像语音深度学习


技术介绍

[0002]机器学习是人工智能的一个重要研究领域,最基本的做法是运用各种算法让计算机从数据中学习获取所需的知识，并能够加以推广解决与之相关的问题，机器学习从模型的层次结构上看经历了两个阶段：浅层学习和深度学习。在应用机器学习算法建立复杂模型解决问题的时候，影响其性能的一个重要因素是数据表达形式。现有技术通过人工设计特征的方法寻找合适的数据特征来提高模型准确度以及从原始数据中获取信息的方法，不仅对设计特征的经验和技术要求极高，也需要大量的时间成本，研发方向是设计一种能自主从海量数据中学习有用信息的方法,能自主学习数据特征而不是简单的学习特征到结果的映射，作为机器学习的一个新领域,深度学习的出现就是为了让机器学习更加智能。
[0003]传统的浅层机器学习模型在结构上不含或含较少的隐层节点，浅层网络中通过图像和滤波器的卷积操作只能得到样本的一些边缘和简单纹理特征。而由多层非线性运算单元组合的深度神经网络，通过将浅层网络的底层特征加以组合可以得到更为复杂的图像特征,这与人类视觉所能感知的物体特征更为接近。总的来说，(1)深度学习模型具有更深的层次结构，包含五层以上的隐层节点；(2)深度学习强调模型的自主学习能力,不仅学习输入输出之间的映射关系，还学习原始数据的特征表达，顺着网络结构不断深入，在各层之间进行特征的变换。相比于浅层学习，深度学习具有明显的优越性，具体表现为：一是浅层神经网络结构中局部估计器泛化能力很差，难以实现对复杂目标函数的表征；二是如果目标函数能用一个k+1层网络紧凑表示出来，当网络深度为k时，表达该函数所需的计算单元将成指数倍增长，计算复杂度大大增加；由于网络计算单元参数调整依靠训练样本，在样本量一定的情况下，计算单元的增加使网络泛化能力下降；三是深度学习模型利用分级处理思想,在不同空间上获取对输入数据不同层次的特征表达，在分类和估计推理任务上有更好效果。
[0004]现阶段，深度学习已广泛深入到语音识别、图像理解和自然语言处理等领域并颇有成效，目前主要集中在对网络结构和网络优化算法两方面。神经网络不仅功能强大且设计灵活,在图像、语音和自然语言理解等许多具有挑战性的学习任务中得到了应用。但神经网络的设计依然是个难题。典型的CNN架构通过组合卷积层、池化层和全连接层得到，卷积和池化交替出现,然后加入全连接层最后得到输出。在构建CNN的同时，网络设计者必须做出许多设计选择：每种类型的层数及顺序，归一化操作中的指数以及每种类型的层的超参数包括感受野大小、步长和卷积核数量等。这使得CNN架构的设计空间非常大，很多模型实例无法实现，因此完全的手动搜索是不可行的。
[0005]基于卷积神经网络的深度学习，包括网络结构、基本运算和训练技巧等。尽管网络变得越来越高效，但架构设计却更加复杂，需要具有很丰富的专业知识和经验，并耗费大量
时间成本，当前神经网络的设计依然是一个大难题。目前CNN架构主要通过实验手工制作或从少数现有的网络中修改，这对专业技术知识有很高的要求且工作量巨大。所以神经网络的自动化及计算机辅助设计极具研发和应用价值。
[0006]现有技术的深度神经网络结构：正向和反馈的网络结构使其具有很强的学习能力,通过不断的迭代和调整网络神经元之间的权值得到一个非线性的回归函数使其能够在分类问题上发挥巨大作用。为了学习可以表示高级抽象(例如在视觉，语言和其它AI级任务)的复杂函数的类型，需要深层架构，目前三种神经网络架构是深度置信网络、层叠自动编码机、和卷积神经网络。深度卷积神经网络在诸如语音图像识别和机器翻译等人工智能任务中取得了巨大的成功。随之而来的是从特征设计到架构设计的一个模式转变，尽管在自动化和计算机辅助神经网络设计方面已有一些卓有成效的工作，但新的CNN架构和网络设计元素仍主要由研发人员使用从实验中获得的新的理论见解或凭直觉，对于自动学习网络结构的研究问题亟待解决。
[0007]现有技术的深度神经网络训练：对深度神经网络尤其是卷积神经网络训练算法以及实现技巧细分为预处理方法、初始化方法、激活函数的选择、正则化方法四个方面。
[0008]综上所述，现有技术的图像语音机器学习仍然存在问题，本申请的难点和待解决的问题主要集中在以下方面：
[0009]第一，现有技术通过人工设计特征的方法寻找合适的数据特征来提高模型准确度以及从原始数据中获取信息的方法，不仅对设计特征的经验和技术要求极高，也需要大量的时间成本，缺少一种能自主从海量图像语音数据中学习有用信息的方法,能自主学习数据特征而不是简单的学习特征到结果的映射，浅层网络中通过图像和滤波器的卷积操作只能得到样本的一些边缘和简单纹理特征，层次结构少，模型没有自主学习能力,不仅无法学习输入输出之间的映射关系，也无法学习原始数据的特征表达，无法在各层之间进行特征的变换，局部估计器泛化能力很差，难以实现对复杂目标函数的表征，计算复杂度大，特别是在分类和估计推理任务上还不够成熟，计算速度慢，抗噪能力差，准确度还无法满足要求；
[0010]第二，现有技术在构建CNN的同时，网络设计者必须做出许多设计选择：每种类型的层数及顺序，归一化操作中的指数以及每种类型的层的超参数包括感受野大小、步长和卷积核数量等，使得CNN架构的设计空间非常大，很多模型实例无法实现，完全的手动搜索是不可行的；基于卷积神经网络的深度学习架构设计更加复杂，需要具有很丰富的专业知识和经验，并耗费大量时间成本，当前神经网络的设计依然是一个大难题，目前CNN架构主要通过实验手工制作或从少数现有的网络中修改，这对专业技术知识有很高的要求且工作量巨大，无法实现神经网络的自动化及计算机辅助设计，无法满足语音识别、图像理解和自然语言处理等等大部分应用场景的需求；
[0011]第三，现有技术无法实现自动化CNN架构的选择过程，缺少将晋级方案与神经网络结构融合的可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构；缺少非线性形态晋级自强化网络包括的最大形态晋级和中值形态晋级两种方案，无法通过松散型和紧凑型两种方式分别将线性和非线性晋级方案与神经网络分类模型相结合构造深度学习分类模型；网络结构方面缺少自强化网络晋级方案生成神经网络层架构,无法对卷积和池化层自主联合，无法用自适应卷积核代替估计推理算子和改造算子实现全晋级网络；网
络运算方面，无法用晋级操作实现卷积运算和池化运算，实现线性与非线性的统一；在神经网络的训练过程中，缺少加速网络训练,不仅网络保留卷积不具有可学习性，池化层也不可学习；图像语音学习实际应用价值大打折扣；
[0012]第四，现有技术针对CNN层结构包括层顺序和层类型的灵活选择问题没有可靠的解决方法，无法构建不同的晋级框架来实现对神经网络不同模块的拟合，缺少分别实现CNN线性卷积和非线性池化构建融合型网络；现有技术无法解决图像分类网络的训练过程中内部变量漂移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.晋级网络自强化的图像语音深度学习模型，其特征在于，通过基于自强化网络晋级方案的元模型来自动化CNN架构的选择过程，将晋级方案与神经网络结构融合设计出一种可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构；采用非线性形态晋级自强化网络，包括最大形态晋级和中值形态晋级两种方案，然后通过两种松散型和紧凑型两种方式，分别将线性和非线性晋级方案与神经网络分类模型相结合构造深度学习分类模型；在网络结构方面，提出自强化网络晋级方案生成神经网络层架构的方法,对卷积和池化层进行自主联合，用自适应卷积核代替估计推理算子和改造算子,分别替换卷积和池化，进而实现全晋级网络；在网络运算方面，用晋级操作来实现卷积运算和池化运算，实现线性与非线性的统一；在神经网络的训练过程中，采用分层低熵来加速网络训练,将改进的晋级架构与神经网络的紧凑型结合,不仅使网络保留卷积的可学习性，还使得池化层变得可学习；第一，针对CNN层结构包括层顺序和层类型的灵活选择问题，提出一种改进的自强化网络晋级方案作为元模型来对网络中的线性和非线性模块进行自主联合实现，基础网络是将LeNet
‑
5与晋级自强化网络相结合，构造的一个具有五层结构的松散型神经网络，通过构建不同的晋级框架来实现对神经网络不同模块的拟合，采用改进的晋级框架分别实现CNN线性卷积和非线性池化构建融合型网络；第二，针对图像分类网络的训练过程中容易产生内部变量漂移现象,采用调整改进的神经网络优化算法，考虑到感受野大小对网络性能的影响，对改进的晋级方案中的估计推理和改造算子进行修改优化，网络中的晋级和改造滤波的窗口大小为3
×
3，使用分层低熵方法后，分类精度大幅提高。2.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，晋级网络自强化的深度学习框架：基于晋级框架的深度学习模型，基于自强化网络晋级方案自身的设计灵活性和自适应特征,将晋级方案与神经网络结构融合设计出一种可实现网络参数和模块自主学习，兼容线性与非线性的深度学习架构，上部分是卷积神经网络架构，下部分是拟实现的全晋级网络模型，整个框架实现分为三个步骤：(1)晋级实现线卷积；(2)晋级实现池化；(3)晋级实现其它非线性模块；通过一个参数化、可学习的架构实现卷积神经网络的包括卷积、池化、softmax在内的多个基元，并将这些模块都参数化，最终将BP算法传递的可学性从卷积系数扩充到架构类型和模块选择，实现自主学习的全晋级网络。3.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，晋级方案驱动的线性自强化网络：采用二维离散强化网络、图像强化网络和语音强化网络构造晋级自强化网络；(1)二维离散强化网络的滤波器组的Z变换为：P(z)为互补滤波器组(h,g)的多相矩阵，对偶滤波器组(h
*
,g
*
)的多相矩阵为P
*
(z)，x＝{x[n]|n∈Z}表示输入序列，c＝{c[n]|n∈Z}和d＝{d[n]|n∈Z}分别表示x[n]经过滤波器
组(h,g)并下采样后得到的序列,则应用欧氏范数算法，其多相矩阵可表示为：则分析多相矩阵为；得二维离散强化网络的晋级自强化正变换为：逆变换只需改变对应的符号，如下：通过上述方法对二维离散强化网络进行晋级构造就得到二维离散晋级自强化网络；(2)对于图像强化网络，其分析多相矩阵表示为：则相应的晋级过程如下：图像分割：d[n]
(0)
＝x[2n+1]，c[n]
(0)
＝x[2n]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式7估计推理1：d[n]
(1)
＝d[n]
(0)
+α(c[n]
(0)
+c[n+1]
(0)
)
ꢀꢀꢀꢀꢀꢀ
式8图像改造1：c[n]
(1)
＝c[n]
(0)
+β(d[n]
(1)
+d[n
‑
1]
(1)
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
式8估计推理2：d[n]
(2)
＝d[n]
(1)
+γ(c[n]
(1)
+c[n+1]
(1)
)
ꢀꢀꢀꢀꢀꢀ
式9图像改造2：c[n]
(2)
＝c[n]
(1)
+δ(d[n]
(2)
+d[n
‑
1]
(2)
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式10收缩因子：
其中，α，β，δ，γ，K均为无理数，近似值为：由上述晋级过程得到图像强化网络晋级方案，增加一组估计推理和图像改造步骤，并基于原位计算，计算所需内存较少，不增加运算成本，对运算速度也无影响；(3)语音强化网络变换的算法表示如下：语音分割：采用惰性自强化网络变换实现；估计推理：语音改造：得到语音强化网络变换晋级方案。4.根据权利要求1所述晋级网络自强化的图像语音深度学习模型，其特征在于，形态晋级自强化网络：(1)最大晋级格形态自强化网络采用最大值算子作为估计推理算子和改造算子来构造形态晋级自强化网络，假设原始信号分解采用自强化网络分解，即：估计推理算子P和改造算子U分别采用：P(x
e
[n])＝x
e
[n]∨x
e
[n+1]U(d[n])＝
‑
(0∨d[n
‑
1]∨d[n])
ꢀꢀꢀꢀꢀꢀꢀꢀ
式16其中，∨为表示上确界的符号，x
e
[n]∨x
e
[n+1]表示集合{x
e
[n]，x
e
[n+1]}的上确界；晋级过程表示为：估计推理：d[n]＝x
o
[n]
‑
(x
e
[n]∨x
e
[n+1])＝x[2n+1]
‑
(x[2n]∨x[2n+2])
ꢀꢀꢀꢀꢀꢀ
式17改造融合：c[n]＝x
e
[n]+(0∨d[n
‑
1]∨d[n])＝x[2n]+(0∨(x[2n
‑
2]
‑
(x[2n
‑
2]∨x[2H]))∨(x[2n+1]
‑
(x[2n]∨x[2n+2])))
ꢀꢀꢀ
式18最大晋级方法选择偶部分信号x
e
[n]的两个邻域值x
e
(n)与x
e
(n+1)的最大值作为x
o
(n)的估计推理，改造晋级中同样将x
e
[n]的局部最大值映射为尺度信号x
e
[n]，如果x(n)≥x(n
±
1)，则信号x在点n具有局部最大值x(n)；(2)中值晋级自强化网络原始信号分解采用惰性自强化网络分解，利用中值算子作为改造算子来构造形态晋级自强化网络，估计推理和改造算子分别为：P(x
e
[n])＝x
...

【专利技术属性】
技术研发人员：潘振华，
申请(专利权)人：潘振华，
类型：发明
国别省市：