一种分类方法及装置、计算机可读存储介质制造方法及图纸

本申请公开了一种分类方法及装置、计算机可读存储介质，所述方法包括：将特征数据输入预先建立的深度置信神经网络模型；通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；利用训练好的深度置信神经网络模型进行分类识别。本申请通过多线程并行吉布斯抽样以及并行更新每个神经元之间的权重以及偏置值，发挥了算法并行的优势，提高了系统的运算速度。

A classification method and device, computer readable storage medium

This application discloses a classification method and device, a computer readable storage medium. The method includes: input characteristic data into a pre-established depth confidence neural network model; parallel calculation of the activation probability between hidden layer and explicit layer by multi-threaded parallel Gibbs sampling, and parallel updating according to the sampling results. The weights and bias values of each neuron are used as initial training parameters to supervise the deep confidence neural network model, and the trained deep confidence neural network model is used for classification and recognition. This application uses multi-threaded parallel Gibbs sampling and updates the weights and bias values of each neuron in parallel, which brings the advantage of parallel algorithm into full play and improves the operation speed of the system.

【技术实现步骤摘要】
一种分类方法及装置、计算机可读存储介质
本专利技术涉及计算机
，具体涉及一种分类方法及装置、计算机可读存储介质。
技术介绍
随着各行业数据的迅速增长和数据库、数据分析技术的不断发展，用于发现事先未知规则和联系的机器学习和数据挖掘技术已经用于市场分析、工业生产、金融、科学研究、Web信息分析以及工程诊断等领域，并取得较好效果。作为主要的数据分析模式，分类算法主要适用于预测分类标号或离散值，属监督性学习问题，通常先训练(用训练数据来训练模型，生成模型参数)再分类(用测试数据产生分类结果)，常用的分类算法包括决策树、贝叶斯、支持向量机、神经网络等。深度学习可基于原始数据分析并发现数据的分布式特征表示，优点是用特征学习和分层特征提取高效算法替代手工获取特征，近些年引起了更广泛的关注。但是，现有的数据挖掘算法应用于海量数据的处理速度和输入/输出(Input/output，I/O)瓶颈一直存在着限制，应用并行运算可改善这些问题。图形处理器(GraphicsProcessingUnit，GPU)作为一种重要的并行加速方式，正被广泛的应用于深度学习中。CUDA(ComputeUnifiedDeviceArchitecture)和OpenMP(OpenMulti-Processing)被用于基于神经网络的文本检测系统，可在单指令流下同时处理多个数据流，提高了GPU存储空间的利用率，局限是数据并行方式没有发挥算法并行的优势。国内外互联网公司为深度学习的研究搭建了各种GPU集群，可在多台GPU服务器上进行神经网络模型的训练，但设备规模较大，成本较高。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种分类方法及装置、计算机可读存储介质，能够提高系统的运算速度。为了达到本专利技术目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种分类方法，包括：将特征数据输入预先建立的深度置信神经网络模型；通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；利用训练好的深度置信神经网络模型进行分类识别。进一步地，所述通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值，包括：并行吉布斯抽样，同时抽取显层上每个神经元的值，计算每个隐层神经元被显层神经元激活的概率值：其中i∈[0,M],j∈[0,N]，v为显层数据值，h为隐层数据值，M为显层神经元个数，N为隐层神经元个数；W为权重，b为显层偏置值，c为隐层偏置值；通过隐层h(0)重构显层v(1)，再次并行吉布斯抽样，计算显层神经元被隐层神经元激活的概率值：通过显层v(1)重构隐层h(1)，再次并行吉布斯抽样，计算隐层神经元被显层神经元激活的概率值：并行更新每个神经元之间的权重以及偏置值：其中，η为预设的学习率。进一步地，所述将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练，包括：根据反向传播算法，对所述深度置信神经网络模型中的深度BP神经网络进行有监督调优训练；采用梯度下降算法迭代更新各层的权重及偏置值，直到各层的权重及偏置值达到最优化。进一步地，所述方法之前还包括：获取传感器采集的数据，对获取的数据经过信号处理得到特征数据。根据权利要求4所述的分类方法，其特征在于，所述对获取的数据经过信号处理得到特征数据，包括：将获取的数据按时序加窗划分为多个数据块；通过多线程对划分出的多个数据块进行并行特征提取，并将各个线程提取的特征按类别进行合并，得到合并后的特征数据。进一步地，当通过多个多处理器(MP)执行所述多线程时，相同MP内部的多线程之间通过共享内存进行数据通信；不同MP之间通过全局内存进行数据通信。本专利技术实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的分类方法的步骤。本专利技术实施例还提供了一种分类装置，包括输入单元、训练单元和分类单元，其中：输入单元，用于将特征数据输入预先建立的深度置信神经网络模型；训练单元，用于通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；分类单元，用于利用训练好的深度置信神经网络模型进行分类。进一步地，所述训练单元的通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值，包括：并行吉布斯抽样，同时抽取显层上每个神经元的值，计算每个隐层神经元被显层神经元激活的概率值：其中i∈[0,M],j∈[0,N]，v为显层数据值，h为隐层数据值，M为显层神经元个数，N为隐层神经元个数；W为权重，b为显层偏置值，c为隐层偏置值；通过隐层h(0)重构显层v(1)，再次并行吉布斯抽样，计算显层神经元被隐层神经元激活的概率值：通过显层v(1)重构隐层h(1)，再次并行吉布斯抽样，计算隐层神经元被显层神经元激活的概率值：并行更新每个神经元之间的权重以及偏置值：其中，η为预设的学习率。进一步地，所述训练单元的将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练，包括：根据反向传播算法，对所述深度置信神经网络中的深度BP神经网络进行有监督调优训练；采用梯度下降算法迭代更新各层的权重及偏置值，直到各层的权重及偏置值达到最优化。本专利技术的技术方案，具有如下有益效果：本专利技术提供的分类方法及装置、计算机可读存储介质，通过多线程并行吉布斯抽样以及并行更新每个神经元之间的权重以及偏置值，发挥了算法并行的优势，提高了系统的运算速度。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例的一种分类方法的流程示意图；图2为本专利技术实施例的一种开放并行计算异构架构PHM系统层次结构示意图；图3为本专利技术实施例的一种特征提取并行运算流程示意图；图4为本专利技术实施例的一种特征提取并行计算GPU方法示意图；图5为相关技术中的受限波兹曼机简单结构示意图；图6为本专利技术实施例的深度置信网络(DeepBeliefNets，DBN)并行运算流程图；图7为本专利技术实施例的DBN结构原理示意图；图8为本专利技术第一实施例的一种分类装置的结构示意图；图9为本专利技术第二实施例的一种分类装置的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。如图1所示，根据本专利技术的一种分类方法，包括如下步骤：步骤101：将特征数据输入预先建立的深度置信神经网络模型；本实施例中，所述方法之前还包括：获取传感器采集的数据，对获取的数据经本文档来自技高网...

【技术保护点】
1.一种分类方法，其特征在于，包括：将特征数据输入预先建立的深度置信神经网络模型；通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；利用训练好的深度置信神经网络模型进行分类识别。

【技术特征摘要】
1.一种分类方法，其特征在于，包括：将特征数据输入预先建立的深度置信神经网络模型；通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；利用训练好的深度置信神经网络模型进行分类识别。2.根据权利要求1所述的分类方法，其特征在于，所述通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值，包括：并行吉布斯抽样，同时抽取显层上每个神经元的值，计算每个隐层神经元被显层神经元激活的概率值：其中i∈[0,M],j∈[0,N]，v为显层数据值，h为隐层数据值，M为显层神经元个数，N为隐层神经元个数；W为权重，b为显层偏置值，c为隐层偏置值；通过隐层h(0)重构显层v(1)，再次并行吉布斯抽样，计算显层神经元被隐层神经元激活的概率值：通过显层v(1)重构隐层h(1)，再次并行吉布斯抽样，计算隐层神经元被显层神经元激活的概率值：并行更新每个神经元之间的权重以及偏置值：其中，η为预设的学习率。3.根据权利要求1所述的分类方法，其特征在于，所述将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练，包括：根据反向传播算法，对所述深度置信神经网络模型中的深度BP神经网络进行有监督调优训练；采用梯度下降算法迭代更新各层的权重及偏置值，直到各层的权重及偏置值达到最优化。4.根据权利要求1所述的分类方法，其特征在于，所述方法之前还包括：获取传感器采集的数据，对获取的数据经过信号处理得到特征数据。5.根据权利要求4所述的分类方法，其特征在于，所述对获取的数据经过信号处理得到特征数据，包括：将获取的数据按时序加窗划分为多个数据块；通过多线程对划分出的多个数据块进行并行特征提取，并将各个线程提取的特征按类别进行合并，得到合并后的特征数据。6.根据权利要求5所述的分类方法，其特征在于，当...

【专利技术属性】
技术研发人员：凌茵，沈毅，
申请(专利权)人：北京旋极信息技术股份有限公司，
类型：发明
国别省市：北京,11