一种模式识别的太极编码/决策方法技术

本发明专利技术是一种模式识别的太极编码/决策方法，涉及计算机技术、人工智能、模式识别与信号处理等领域。本发明专利技术方法采用一种五层编码决策网络对输入样本进行特征提取和分类。五层编码决策网络包括：第一编码层为输入原始样本；第二编码层为信息编码层，对原始样本进行熵编码；第三编码层为特征编码层，对信息编码进行维度平衡，通过神经网络的隐藏层提取样本特征编码；第四编码层为模式类编码层，将样本的特征编码进行聚类，输出细分类结果；第五编码层为模式编码层，根据细分类结果输出样本属于每个个体的概率结果。本发明专利技术可以在几乎不损失编码/决策性能的前提下大大提升机器学习的效率，拥有更小的参数规模，消耗更少的计算资源和训练时间。和训练时间。和训练时间。

【技术实现步骤摘要】
一种模式识别的太极编码/决策方法


[0001]本专利技术属于计算机
，涉及人工智能、模式识别与信号处理
，涉及一种模式识别的太极编码/决策方法。

技术介绍

[0002]机器学习技术已经广泛应用于社会生产和生活的方方面面，如语音识别、行人检测、自动驾驶等等。模式识别，也称为模式分类，是指对表征事物或现象的数值、文字和逻辑关系等各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。
[0003]应用计算机对一组事件或过程进行辨识和分类，所识别的事件或过程可以是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象。这些对象与数字形式的信息相区别，称为模式信息。
[0004]模式识别分为有监督的分类(Supervised Classification)和无监督的分类(Unsupervised Classification)两种。二者的主要差别在于，各实验样本所属的类别是否预先已知。
[0005]卷积神经网络(Convolutional Neural Networks,CNN)是实现数字图像识别的主流方法。卷积神经网络仿造生物的视知觉机制构建，具有深度人工神经网络结构，其卷积计算层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如对像素和音频进行学习，实现有稳定的效果且不需要人工设计的特征工程。卷积神经网络具有自动提取特征以及平移不变的特性，因而被大量应用于计算机视觉、自然语言处理等领域。典型的卷积神经网络结构如LeNet、AlexNet、GoogLeNet、VGGNet等。图1是应用于手写数字识别的卷积神经网络LeNet
‑
5的结构(参考文件1：LeCun Y,Bottou L,Bengio Y,et al.Gradient
‑
based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278
‑
2324.)。LeNet
‑
5网络由输入(Input)层、卷积(Convolutions)层、池化层、全连接(Full connection)层等组成，池化层进行下采样(Subsampling)，提取手写数字模式类的主要单元是卷积层。如图1所示，输入图像到卷积层，卷积层由若干个权重矩阵组成，又称为卷积核，卷积核每次滑动一个或多个像素位，每移动一次，卷积核与输入的图像矩阵做卷积操作，卷积操作的输出与偏置参数相加得到一个和，把该和输入激活函数，激活函数的输出称为特征图(Feature Map)，即卷积层提取出来的图像模式类的特征表达。图1中，Output为输出层，Gaussian connection为高斯连接。
[0006]在目前的深度学习领域，以Transformer模型和改进的卷积神经网络Resnet两种模型以及他们的诸多变式最为流行。
[0007]Transformer模型最初应用于NLP(自然语言处理)任务，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。Transformer并未止步于此，2020年，Transformer模型首次被应用到了图像分类任务中并取得了比CNN模型更好的结果。目前，Transformer已经在三大图像问题上——分类、检测和分割，都取得了不错的效
果，在视觉与语言预训练、图像超分、视频修复和视频目标追踪等任务也都取得了不错的成绩。但是，Transformer的成功依赖于在大规模数据集上的预训练。
[0008]Resnet是卷积神经网络的一种变体，它取得了ILSVRC 2015(ImageNet)在图像分类、检测和定位方面的冠军，而且首次超过人类识别的精度，将错误率降到了3.57％。并且是MS COCO2015检测和分割的冠军。但Resnet也依赖大规模的训练数据集和庞大的算力。
[0009]基于Resnet和Transformer的深度学习方案通常基于开源平台。平台结构相对复杂，参数较多，维护也较为复杂，调参工作量通常也很大。
[0010]尽管卷积神经网络在许多模式识别任务上取得了很好的效果，但利用卷积神经网络提取特征时存在一些缺点：
[0011](1)卷积神经网络采用的反向传播算法并非一个高效的算法，卷积神经网络的初始状态参数以及寻优算法的选取会对网络训练造成很大影响，产生过拟合、局部最小值、梯度消失、梯度爆炸等诸多问题。
[0012](2)卷积神经网络提取特征对硬件计算能力的要求较高，为了训练卷积神经网络模型，往往需要投入成百上千台CPU或GPU(图形处理器)并花费数百小时才能完成一次训练，这使得一些模式识别任务的代价十分昂贵。
[0013](3)卷积神经网络在不同尺度下的模式分类能力较弱。图像识别任务中使用卷积操作时，训练样本的尺度需要保持大致相同，否则模型难以收敛。

技术实现思路

[0014]针对现有机器学习模型依赖大量训练样本和需求大量算力的问题，以及模型训练存在收敛困难、超参数调校困难的问题，本专利技术提出了一种新的模式识别的太极编码/决策方法，也可称为太极决策混合方法，在几乎不损失性能的前提下解决了这些问题，所涉及的参数量能够降低两个数量级，降低了计算复杂度，提高了模式分类能量，能进一步提高模式识别、图像分类等机器学习任务的完成效率和识别结果准确性。
[0015]本专利技术的模式识别的太极编码/决策方法，采用一种五层编码决策网络进行特征提取和分类。所述的五层编码决策网络包括：
[0016]第一编码层为输入原始样本；
[0017]第二编码层为信息编码层，对原始样本进行熵编码，输出样本的信息编码；
[0018]第三编码层为特征编码层，对样本的信息编码进行维度平衡，输出样本的特征编码；特征编码使用神经网络训练的方式，通过神经网络的隐藏层提取得到；所述神经网络的输入为样本的信息编码，输出为粗分类结果；
[0019]第四编码层为模式类编码层，将样本的特征编码进行细分类，输出细分类结果；细分类是对每个粗分类类别再分类；
[0020]第五编码层为模式编码层，根据模式类编码层输出的细分类结果，输出样本属于每个个体的概率结果。
[0021]所述第二编码层中，对原始样本进行熵编码具体使用了小波变换的方式进行信息编码，包括：(1)对原始样本的每个通道进行log2N级二维小波变换，获取log2N+1个小波系数矩阵，N为原始样本的数据长度；(2)分别将每个小波系数矩阵归一化；(3)对每个归一化后的小波系数矩阵进行灰度直方图统计，将所有统计值组成一个向量；设样本有m个通道，则
获得一个长度为(log2N+1)*m*255维的向量；(4)对所述向量进行幂次方操作平滑极端值，得到原始样本的信息编码向量。
[0022]相对于现有技术，本专利技术的优点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模式识别的太极编码/决策方法，其特征在于，所述方法预先设置样本的粗分类类别和个体类别，然后获取需要处理的原始样本，输入五层编码决策网络；所述的五层编码决策网络包括五个编码层，如下：第一编码层为输入原始样本；第二编码层为信息编码层，对原始样本进行熵编码，输出样本的信息编码；第三编码层为特征编码层，对样本的信息编码进行维度平衡，输出样本的特征编码；所述的特征编码使用神经网络训练的方式，通过神经网络的隐藏层提取出；所述神经网络的输入为样本的信息编码，输出为粗分类结果；第四编码层为模式类编码层，将样本的特征编码进行细分类，输出细分类结果；所述细分类是对每个粗分类类别再分类；第五编码层为模式编码层，根据模式类编码层输出的细分类结果，输出样本属于每个个体的概率结果。2.根据权利要求1所述的方法，其特征在于，所述的方法，对原始样本使用小波变换的方式进行信息编码，包括：(1)对原始样本的每个通道进行log2N级二维小波变换，获取log2N+1个小波系数矩阵，N为原始样本的数据长度；(2)分别将每个小波系数矩阵归一化；(3)对每个归一化后的小波系数矩阵进行灰度直方图统...

【专利技术属性】
技术研发人员：夏榆滨，王非，刘壮，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：