一种乱序数据流中基于误差反向传播的模板匹配算法，针对大数据中乱序数据流难以在短时间内获取有价值的信息的问题，提出了一个改进型匹配模型，对数据进行预处理；提出了动态自适应调整机制，重新定义了性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数。根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板。设定好匹配模板之后，同时运用自适应调整机制修正阈值、连接权值和学习指数。仿真结果表明，算法在精度以及运行速度上有着明显的提升，并具有较好的稳定性。
【技术实现步骤摘要】
【专利摘要】一种乱序数据流中基于误差反向传播的模板匹配算法，针对大数据中乱序数据流难以在短时间内获取有价值的信息的问题，提出了一个改进型匹配模型，对数据进行预处理；提出了动态自适应调整机制，重新定义了性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数。根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板。设定好匹配模板之后，同时运用自适应调整机制修正阈值、连接权值和学习指数。仿真结果表明，算法在精度以及运行速度上有着明显的提升，并具有较好的稳定性。【专利说明】ー种乱序数据流中基于误差反向传播的模板匹配方法
本专利技术是一种在乱序数据流中基于误差反向传播的模板匹配方法，属于大数据的模板匹配算法领域。
技术介绍
大数据其所涉及的数据量规模巨大，无法通过目前主流软件工具在合理时间内获得乱序数据中用户所需的有价值信息。传统的数据处理模式将采集到的数据先存储起来，然后用户主动进行查询，得到最終答案，而对于乱序数据流这种方式并不合适。因此，为了对数据及时的进行存储和计算，模板匹配机制被广泛运用于乱序数据流中。但目前大部分模板匹配机制是根据事件发生的先后顺序进行匹配，这就使得来自不同数据源的事件由于网络质量不稳定等原因而导致事件不按照时间顺序到达处理节点，进而造成模板匹配的精确度不高，无法应用于实时性较高的场合，并给缓存单元带来极大的计算压力。误差反向传播(Error Back Propagation, BP)算法是ー种有效的学习匹配算法，能进行大規模并行信息处理，并用数据代表简单事件，进行匹配操作，能在短时间内获得较高的算法收敛效率。但传统BP算法的学习模板往往是固定不变的，在数据量增加的情况下，算法性能会变差，这样就使得算法的运行速度和稳定性之间产生很大的矛盾。
技术实现思路
技术问题:本专利技术针对上述问题，提出ー种乱序数据流中基于误差反向传播的模板匹配方法，该方法对BP算法的隐层与输出层的连接权值进行了修正，同时利用梯度比值改进学习指数。将改进后的BP算法运用到模板匹配机制中，来加速匹配过程中的算法速度和精度，并提高算法的稳定性。`技术方案:本专利技术的ー种乱序数据流中基于误差反向传播的模板匹配方法为:基本思想:本专利技术针对大数据中乱序数据流难以在短时间内获取有价值的信息的问题，提出了一个改进型匹配模型，对数据进行预处理；提出了动态自适应调整机制，重新定义了性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数。根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板。设定好匹配模板之后，同时运用自适应调整机制修正阈值、连接权值和学习指数。模型定义:定义1:模板匹配模型:BP网络的非线性映射特性适用于乱序数据流的非结构性映射，而且可以利用算法自学习功能，通过对样本的分析辨识出有价值的数值序列。在乱序数据流中，我们可利用数值来代替事件，以此给BP网络的參数修正和自适应匹配创造条件。而网络的模型是影响网络学习性能的主要因素之一，通常根据经验人工获取。对于匹配模型未知的乱序数据流序列，数据是随时间而不断变化的，使用静态匹配模板显然不能完全满足用户的不同时刻段的不同需求，因此将输入层样本输入设为U1, X2X3，…，xk，I ≤ k≤n)，n为输入层节点个数，输出层样本输出为も=JXh >，其中f (Xk)表示网络的输出函数。网络通过对样本学习训练，调整各神经元之间的连接权值来实现对模型參数的逼近，同时加入遗忘因子，使得网络在连接权值调整的同时也进行网络结构的学习，从而实现对模板的动态建模和參数辩识。在改进型模型中我们在网络输入层对输入样本作了预处理，对乱序数据流进行归ー化操作，并用公式(I)事先计算好误差项。隐层误差计算采用的Sigmoid作用函数,在闭区间上的S型函数(Sigmoid函数)表达式及其导数定义为公式(2)。其中\决定Sigmoid函数的压缩程度，为避免陷入局部最小一般取I。【权利要求】1.，其特征在于对误差反向传播进行改进修正，并将改进后的BP算法运用到模板匹配机制中，提出一个改进型匹配模型，对数据进行预处理；提出神经元优化机制，重新定义神经元计算公式，加入相关系数和离散度；提出动态自适应调整机制，重新定义性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数；根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板；设定好匹配模板之后，运用神经元优化机制，动态调整神经元个数，自动删除无效冗余节点；同时运用自适应调整机制修正阈值、连接权值和学习指数；其具体步骤如下: 1)利用随机发生器产生乱序数据流，在输入层读取数据，并在隐层中设定可接受误差范围； 2)动态设定匹配模板，初始化各层参数，在输入层对数据流进行预处理； 3)进行模板匹配，计算各节点误差；若数据在误差范围之内则视为匹配成功，直接输出结果；若不在误差范围之内，则视为此次匹配失败，修正连接权值、阈值及学习指数，来进行下次匹配，再反向传播至隐层进行迭代计算； 4)匹配结束后，输出输出层的匹配结果。2.根据权利要求书I所述的乱序数据流中基于误差反向传播的模板匹配算法，其特征在于提出一个改进型匹配模型，对数据进行预处理，具体描述如下: BP网络的非线性映射特性适用于乱序数据流的非结构性映射，而且可以利用算法自学习功能，通过对样本的分析辨识出有价值的数值序列；在乱序数据流中，利用数值来代替事件，以此给BP网络的参数修正和自适 应匹配创造条件；而网络的模型是影响网络学习性能的主要因素之一，通常根据经验人工获取；对于匹配模型未知的乱序数据流序列，数据是随时间而不断变化的，使用静态匹配模板显然不能完全满足用户的不同时刻段的不同需求，因此将输入层样本输入设为(X1, X2X3,…，xk, I≤k≤η) ,η为输入层节点个数，输出层样本输出为毛=/<Χ)，其中f (xk)表示网络的输出函数，网络通过对样本学习训练,调整各神经元之间的连接权值来实现对模型参数的逼近，同时加入遗忘因子，使得网络在连接权值调整的同时也进行网络结构的学习，从而实现对模板的动态建模和参数辩识；在改进型模型中在网络输入层对输入样本作了预处理，对乱序数据流进行归一化操作，并用公式(I)事先计算好误差项，隐层误差计算采用的Sigmoid作用函数,在闭区间上的Sigmoid函数表达式及其导数定义为公式(2)，其中λ决定Sigmoid函数的压缩程度，为避免陷入局部最小一般取Iek=xk-hO) I f(x) =——:- *(1 + e.1X) (2)fix) = Af(X)Il-f(x)] 假设网络中第j个节点输出为将其表示为公式(3) η U) = ^ (%h(Si k/ = O, I,…,BPJ 1=1式中Wu为连接权值；式中Ii(Si)为隐层的第i个神经元的输出，其中Si为其输入和，表示为公式(4) 3.根据权利要求书I所述的乱序数据流中基于误差反向传播的模板匹配算法，其特本文档来自技高网...
【技术保护点】
一种乱序数据流中基于误差反向传播的模板匹配方法，其特征在于对误差反向传播进行改进修正，并将改进后的BP算法运用到模板匹配机制中，提出一个改进型匹配模型，对数据进行预处理；提出神经元优化机制，重新定义神经元计算公式，加入相关系数和离散度；提出动态自适应调整机制，重新定义性能均方差函数、输出层节点误差项、隐层节点误差项、阈值、连接权值、学习指数；根据匹配模型未知的乱序数据流以及用户的不同需求，确定所需的匹配模板，并对数据流进行预处理，同时加入遗忘因子，动态调整匹配模板；设定好匹配模板之后，运用神经元优化机制，动态调整神经元个数，自动删除无效冗余节点；同时运用自适应调整机制修正阈值、连接权值和学习指数；其具体步骤如下：1）利用随机发生器产生乱序数据流，在输入层读取数据，并在隐层中设定可接受误差范围；2）动态设定匹配模板，初始化各层参数，在输入层对数据流进行预处理；3）进行模板匹配，计算各节点误差；若数据在误差范围之内则视为匹配成功，直接输出结果；若不在误差范围之内，则视为此次匹配失败，修正连接权值、阈值及学习指数，来进行下次匹配，再反向传播至隐层进行迭代计算；4）匹配结束后，输出输出层的匹配结果。...
【技术特征摘要】
【专利技术属性】
技术研发人员：王堃，卓林超，孙雁飞，吴蒙，郭篁，高会，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。