一种新的大数据分析算法制造技术

技术编号:15650014 阅读:173 留言:0更新日期:2017-06-17 02:56
本发明专利技术公开了一种新的大数据分析算法,包括如下步骤:从数据库中抽取数据,并采用对应的分类规则对抽取的数据进行离散化处理;从所获取的数据库中抽取数据组成训练集;用所得的训练集训练哈希函数;对数据库中还没得到二进制代码的实例进行二进制编码;去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;消除数据中的不一致对象和冗佘对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象;确定神经元网络模型。本发明专利技术能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高。

【技术实现步骤摘要】
一种新的大数据分析算法
本专利技术网络
,具体涉及一种新的大数据分析算法。
技术介绍
随着科技进步和社会经济水平的发展,人们生活进入数据化时代,人际交往可以经各种数据化信息表达,生活和工作的方方面面也可以实现数据化。为了切实提高用户使用体验,对于这些用户数据的存储、处理和分析显而成为关键。此类数据量极大,且数据完整度低、模糊、随机、含有多种无效信息(例如噪声),如何快速有效的对数据进行处理分析成为目前业内研究的热点。神经网络是通过网络中各连接权值的改变,实现对信息的处理和存储,在神经网络模型中,每个神经元既是信息存储单元,也是信息的处理单元,能够实现信息存储和处理的合二为一,由这些神经元构成的网络模型在每个神经元的共同作用下,完成对输入模式的识别与记忆,具有大规模并行处理的能力。。
技术实现思路
为解决上述问题,本专利技术提供了一种新的大数据分析算法,能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点。为实现上述目的,本专利技术采取的技术方案为:一种新的大数据分析算法,包括如下步骤:S1、从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;S2、从步骤S1所获取的数据库中抽取数据组成训练集;S3、用步骤S2所得的训练集训练哈希函数;S4、对数据库中还没得到二进制代码的实例进行二进制编码;S5、去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;S6、消除数据中的不一致对象和冗余对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象S7、确定神经元网络模型;S8、训练神经元网络模型,并通过运行算法实现数据分析处理;S9、对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。本专利技术具有以下有益效果:能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点。具体实施方式为了使本专利技术的目的及优点更加清楚明白,以下结合实施例对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。本专利技术实施例提供了一种新的大数据分析算法,包括如下步骤:S1、从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;S2、从步骤S1所获取的数据库中抽取数据组成训练集;S3、用步骤S2所得的训练集训练哈希函数;S4、对数据库中还没得到二进制代码的实例进行二进制编码;S5、去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;S6、消除数据中的不一致对象和冗余对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗余对象为条件属性相同而决策属性也相同的对象S7、确定神经元网络模型;S8、训练神经元网络模型,并通过运行算法实现数据分析处理;S9、对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。本具体实施能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点。以上所述仅是本专利技术的优选实施方式,应当指出,对于本
的普通技术人员来说,在不脱离本专利技术原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网
...

【技术保护点】
一种新的大数据分析算法,其特征在于,包括如下步骤:S1、从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;S2、从步骤S1所获取的数据库中抽取数据组成训练集;S3、用步骤S2所得的训练集训练哈希函数;S4、对数据库中还没得到二进制代码的实例进行二进制编码;S5、去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;S6、消除数据中的不一致对象和冗佘对象,其中不一致对象是指条件属性相同而决策属性不同的对象,冗佘对象为条件属性相同而决策属性也相同的对象;S7、确定神经元网络模型;S8、训练神经元网络模型,并通过运行算法实现数据分析处理;S9、对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。

【技术特征摘要】
1.一种新的大数据分析算法,其特征在于,包括如下步骤:S1、从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;S2、从步骤S1所获取的数据库中抽取数据组成训练集;S3、用步骤S2所得的训练集训练哈希函数;S4、对数据库中还没得到二进制代码的实例进行二进制编码;S5、去掉不必要的条件属性,从而分析所得到约简中的条...

【专利技术属性】
技术研发人员:姜欣
申请(专利权)人:上海渤元信息科技有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1