一种大数据处理方法技术

技术编号:21628450 阅读:36 留言:0更新日期:2019-07-17 10:56
本发明专利技术提供一种大数据处理方法,其特征在于,包括如下步骤:步骤1:采集数据;步骤2:对采集到的数据进行降噪处理;步骤3:将数据分类存储至数据库;步骤4:将数据库的数据共享至数据仓库;步骤5:用户根据关键词对数据仓库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。本发明专利技术结合了现有的移动网络,能够获取较完整的原始数据,同时通过多属性挖掘,有效提高数据利用率。

A Large Data Processing Method

【技术实现步骤摘要】
一种大数据处理方法
本专利技术涉及数据处理

,具体涉及一种大数据处理方法。
技术介绍
随着社会发展和经济进步,移动通信终端以及一些智能家居被广泛的使用,移动通信终端承载了个体之间的通信沟通职能,在此过程中移动终端采集、上传并存储大量用户使用信息。大数据技术或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化的处理,换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键在于提高对数据的“加工能力”,通过加工数据实现增值。如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘,显而易见,数据挖掘时大数据技术的关键。
技术实现思路
专利技术目的:针对上述现有技术中的不足,本专利技术提供一种大数据处理方法,结合了现有的移动网络,能够获取较完整的原始数据,同时通过多属性挖掘,有效提高数据利用率。技术方案:为实现上述目的,本专利技术采用如下技术方案:一种大数据处理方法,包括如下步骤:步骤1:采集数据;步骤2:对采集到的数据进行降噪处理;步骤3:将数据分类存储至数据库;步骤4:将数据库的数据共享至数据仓库;步骤5:用户根据关键词对数据仓库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。优选的,步骤1中,所述数据包括用户的地理位置信息和当前用户的使用习惯等。优选的,还包括离散化处理步骤,将降噪处理后的数据信息进行离散化处理,方便存储和进一步分析。优选的,还包括数据抽取步骤,将经步骤3处理后的数据进行抽取,获得符合数据库格式的数据,并将抽取整理后的数据发送到数据库中,数据库将抽取整理后的数据分析和挖掘,获得有价值的数据。优选的,步骤3中,所述数据库的数量大于1。有益效果:本专利技术提高了从数据库中提取信息的效率,最终数据通过移动终端输出,极大方便了使用者的使用。结合了现有的移动网络,能够获取较完整的原始数据,同时通过多属性挖掘,有效提高数据利用率。具体实施方式下面结合实施例对本专利技术做更进一步的解释。本专利技术提供一种大数据处理方法,包括如下步骤:步骤1:采集数据;采集用户的地理位置信息以及当前用户的使用习惯等用户数据。步骤2:对采集到的数据进行降噪处理;降噪处理后进行离散化处理,将降噪处理后的数据信息进行离散化处理,方便存储和进一步分析。步骤3:按照不同的标准将数据分类存储;数据分类存储后对数据进行抽取,获得符合数据库格式的数据,并将抽取整理后的数据发送到数据库中,数据库将抽取整理后的数据分析和挖掘,获得有价值的数据。从不同角度对输入的信息进行多方面挖掘,对挖掘结果进行汇总,对汇总后的数据进行融合信息分析处理。步骤4:将数据共享至数据库;数据库存储用户的业务数据,不同的业务可以存放到不同的数据库上,数据库可以有多个,数据仓库通过数据抽取装置与多个数据库相连接,数据抽取装置将多个数据库的数据内容,进行抽取,获得符合数据仓库的数据,并将抽取整理后的数据发送到数据仓库中,数据仓库根据分析和挖掘算法,将抽取整理后的数据分析和挖掘,获得有价值的数据。步骤5:用户根据关键词对数据库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。根据下述实施例,可以更好的理解本专利技术。然而,本领域的技术人员容易理解,实施例所描述的具体的物料配比、工艺条件及其结果仅用于说明本专利技术,而不应当也不会限制权利要求书中所详细描述的本专利技术。本文档来自技高网...

【技术保护点】
1.一种大数据处理方法,其特征在于,包括如下步骤:步骤1:采集数据;步骤2:对采集到的数据进行降噪处理;步骤3:将数据分类存储至数据库;步骤4:将数据库的数据共享至数据仓库;步骤5:用户根据关键词对数据仓库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。

【技术特征摘要】
1.一种大数据处理方法,其特征在于,包括如下步骤:步骤1:采集数据;步骤2:对采集到的数据进行降噪处理;步骤3:将数据分类存储至数据库;步骤4:将数据库的数据共享至数据仓库;步骤5:用户根据关键词对数据仓库中的信息进行检索,对已经检索出来的信息,通过管控平台进行可视化展示;步骤6:用户确定找到自己需要的数据信息时,数据最终通过移动终端输出。2.根据权利要求1所述的一种大数据处理方法,其特征在于,步骤1中,所述数据包括用户的地理位置信息和当前用户的使用习...

【专利技术属性】
技术研发人员:王立钧吴勇
申请(专利权)人:南京唯实科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1