并行化分布式网络舆情数据管理方法及系统技术方案

本发明专利技术提出一种并行化分布式网络舆情数据管理方法及系统，其中该方法包括：对互联网数据进行抓取；对互联网数据进行抽取；存储和展示抓取和抽取得到的互联网舆情数据；以及对互联网舆情数据的索引和查询进行优化。本发明专利技术的方法和系统具有效率较高的优点。

【技术实现步骤摘要】

本专利技术属于计算机应用
和信息
，特别涉及一种并行化分布式网络舆情数据管理方法及系统。
技术介绍
随着互联网应用的广泛普及，数据的海量性在各方面的体现越来越突出，从网络流量数据，到移动通信用户行为记录；从搜索引擎的日志数据，到银行的客户操作记录，等等。这些海量信息与生俱来的数字化与网络化性质，人们在共享海量网络信息的同时，也面临着海量数据存储、访问和管理问题。以往当人们需要存储结构化数据时，数据库通常是首选的解决方案，在数据规模不大时，其可以提供便捷、稳定的服务。然而随着数据量的增长，特别是当Web时代来临后，针对动辄TB级的庞大数据，海量数据的存储和访问成为了系统设计的瓶颈问题。·
技术实现思路
本专利技术旨在解决海量数据的存储和访问数据库设计瓶颈问题，并对数据库及数据操作进行优化设计。本专利技术的一个目的在于提出一种效率较高的并行化分布式网络舆情数据管理方法。本专利技术的并行化分布式网络舆情数据管理方法，包括对互联网数据进行抓取；对所述互联网数据进行抽取；存储和展示抓取和抽取得到的互联网舆情数据；以及对所述互联网舆情数据的索引和查询进行优化。在本专利技术的方法的一个实本文档来自技高网...

【技术保护点】
一种并行化分布式网络舆情数据管理方法，其特征在于，包括：对互联网数据进行抓取；对所述互联网数据进行抽取；存储和展示抓取和抽取得到的互联网舆情数据；以及对所述互联网舆情数据的索引和查询进行优化。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨睿尘，
申请(专利权)人：北京腾逸科技发展有限公司，
类型：发明
国别省市：