一款Web端基于大数据技术的可视化数据处理方法技术

本发明专利技术公开了一款Web端基于大数据技术的可视化数据处理方法，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器；S5：自动预警，通过第三平台提供短信预警，javamail实现邮件预警；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。本发明专利技术主要针对一款Web端基于大数据技术的可视化数据处理方法，本发明专利技术能够全网抓取资讯数据，实现自动预警与数据可视化，可对数据进行较好的分析与统计，提供工作效率。

A visual data processing method based on big data technology in Web

【技术实现步骤摘要】
一款Web端基于大数据技术的可视化数据处理方法
本专利技术涉及数据处理
，具体为一款Web端基于大数据技术的可视化数据处理方法。
技术介绍
舆情是指在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，作为主体的民众对作为客体的社会管理者、企业、个人及其他各类组织及其政治、社会、道德等方面的取向产生和持有的社会态度，社会舆情映射到互联网环境中产生了网络舆情，随着因特网在全球范围内的蓬勃发展与应用，互联网环境中的的信息数据也呈几何级数的速度迅速膨胀，而在当今这个大数据时代，不仅给网络舆情的相关工作带来了挑战，同时也带来了机遇，大数据成为了舆情研究的利器，与此同时，数据之间存在着封闭性与关系断裂性会使得我们在整理数据时不好进行统计，也无法对敏感新闻预警进行实时预警，传统的数据跟踪搜集分析手段已经对此力不从心，这就对数据分析的技术手段提出了更高的要求。
技术实现思路
本专利技术的目的在于提供一款Web端基于大数据技术的可视化数据处理方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一款Web端基于大数据技术的可视化数据处理方法，包括以下步骤：S1：数据本文档来自技高网...

【技术保护点】
1.一款Web端基于大数据技术的可视化数据处理方法，其特征在于，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力，支持常规的折线图、柱状图、散点图、饼图、K线图，并且支持图与图之间的混搭；jfreechart使用JAVA语言来实现可视化；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入，利用关系型数据库mysql来存储数据，并利用分区，读写分离等技术对应大数据量处理需求；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服...

【技术特征摘要】
1.一款Web端基于大数据技术的可视化数据处理方法，其特征在于，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力，支持常规的折线图、柱状图、散点图、饼图、K线图，并且支持图与图之间的混搭；jfreechart使用JAVA语言来实现可视化；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入，利用关系型数据库mysql来存储数据，并利用分区，读写分离等技术对应大数据量处理需求；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器，来做关系数据库的补充，高速缓存数据，为数据查询统计并数据可视化提供性能保障；S5：自动预警：通过词库中关键词，及一系列规则匹配符合的新闻资讯，通过第三平台提供短信预警，javamail实现邮件预警；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。2.根据权利要求1的透明拉力胶的制备方法，其特征在于：在S1中，数据搜索可实现资讯数据的检索，添加，更新和删除，以及文本分析，标记和过滤，各类复杂的搜索查询和聚类查询分析功能。3.根据权利要求1的透明拉力胶的制备方法，其特征在于：在S2中，数据可视...

【专利技术属性】
技术研发人员：张伟，刘宇，洪佳琪，段萌，
申请(专利权)人：上海胜泰信息技术有限公司，
类型：发明
国别省市：上海,31