一种社交数据监控系统技术方案

本发明专利技术公开了一种社交数据监控系统，其包括：ES单元，数据存储和搜索；收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；Grafana展示单元，通过Grafana显示数据；和Web展示单元，通过网页展示数据。

A social data monitoring system

The invention discloses a social data monitoring system, which comprises a ES unit, data storage and search; collector data acquisition unit, through the API platform to collect all the data, and the collected data to the ES unit; SDK data acquisition unit, using internal data collected by SDK, and collected the data stored in the ES unit; Grafana display unit, through the Grafana display data; and Web display unit, display data through the web page.

【技术实现步骤摘要】
一种社交数据监控系统
本专利技术涉及互联网安全领域，特别是一种社交数据监控系统。
技术介绍
随着社交网络、移动互联网的大规模发展，人们能更方便的通过手机获取资讯、发表言论、沟通交流。特别是在社交网络繁荣之后，每个网民都可以创造信息，使得网络中的信息量出现爆发式的增长，数据来源也呈现出多样化的趋势，逐步分化出微博、微信、电商、论坛、问答等越来越多的来源。社交数据越来越多，形式和平台越来越丰富，在提供数据给大量的品牌客户进行分析的同时，系统内部如何及时准确地监控这些数据，以及监控系统自身稳定成了一个关键点。
技术实现思路
现有技术中，系统复杂度较高，搭建和实现难度较大，偏向于瞬时的数据监控与报警。虽然有些技术涉及数据持久化和图表化展现，但并没有技术方案涉及快速分析和展现大规模的历史数据。就目前来看，现有技术不具备快速分析和快速查看历史数据的特点。有鉴于此，专利技术人在为不同的数据来源搭建特有的数据获取平台的同时，搭建了社交数据监控系统，用于提高这些平台的稳定性，及早发现问题，帮助排查问题，以及验证问题解决。根据本专利技术的第一方面，本专利技术提供了一种社交数据监控系统，其包括：ES单元，数据存储和搜索；收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；监控单元，其调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示。优选地，所述收集器数据采集单元采集的数据包括系统信息和设备信息。所述设备信息包括但不限于：网卡信息、CPU信息、内存、硬盘等。优选地，所述SDK数据采集单元采集的数据包括任务信息。所述任务信息包括但不限于：监控业务的吞吐量、任务队列长度、任务延时等。优选地，所述SDK数据采集单元包括采样模块，按照调用量采样收集数据。优选地，所述SDK数据采集单元包括数据整理模块，保证数据格式统一。优选地，所述SDK数据采集单元包括聚合模块，对采集到的数据进行聚合处理。优选地，所述监控单元包括报警模块，当所监控的数据超过阈值时，启动报警。优选地，所述报警模块包括邮件报警和/或电话报警。优选地，所述Grafana展示单元也可包括报警模块，在报警模块中设定阈值，当数据超过阈值时，通过Grafana展示单元的UI组件渲染展示。优选地，所述社交数据来自：微博、微信、QQ、BBS、贴吧、论坛、人人网、知乎中的一种或多种。附图说明通过阅读参考一下附图所作的对非限制性实施例所作的详细描述，本专利技术的其他特征、目的和优点将会变得更明显：图1是根据本专利技术的一些实施方式的社交数据监控系统的示意图。图2是根据本专利技术的另一些实施方式的社交数据监控系统的示意图。图3为在本专利技术的一些具体实施例中利用Web展示单元展示监控数据的示意图。图4a-图4c在本专利技术的一些具体实施例中利用Grafana展示单元展示监控数据的示意图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生/混淆，对于本领域公知的一些技术特征未进行描述。在本专利技术中，术语“数据获取平台”是指获取数据的平台，通过程序和接口自动浏览网页数据，整合数据并存储的装置。本专利技术中所监控的数据包括但不限于分析数据、跟踪数据和全局数据。术语“Grafana”是一个开源的可视化监控数据展现平台，具有功能齐全的度量仪表盘和图形编辑器，支持Graphite，InfluxDB、OpenTSDB和ElasticSearch，具有灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式。术语“API”(ApplicationProgrammingInterface)，应用程序编程接口，是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。术语“SDK”(SoftwareDevelopmentKit，软件开发工具包)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。术语“ES”(ElasticSearch)一个由Elastic公司开发的分布式系统搜索架构，能够存储大量数据用于业务搜索。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时联机分析处理(OLAP)，经典的如ELK栈，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上差异较大，在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴，数据量级和集群规模更大，在管理方面也更有挑战。在本专利技术应用的场景中，社交数据平台多，需要采集的不同平台也比较多，各个平台原始数据结构不同，需要做适配。有些平台的配置极低，专利技术人发现使用ELK栈(Elasticsearch、Logstash和Kibana)进行处理时，资源占用太大，时常导致服务器无法工作，系统可靠性降低。由于社交数据对实时性有很高要求，所以监控的时候如果有问题要尽快处理，防止系统问题导致设计数据延迟。在此情况下，专利技术人在采集端，利用收集器数据采集单元和SDK数据采集单元适配不同的平台，提高系统健壮性。收集器数据采集单元提供http接口，存数据很灵活，如果有新的存储内容，直接在请求URL上变动即可。收集器数据采集单元对接各种数据平台，采集系统信息和/或设备信息，所述设备信息包括但不限于：网卡信息、CPU信息、内存、硬盘等。SDK数据采集单元是将API采集的HTTP请求，按照业务内容进行封装。SDK数据采集单元采集的数据包括任务信息。所述任务信息包括但不限于：监控业务的吞吐量、任务队列长度、任务延时等。所述SDK数据采集单元采集的数据种类根据需要都可以封装在内，因此SDK数据采集单元的采集能力很强，种类多样。所述SDK数据采集单元包括数据整理模块，内部逻辑会对数据进行整理，保证数据格式统一。在本专利技术的一些应用场景中，某些过于频繁的采集点拖慢性能，本专利技术的SDK数据采集单元包括采样模块，按照调用量采样收集数据。本专利技术的SDK数据采集单元包括聚合模块，数据在采集程序内部聚合处理完之后才发送，这样会减少很多内存。ElasticSearch单元接收收集器数据收集单元和SDK数据收集单元收集的数据。并在内部进行处理和存储，以待后续分析时候使用。Elasticsearch是一个基于Lucene的分布式搜索服务器，它存储json格式的文档数据，有基于RESTful的操作接口，利用Elasticsearch可以方便的在任何Web应用中集成搜索应用，另外它有出色的聚合功能(aggregation)能轻松的对数据进行统计分析。在联机分析处理(OLAP)中，ElasticSearch支持多种聚合统计功能，还和YARN、Hadoop、Hive、Spark、Pig、Flume等大数据框架兼容。比如：可以将本文档来自技高网...

【技术保护点】
一种社交数据监控系统，其包括：ES单元，数据存储和搜索；收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；监控单元，其调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示；Grafana展示单元，通过Grafana显示数据；Web展示单元，通过网页展示数据。

【技术特征摘要】
1.一种社交数据监控系统，其包括：ES单元，数据存储和搜索；收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；监控单元，其调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示；Grafana展示单元，通过Grafana显示数据；Web展示单元，通过网页展示数据。2.根据权利要求1所述的系统，其中所述收集器数据采集单元采集的数据包括系统信息和设备信息。3.根据权利要求1所述的系统，其中所述SDK数据采集单元采集的数据包括任务信息。4.根据权利要求1所述的系统，其中所述SDK数据采集单元包括采样模块，按照调用...

【专利技术属性】
技术研发人员：杨博，
申请(专利权)人：上海精数信息科技有限公司，
类型：发明
国别省市：上海,31