【技术实现步骤摘要】
基于Elasticsearch的准实时日志数据分析与统计方法
本专利技术涉及Elasticsearch的准实时日志数据分析与统计方法领域，具体来说，涉及基于Elasticsearch的准实时日志数据分析与统计方法。
技术介绍
随着移动互联网、云计算、移动通信、物联网等新兴信息通信技术的飞速发展，导致数据流量爆炸式增长，数据结构也日趋复杂化，信息社会进入了网络化的大数据时代，社交网络、电子商务、移动通信、物联网技术等商业应用产生了交易数据、交互数据、传感数据与日志数据等多样化的数据，这些数据具有海量、类型繁多、增长迅速、价值巨大等特征，同时，又具有很高的复杂性，并且充满变化。如果对海量的数据进行分析处理，将数据中的离散信息进行聚合分析统计，发掘数据的潜在价值，成为了当今时代我们必须面对的问题。本专利技术是基于Elasticsearch(弹性搜索，简称为ES)的实时日志数据分析与统计方法，与该技术相近的就是基于solr的搜索引擎技术，solr目前在实时建立索引时，会产生IO阻塞，实时查询效率较低，而且随着数据量的增加so...
【技术保护点】
1.基于Elasticsearch的准实时日志数据分析与统计方法，其特征在于，包括：/nS1、将Elasticsearch集群进行分布式储存；/nS2、采用Elasticsearch集群进行写数据；/nS3、采用Elasticsearch集群对数据进行读取。/n
【技术特征摘要】
1.基于Elasticsearch的准实时日志数据分析与统计方法，其特征在于，包括：
S1、将Elasticsearch集群进行分布式储存；
S2、采用Elasticsearch集群进行写数据；
S3、采用Elasticsearch集群对数据进行读取。
2.根据权利要求1所述的基于Elasticsearch的准实时日志数据分析与统计方法，其特征在于，所述将Elasticsearch集群进行分布式储存的步骤还包括：
S11、系统访问日志的采集；
S12、将日志通过采集程序采集的所有的边缘的CDN缓存节点保存至输出目录中；
S13、日志数据进入异步队列；
S14、通过日志服务器，将在S102目录中获取的压缩日志文件复制到解压目录；
S15、将压缩日志文件进行解压的同时，读取日志文件内容；
S16、将日志文件进行解压及读取的信息发送到消息队列集群；
S16、通过SPARKSTREAM以五分钟为时间节点进行集群运算。
3.根据权利要求2所述的基于Elasticsearch的准实时日志数据分析与统计方法，其特征在于，所述将日志通过采集程序采集的所有CDN缓存节点保存至输出目录中的步骤还包括：
S121、将日志通过采集程序采集的所有的边缘的CDN缓存节点汇集至日志接收服务器；
S122、将日志接收服务器接收的CDN缓存节点以压缩文件的形式保存至输出目录。
4.根据权利要求2所述的基于Elasticsearch的准实时日志数据分析与统计方法，其特征在于，所述通过SPARKSTREAM以五分钟为时间节点进行集群运算的步骤还包括：
将消息队列中获取的未经处理的原始数据，按照原始日志的时间进行排序、打包及压缩，并以五分钟为一个数据文件存储至HDFS集群中；
其中，所述消息队列可保存三天的数据量；
将待写入Elasticsearch集群的数据使用SPARK进行聚集运算，并依据业务类型的需要，将时间节点中的日志以不同维度进行聚集统计。
5.根据权利要求4所述的基于Elasticsearch的准实时日志数据分析与统计方法，其特征在于，所述采用Elasticsearch集群进行写数据的步骤还包括：
S21、依据业务类型的需要，将待写入Elasticsearch集群的数据进行命名Elasticsearch索引并创建；
S22、将S16中对时间节点的日志进行不同维度的聚集统计的数据对应S21中的索引名称，选择Elasticsearch的集群中的一个节点写入；
S23、Elasticsearch集群数据更新。
<...
【专利技术属性】
技术研发人员：娄景贤，
申请(专利权)人：紫光云南京数字技术有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。