一种日志数据快速存储装置制造方法及图纸

技术编号:29409819 阅读:35 留言:0更新日期:2021-07-23 22:50
一种日志数据快速存储装置,包括:数据采集模块、数据拆分模块、数据解析模块、数据存储模块;所述数据采集模块与数据拆分模块连接,所述数据拆分模块与数据解析模块连接,所述数据解析模块与数据存储模块连接。使用该日志数据快速存储装置能够对日志数据快速解析存储,大大加快了日志数据存储速度。

【技术实现步骤摘要】
一种日志数据快速存储装置
本申请涉及计算机
,尤其涉及一种日志数据快速存储装置。
技术介绍
现有的日志数据存储都是通过单一接收程序进行接收,在经过单一解析程序进行解析存储,一旦介入大量设备日志时,不能快速进行日志数据存储。本技术提出了一种在日志数据接收服务器中通过队列对日志数据进行拆分,在通过多个子进程对日志数据进行并发式解析快速存储的装置,从而使日志数据能够快速存储。
技术实现思路
本技术的目的在于提供一种日志数据快速存储装置,以解一旦介入大量设备日志时,不能快速进行日志数据存储。为实现上述目的,本技术提供如下技术方案:一种日志数据快速存储装置,包括:数据采集模块、数据拆分模块、数据解析模块、数据存储模块;所述数据采集模块与数据拆分模块连接,所述数据拆分模块与数据解析模块连接,所述数据解析模块与数据存储模块连接。优选地,所述数据拆分模块包括,队列拆分模块、子缓存模块;所述队列拆分模块与所述数据采集模块连接,所述子缓存模块与所述队列拆分模块连接。优选地,所述队列拆分模块的队列本文档来自技高网...

【技术保护点】
1.一种日志数据快速存储装置,其特征在于,包括:/n数据采集模块、数据拆分模块、数据解析模块、数据存储模块;/n所述数据采集模块与数据拆分模块连接,所述数据拆分模块与数据解析模块连接,所述数据解析模块与数据存储模块连接。/n

【技术特征摘要】
1.一种日志数据快速存储装置,其特征在于,包括:
数据采集模块、数据拆分模块、数据解析模块、数据存储模块;
所述数据采集模块与数据拆分模块连接,所述数据拆分模块与数据解析模块连接,所述数据解析模块与数据存储模块连接。


2.根据权利要求1所述的一种日志数据快速存储装置,其特征在于,所述数据拆分模块包括,队列拆分模块、子缓存模块;所述队列拆分模块与所述数据采集模块连接,所述子缓存模块与所述队列拆分模块连接。


3.根据权利要求2所述的一种日志数据快速存储装置,其特征在于,所述队列拆分模块的队列排序方式按日志数据来源地址进行排序。


4.根据权利要求2所述的一种日志数据快速存储装置,其特征在于,所述子缓存模块的数量等于日志数据来源地址数。


5.根据权利要求2所述的一种日志数据快速存储...

【专利技术属性】
技术研发人员:冷雪飞
申请(专利权)人:北京哈工信息产业股份有限公司
类型:新型
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1