一种分布式日志存储方法、设备及介质技术

技术编号:40148269 阅读:19 留言:0更新日期:2024-01-24 00:48
本发明专利技术公开了一种分布式日志存储方法、设备及介质,属于计算机技术领域,用于解决现有的日志存储系统可靠性和查询性能差技术问题。方法包括:采集日志文件并提取所述日志文件中的日志数据;将所述日志文件存储到IPFS网络的节点上,并接收所述IPFS网络的节点返回的第一标识符;对日志数据进行实时计算得到结果数据,并将所述结果数据存储到结果文件中;将所述结果数据存储至查询数据库中,同时将所述结果文件存储到所述IPFS网络的节点上,并接收所述IPFS网络的节点返回的第二标识符;将所述第一标识符与所述第二标识符写入区块链。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种分布式日志存储方法、设备及介质


技术介绍

1、传统的日志存储方式通常需要依赖中央服务器和基础设施,将数据控制权集中在中央机构或平台上,以及将数据存储在固定的存储区域。在存在大量日志数据的情况时,就会出现存储资源紧张的问题,同时,在查询日志数据时,只需要向具有集中控制权的主体发起访问请求,进行权限验证即可,这就导致存储数据的安全性有限,在访问方具有访问权限时,中央服务器遍历存储区域查找请求数据的方式,还会使得数据查询的效率不高。

2、由此,亟需设计一种日志存储方案,用来解决存储资源紧张、数据容易被篡改、日志查询缓慢延时高的问题。


技术实现思路

1、为解决上述技术问题,本申请实施例提供了一种分布式日志存储方法、设备及介质。

2、本申请实施例采用下述技术方案:

3、第一方面,本申请实施例提供了一种分布式日志存储方法,所述方法包括:采集日志文件并提取所述日志文件中的日志数据;将所述日志文件存储到ipfs网络的节点上,并接收所述ipfs网络的节点返回的本文档来自技高网...

【技术保护点】

1.一种分布式日志存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种分布式日志存储方法,其特征在于,将所述第一标识符与所述第二标识符写入区块链之后,所述方法还包括:

3.根据权利要求1所述的一种分布式日志存储方法,其特征在于,将所述日志文件存储到IPFS网络的节点上之后,所述方法还包括:

4.根据权利要求1所述的一种分布式日志存储方法,其特征在于,对日志数据进行实时计算得到结果数据之前,所述方法还包括:

5.根据权利要求1所述的一种分布式日志存储方法,其特征在于,将所述结果数据存储至查询数据库中,具体为,将所述结果数据存储到...

【技术特征摘要】

1.一种分布式日志存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种分布式日志存储方法,其特征在于,将所述第一标识符与所述第二标识符写入区块链之后,所述方法还包括:

3.根据权利要求1所述的一种分布式日志存储方法,其特征在于,将所述日志文件存储到ipfs网络的节点上之后,所述方法还包括:

4.根据权利要求1所述的一种分布式日志存储方法,其特征在于,对日志数据进行实时计算得到结果数据之前,所述方法还包括:

5.根据权利要求1所述的一种分布式日志存储方法,其特征在于,将所述结果数据存储至查询数据库中,具体为,将所述结果数据存储到clickhouse高性能查询数据库中。

<...

【专利技术属性】
技术研发人员:赵子墨赵海兴郭亚琨李沅泽邱阳
申请(专利权)人:浪潮卓数大数据产业发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1