一种数据存储方法、装置、系统、电子设备及存储介质制造方法及图纸

技术编号:42612265 阅读:28 留言:0更新日期:2024-09-03 18:19
本发明专利技术提供一种数据存储方法、装置、系统、电子设备及存储介质,所述方法包括:获取分布式场景下的数据包;确定数据包的协议类型;在数据包的协议类型为第一类型时,将第一类型的数据包转换为轻量级数据交换格式的消息流;将消息流以消息队列的方式在进程间传递,并通过跨服务器透传给中心节点管理平台,以使中心节点管理平台对消息流进行业务信息组装后存储到数据库中。本发明专利技术中,在确定数据包的协议类型为第一类型时,将数据包转换为轻量级数据交换格式的消息流,并以消息队列的方式进行进程间的传递,以及通过跨服务器透传给中心节点管理平台,避免了中间过程的文件落盘等操作,减少磁盘读写操作,提高了磁盘的使用率,从而提升整体系统性能。

【技术实现步骤摘要】

本专利技术涉及存储,尤其涉及一种数据存储方法、装置、系统、电子设备及计算机可读存储介质。


技术介绍

1、现有流量dlp的部署模式通常采用分布式部署场景,这种场景下,接入节点与中心节点部署于不同的服务器上,接入节点与中心节点处于同一个局域网内部,进程之间通过文件方式进行文件传输,特别是分布式场景时,跨服务器传递文件存在文件多次落盘操作。

2、相关技术中,一些协议类型的流量dlp存在很多流量小文件场景,如果无论文件大小,都采用文件的方式进行传输,这就需要较大的依赖于磁盘io性能。也就是说,通过文件方式进行传输时,进程打开文件进行解析操作比较耗时,文件存储也比较耗时,同时需要频繁的定时清理存储文件,在小文件存储量比较大的时候,虽然磁盘空间未使用完,但是文件索引节点(inode)已经达到了极限,所以,会导致磁盘空间还有剩余,但已经存储不进去文件的情况,从而大大降低了磁盘的使用率。

3、因此,如何提高磁盘的使用率是目前有待解决的问题。


技术实现思路

1、本专利技术提供一种数据存储方法、装置、系统本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,所述方法应用于接入点服务器,包括:

2.根据权利要求1所述的数据存储方法,其特征在于,在将所述消息流以消息队列的方式在进程间传递之前,所述方法还包括:

3.根据权利要求1所述的数据存储方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的数据存储方法,其特征在于,所述将所述磁盘上以文件形式存储的数据包进行备份,删除,并进行相应进程的业务处理,包括:

5.根据权利要求3所述的数据存储方法,其特征在于,在将所述磁盘上以文件形式存储的数据包进行备份,删除,并进行相应进程的业务处理之前,所述方法还包括:...

【技术特征摘要】

1.一种数据存储方法,其特征在于,所述方法应用于接入点服务器,包括:

2.根据权利要求1所述的数据存储方法,其特征在于,在将所述消息流以消息队列的方式在进程间传递之前,所述方法还包括:

3.根据权利要求1所述的数据存储方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的数据存储方法,其特征在于,所述将所述磁盘上以文件形式存储的数据包进行备份,删除,并进行相应进程的业务处理,包括:

5.根据权利要求3所述的数据存储方法,其特征在于,在将所述磁盘上以文件形式存储的数据包进行备份,删除,并进行相应进程的业务处理之前,所述方法还包括:

6.根据权利要求1至5任一项所述的数据存储方法,其特征在于,所述确定所述数据包的协...

【专利技术属性】
技术研发人员:腾永达王志海喻波安鹏韩振国
申请(专利权)人:北京明朝万达科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1