【技术实现步骤摘要】
本申请涉及大数据处理领域,具体而言,涉及一种数据转发方法、装置、电子设备和存储介质。
技术介绍
1、目前,在一些场景中,需要对数据进行转发,例如,网络审计设备从数流量中得到还原文件后,需要将还原文件转发至文件检测引擎,在数据转发过程中,如果待转发数据峰值过高,会出现数据丢失这一情况,同时,会导致数据转发的实时性降低。
技术实现思路
1、本申请实施例的目的在于提供一种数据转发方法、装置、电子设备和存储介质,用以提高数据转发的实时性和降低数据丢失的概率。
2、第一方面,本申请提供一种数据转发方法,所述方法包括:
3、当接收到多个目标消息时,判断第一共享内存的存储容量是否能够存储多个所述目标消息,如果所述第一共享内存的存储容量能够存储多个所述目标消息,则将多个所述目标消息存入所述第一共享内存,如果所述第一共享内存的存储容量不足以存储多个所述目标消息,则将多个所述目标消息存入第一文件系统中;
4、基于处理进程和所述处理进程管理的处理线程并发从所述第一文件系统或所
...【技术保护点】
1.一种数据转发方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述处理进程在将所述目标消息以分片形式存入所述第二共享内存或所述第二文件系统之前,判断所述目标消息的数据量是否大于预设阈值,如果所述目标消息的数据量大于所述预设阈值,则基于压缩算法压缩所述目标消息并生成压缩信息;
3.如权利要求2所述的方法,其特征在于,所述处理线程从所述第二共享内存或所述第二文件系统读取所述目标消息后,基于所述切分信息判断所述目标消息是否为分片形式,如果是则基于所述切分信息重组两个或两个以上的所述消息分片,所述处理线程重组两个或两个以上的
...【技术特征摘要】
1.一种数据转发方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述处理进程在将所述目标消息以分片形式存入所述第二共享内存或所述第二文件系统之前,判断所述目标消息的数据量是否大于预设阈值,如果所述目标消息的数据量大于所述预设阈值,则基于压缩算法压缩所述目标消息并生成压缩信息;
3.如权利要求2所述的方法,其特征在于,所述处理线程从所述第二共享内存或所述第二文件系统读取所述目标消息后,基于所述切分信息判断所述目标消息是否为分片形式,如果是则基于所述切分信息重组两个或两个以上的所述消息分片,所述处理线程重组两个或两个以上的所述消息分片之后,基于所述压缩信息判断切片重组结果是否需要解压,如果是则对所述切片重组结果进行解压。
4.如权利要求3所述的方法,其特征在于,所述切分信息包括缓冲区编号和分片标记,其中,所述缓冲区编号用于表征每个所述消息分片的存储位置。
5.一种数据转发装置,其特征在于,所述装置包括:
6.如权利要求5所述的装置,...
【专利技术属性】
技术研发人员:李鹏飞,豆莎莎,
申请(专利权)人:北京天融信网络安全技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。