【技术实现步骤摘要】
数据查询方法、数据存储方法、装置、计算设备和介质
[0001]本公开涉及计算机
,更具体地,涉及一种数据查询方法、数据存储方法、数据查询装置、数据存储装置、计算设备以及计算机可读存储介质。
技术介绍
[0002]面对网络中生成的大量报文数据,相关技术通常通过Kafka或Spark等大数据技术来存储报文数据,并为后续的查询提供支持。但是,相关技术的报文数据存储方式通常是针对报文数据进行处理后存储至数据库中,导致后续查询时无法得到报文的原始数据,难以满足报文数据的取证需求。另外,相关技术在查询所存储的报文数据时,计算资源开销较大、查询速度较慢。
技术实现思路
[0003]有鉴于此,本公开提供了一种优化的数据查询方法、数据存储方法、数据查询装置、数据存储装置、计算设备和计算机可读存储介质。
[0004]本公开的一个方面提供了一种数据查询方法,包括:接收查询请求,所述查询请求至少包括目标报文数据的属性信息,基于所述查询请求,从多个索引数据中确定目标索引数据,其中,所述目标索引数据包括与所述目标报文数据的属性信息相关联的目标文件路径,所述多个索引数据中的每个索引数据包括历史报文数据的属性信息和所述历史报文数据所在的文件的文件路径,基于所述目标索引数据,从至少一个文件中确定出目标文件,其中,所述目标文件的文件路径为所述目标文件路径,所述至少一个文件用于存储所述历史报文数据,从所述目标文件中获取所述目标报文数据。
[0005]根据本公开实施例,上述多个索引数据存储于多个第一数据库,每个所述第一 ...
【技术保护点】
【技术特征摘要】
1.一种数据查询方法,包括:接收查询请求,所述查询请求至少包括目标报文数据的属性信息;基于所述查询请求,从多个索引数据中确定目标索引数据,其中,所述目标索引数据包括与所述目标报文数据的属性信息相关联的目标文件路径,所述多个索引数据中的每个索引数据包括历史报文数据的属性信息和所述历史报文数据所在的文件的文件路径;基于所述目标索引数据,从至少一个文件中确定出目标文件,其中,所述目标文件的文件路径为所述目标文件路径,所述至少一个文件用于存储所述历史报文数据;以及从所述目标文件中获取所述目标报文数据。2.根据权利要求1所述的方法,其中,所述多个索引数据存储于多个第一数据库,每个所述第一数据库的数据库标识和索引数据标识关联存储于第二数据库,所述索引数据标识表征了所述第一数据库存储的索引数据;其中,所述基于所述查询请求,从多个索引数据中确定目标索引数据包括:基于所述查询请求,从所述第二数据库中确定所述查询请求所指示的索引数据标识;基于所述查询请求所指示的索引数据标识,从所述第二数据库中确定出与所指示的索引数据标识相关联的至少一个数据库标识;基于所述至少一个数据库标识,确定与所述至少一个数据库标识对应的至少一个第一数据库;以及从所述至少一个第一数据库中所存储的索引数据中确定出属性信息与目标报文数据的属性信息匹配的索引数据作为所述目标索引数据。3.根据权利要求2所述的方法,其中,所述多个索引数据按照所述历史报文数据的时间戳存储于所述多个第一数据库;所述索引数据标识包括所述第一数据库所存储的索引数据的时间戳范围;所述查询请求还包括目标时间范围,所述目标报文数据的时间戳处于所述目标时间范围之内;其中,基于所述查询请求,从所述第二数据库中确定所述查询请求所指示的索引数据标识包括:基于所述查询请求中的目标时间范围,从所述第二数据库中确定所述查询请求所指示的索引数据标识,所述查询请求所指示的索引数据标识的时间戳范围包括所述目标时间范围。4.根据权利要求1所述的方法,其中,所述目标文件包括多个历史报文数据;其中,所述从所述目标文件中获取所述目标报文数据包括:基于所述目标报文数据的属性信息,从所述多个历史报文数据中确定出至少一个历史报文数据作为所述目标报文数据,其中,所述至少一个历史报文数据的属性信息与所述目标报文数据的属性信息匹配。5.根据权利要求1所述的方法,其中,所述至少一个文件为分布式文件系统中的文件;所述至少一个文件与至少一个预设时间范围一一对应,针对所述至少一个文件中的每个文件,该文件所存储的每个历史报文数据的报文生成时间处于该文件对应的预设时间范围内。6.根据权利要求1所述的方法,其中,针对所述至少一个文件中的每个文件,该文件所存储的多个历史报文数据被压缩成多个子文件;针对每个子文件,该子文件中的多个历史
报文数据依次被压缩;其中,所述多个历史报文数据依次被压缩包括:对已接收的至少一个历史报文数据进行压缩得到初步压缩子文件,将新接收的至少一历史报文数据压缩至所述初步压缩子文件中;其中,所述文件路径还包括子文件的文件名。7.根据权利要求1至6中任意一项所述的方法,其中,所述属性信息包括以下至少一项:源IP地址、目的IP地址、源端口、目的...
【专利技术属性】
技术研发人员:汪勇,齐向东,吴云坤,
申请(专利权)人:网神信息技术北京股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。