数据查询方法及装置、存储介质及电子装置制造方法及图纸

技术编号:32883265 阅读:18 留言:0更新日期:2022-04-02 12:17
本发明专利技术公开了一种数据查询方法及装置、存储介质及电子装置,其中,上述方法包括:获取目标日志集合,并将目标日志集合分成与多个时段对应的多个日志子集,其中,每个日志子集中的日志包括的时间参数的数据位于对应的时段内;分别对多个日志子集进行聚类,得到多组聚类结果,其中,多组聚类结果中的每组聚类结果包括对对应的日志子集进行聚类得到的聚类簇以及与聚类簇对应的聚类标签,每个聚类簇中包括一条或多条日志;对多组聚类结果中相同聚类标签的聚类簇按照用户标识执行取交集操作,得到目标交集结果;在目标交集结果包括一个或多个目标日志子集的情况下,将一个或多个目标日志子集存储在目标服务器的内存中。集存储在目标服务器的内存中。集存储在目标服务器的内存中。

【技术实现步骤摘要】
数据查询方法及装置、存储介质及电子装置


[0001]本专利技术涉及通信领域,具体而言,涉及一种数据查询方法及装置、存储介质及电子装置。

技术介绍

[0002]随着计算机信息和信息数的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业,也需要的更高配置的服务器性能,因此,寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。大数据时代对人类的数据处理能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。落地高效的大数据处理方案对数据查询、减少服务器性能要求具有重要意义。
[0003]并且,随着系统部署到服务器中产生的用户日志数据越来越多,针对用户日志数据的处理已经成为当今的研究热点,而分析数据是数据处理的基础,因此开发一个有效的用户日志数据分析对服务器上的日志数据处理具有重要意义。
[0004]而现有的数据查询都是从服务器外存的数据库中直接去查询数据,导致数据查询效率较低。
[0005]针对相关技术,服务器在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法,其特征在于,包括:获取目标日志集合,其中,所述目标日志集合中的每条日志包括一组参数的数据,所述一组参数包括用户标识和时间参数;根据所述每条日志中的所述时间参数的数据,将所述目标日志集合分成与多个时段对应的多个日志子集,其中,每个日志子集中的日志包括的所述时间参数的数据位于对应的时段内;分别对所述多个日志子集进行聚类,得到多组聚类结果,其中,所述多组聚类结果中的每组聚类结果包括对对应的日志子集进行聚类得到的聚类簇以及与所述聚类簇对应的聚类标签,每个聚类簇中包括一条或多条日志;对所述多组聚类结果中相同聚类标签的聚类簇按照所述用户标识执行取交集操作,得到目标交集结果;在所述目标交集结果包括一个或多个目标日志子集的情况下,将所述一个或多个目标日志子集存储在目标服务器的内存中,其中,在所述目标服务器的内存中存储的所述一个或多个目标日志子集用于在所述目标服务器获取到目标查询指令的情况下被优先查询。2.根据权利要求1所述的方法,其特征在于,所述分别对所述多个日志子集进行聚类,得到多组聚类结果,包括:对所述多个日志子集中的每个日志子集分别执行以下操作,其中,在执行以下操作时,所述每个日志子集为当前日志子集:按照所述一组参数中的部分或全部参数的数据,对所述当前日志子集进行聚类,得到当前一组聚类结果,其中,在所述当前一组聚类结果中包括至少一个当前聚类簇的情况下,所述当前聚类簇中的每条日志按照所述部分或全部参数的数据确定的日志特征之间的特征距离满足预设聚类条件。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:在所述当前一组聚类结果中包括至少一个当前聚类簇的情况下,为所述当前聚类簇设置对应的当前聚类标签;或者在所述当前一组聚类结果中包括至少一个当前聚类簇的情况下,根据所述当前聚类簇中的每条日志包括的所述一组参数的数据以及所述预设聚类条件,在目标标签集合中确定与所述当前聚类簇对应的所述当前聚类标签。4.根据权利要求1所述的方法,其特征在于,所述对所述多组聚类结果中相同聚类标签的聚类簇按照所述用户标识执行取交集操作,得到目标交集结果,包括:在所述多组聚类结果为N组聚类结果时,对N组聚类结果中的第i组聚类结果中的第j个聚类簇,执行以下操作,其中,N为大于或等于2的正整数,1≤i≤N,第i组聚类结果包括M
i
个聚类簇,M为大于或等于1的正整数,1≤j≤M,第j个聚类簇的聚类标签为当前聚类标签:在所述N组聚类结果中除所述第i组聚类结果之外的N

1组聚类结果中查找聚类标签为所述当前聚类标签的聚类簇;在查找到聚类标签为所述当前聚类标签的聚类簇的情况下,在所述第j个聚类簇和所述查找到的聚类簇中按照所述用户标识执行取交集操作,得到当前交集结果;其中,所述当前交集结果包括至少2条日志时,将所述至少2条日志确定为一个所述目标日志子集。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述目标交集结果不包括存在交集的日志子集的情况下,按照所述一组参数中...

【专利技术属性】
技术研发人员:孙科王乾蒋艳军赵轶新
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1