一种分布式数据库的日志存储方法、装置、设备及介质制造方法及图纸

技术编号:40415557 阅读:12 留言:0更新日期:2024-02-20 22:32
本申请公开了一种分布式数据库的日志存储方法、装置、设备及介质,涉及计算机技术领域。包括获取第一数据,将第一数据存储至至少两个分布式存储器;从至少两个分布式存储器中的第一分布式存储器获取第二数据,根据第二数据,将第二数据与第三数据进行融合,以获得第四数据,第三数据为获取第一数据,将第一数据按预设的形式存储至至少两个分布式存储器的步骤产生的日志数据;根据第四数据,建立与第四数据的第一多线程连接句柄,设置第一分布式锁;根据第一分布式锁,为第一分布式锁设置第一超时时间;第一线程将第四数据写入日志存储器后,解锁第一分布式锁。能够将多个多线程融合成一个多线程,提高了数据处理速度,降低了处理数据的复杂度。

【技术实现步骤摘要】

本申请涉及计算机,具体而言,涉及一种分布式数据库的日志存储方法、装置、设备及介质


技术介绍

1、随着信息时代的快速发展,近年来移动互联网、物联网、云计算和人工智能得到了飞速的发展,随之而来也产生了大量的数据。这些数据一方面为各行各业提供了许多有价值的信息,另一方面,大量的数据也带来了数据存储和数据分析方面巨大的技术挑战。

2、目前,分布式数据库的日志存储方法通常为多线程进行执行,并且为每个线程设置分布式锁,在存储日志的过程中,因线程较多而导致数据处理速度较慢。


技术实现思路

1、本申请的目的在于提供一种分布式数据库的日志存储方法、装置、设备及介质,能够将多个多线程融合成一个多线程,提高了数据处理速度,降低了处理数据的复杂度。

2、本申请提供一种分布式数据库的日志存储方法,包括以下步骤:获取第一数据,将所述第一数据按预设的形式存储至至少两个分布式存储器;从所述至少两个分布式存储器中的第一分布式存储器获取第二数据,所述第二数据为第一分布式存储器产生的日志数据;根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据,所述第三数据为所述获取第一数据,将所述第一数据按预设的形式存储至至少两个分布式存储器的步骤产生的日志数据;根据所述第四数据,建立与所述第四数据的第一多线程连接句柄;根据所述第一多线程连接句柄,阻塞对应的第一线程,为所述第一线程加第一分布式锁;根据所述第一分布式锁,为所述第一分布式锁设置第一超时时间;所述第一线程将所述第四数据写入日志存储器后,解锁所述第一分布式锁。

3、可选的,所述从所述至少两个分布式存储器中的第一分布式存储器获取第二数据的步骤之后,还包括:从所述至少两个分布式存储器中的第二分布式存储器获取第五数据,所述第五数据为第二分布式存储器产生的日志数据。

4、可选的,所述根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据的步骤,还包括:根据所述第五数据,将所述第二数据、第三数据和第五数据进行融合,以获得第四数据。

5、可选的,所述根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据的步骤,包括:根据第二数据的第一标识和第三数据的第二标识,将所述第二标识与所述第一标识相对应的所述第三数据和所述第二数据融合,获得所述第四数据,所述第四数据的第三标识与所述第一标识和所述第二标识相对应。

6、可选的,所述根据所述第一分布式锁,为所述第一分布式锁设置第一超时时间的步骤,包括:根据其他线程的分布式锁的超时时间和/或第四数据的数据量大小,为所述第一分布式锁设置第一超时时间。

7、可选的,所述根据其他线程的分布式锁的超时时间和/或第四数据的数据量大小,为所述第一分布式锁设置第一超时时间的步骤,包括:根据其他线程的分布式锁的超时时间,通过机器学习模型或深度学习模型,预测出其他线程分布式锁的解锁时间;根据第四数据的数据量大小,以及传输带宽的数据传输速率和数据容量,计算出第四数据的传输时间;根据所述其他线程分布式锁的解锁时间,和所述第四数据的传输时间,为所述第一分布式锁设置第一超时时间。

8、可选的,所述获取第一数据之后,还包括对第一数据进行可信任检验。

9、本申请还提供一种分布式数据库的日志存储装置,包括:数据接收模块,用于接收第一分布式存储器产生的日志数据、所述获取第一数据,将所述第一数据按预设的形式存储至至少两个分布式存储器的步骤产生的日志数据和将所述第二数据与第三数据进行融合的数据;分布式锁模块,建立与所述第四数据的第一多线程连接句柄,阻塞对应的第一线程,为所述第一线程加第一分布式锁;机器学习模型或深度学习模型模块,为所述第一分布式锁设置超时时间;读写模块,将所述第四数据写入日志存储器。

10、本申请还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序,实现上述任意一项所述的方法。

11、本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,处理器执行所述计算机程序,实现上述任意一项所述的方法。

12、本申请的有益效果包括:

13、本申请提供一种分布式数据库的日志存储方法、装置、设备及介质,通过将第一分布式存储器产生的日志数据,和获取第一数据,将所述第一数据按预设的形式存储至至少两个分布式存储器的步骤产生的日志数据进行融合,以获得第四数据,并为第四数据建立第一多线程连接句柄,以及为第一线程设置第一分布式锁,并设置第一分布式锁的第一超时时间,执行第一线程,将第四数据写入日志存储器,将分离的存储第一分布式存储器产生的日志数据的多线程和存储获取第一数据,将所述第一数据按预设的形式存储至至少两个分布式存储器的步骤产生的日志数据多线程,融合成一个存储第四数据的第一多线程。采用上述的设置形式,将多个多线程融合成一个多线程,提高了数据处理速度,降低了处理数据的复杂度。

本文档来自技高网...

【技术保护点】

1.一种分布式数据库的日志存储方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述从所述至少两个分布式存储器中的第一分布式存储器获取第二数据的步骤之后,还包括:

3.根据权利要求2所述的分布式数据库的日志存储方法,其特征在于,所述根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据的步骤,还包括:

4.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据的步骤,包括:

5.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述根据所述第一分布式锁,为所述第一分布式锁设置第一超时时间的步骤,包括:

6.根据权利要求5所述的分布式数据库的日志存储方法,其特征在于,所述根据其他线程的分布式锁的超时时间和/或第四数据的数据量大小,为所述第一分布式锁设置第一超时时间的步骤,包括:

7.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述获取第一数据之后,还包括对第一数据进行可信任检验。

8.一种分布式数据库的日志存储装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序,实现根据权利要求1-7中任意一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,处理器执行所述计算机程序,实现根据权利要求1-7中任意一项所述的方法。

...

【技术特征摘要】

1.一种分布式数据库的日志存储方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述从所述至少两个分布式存储器中的第一分布式存储器获取第二数据的步骤之后,还包括:

3.根据权利要求2所述的分布式数据库的日志存储方法,其特征在于,所述根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据的步骤,还包括:

4.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述根据所述第二数据,将所述第二数据与第三数据进行融合,以获得第四数据的步骤,包括:

5.根据权利要求1所述的分布式数据库的日志存储方法,其特征在于,所述根据所述第一分布式锁,为所述第一分布式锁设置第一超时时间的步骤,包括:

...

【专利技术属性】
技术研发人员:钟波刘力郑建波曹冰兵蓝聪周育玺薛俊张良
申请(专利权)人:成都大成均图科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1