System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据存储方法、装置和电子设备制造方法及图纸_技高网

一种数据存储方法、装置和电子设备制造方法及图纸

技术编号:40540992 阅读:9 留言:0更新日期:2024-03-05 18:56
本公开提供了一种数据存储方法、装置和电子设备,涉及数据存储技术领域,用于解决现有技术中采用收集平台来收集中间态数据时,存在无法精细化管理每个目标业务的问题。该方法包括:获取消息队列的队列消息;根据队列名称和队列消息格式,确定业务类型标签和目标数据;按照目标存储格式对业务类型标签和目标数据进行处理,生成待存储的存储数据;存储待存储的存储数据。

【技术实现步骤摘要】

本公开涉及数据存储,尤其涉及一种数据存储方法、装置和电子设备


技术介绍

1、在互联网业务场景中,需要根据目标业务的中间态数据来定位和还原已发生的业务问题的具体原因。目前,在收集目标业务的中间态数据时,通过收集平台提供一个收集服务,来收集目标业务发生变更时所产生的中间态数据。然而,现有技术中采用收集平台来收集中间态数据时,存在无法精细化管理每个目标业务的问题。


技术实现思路

1、有鉴于此,本公开提供了一种数据存储方法、装置和电子设备,用于解决现有技术中采用收集平台来收集中间态数据时,存在无法精细化管理每个目标业务的问题。

2、为了实现上述目的,本公开提供技术方案如下:

3、第一方面,本公开提供一种数据存储方法,包括:获取消息队列的队列消息;其中,每个消息队列对应一个队列名称和队列消息格式;根据队列消息、队列名称和队列消息格式,确定业务类型标签和目标数据;按照目标存储格式对业务类型标签和目标数据进行处理,生成待存储的存储数据;存储待存储的存储数据。

4、作为本公开一种可选的实施方式,存储待存储的存储数据,包括:根据业务类型标签,获取存储配置信息;其中,存储配置信息包括存储路径和校验信息;在校验信息满足预设条件的情况下,按照存储路径存储待存储的存储数据。

5、作为本公开一种可选的实施方式,根据队列消息、队列名称和队列消息格式,确定业务类型标签和目标数据,包括:在队列名称为软件开发工具包sdk的消息队列的情况下,根据队列消息格式,对队列消息进行处理,确定业务类型标签和目标数据。

6、作为本公开一种可选的实施方式,根据队列消息、队列名称和队列消息格式,确定业务类型标签和目标数据,包括:在队列名称为非sdk的消息队列的情况下,根据队列名称,确定业务类型标签;根据队列消息格式,对队列消息进行处理,确定目标数据。

7、作为本公开一种可选的实施方式,校验信息包括写入权限、当前写入数据量和目标存储格式中的一项或者多项。

8、作为本公开一种可选的实施方式,存储路径包括至少一个存储平台,和每个存储平台对应的目标集群,目标集群为存储平台中部署的一个或者多个存储集群中的任一个;在校验信息满足预设条件的情况下,按照存储路径存储待存储的存储数据,包括:在校验信息满足预设条件,且存储路径中仅包含一个存储平台的情况下,将待存储的存储数据存储至归属于存储平台的目标集群中;或者,在校验信息满足预设条件,存储路径中包含多个存储平台的情况下,将待存储的存储数据同时存储至每个存储平台的目标集群中。

9、作为本公开一种可选的实施方式,获取消息队列的队列消息前,本公开提供的数据存储方法还包括:对于sdk的消息队列而言均执行如下操作:接收预设业务服务发送的消费数据;其中,消费数据包括业务元信息、业务类型标签和公共字段;在确定业务类型标签为预设标签、且业务类型标签的标签状态不是降级状态的情况下,根据sdk的消息队列对应的队列消息格式对消费数据进行重构,生成队列消息。

10、作为本公开一种可选的实施方式,本公开提供的数据存储方法还包括:将队列消息发送至异步队列;对于sdk的消息队列而言,从异步队列中获取队列消息。

11、第二方面,本公开一种数据存储装置,包括:获取单元,用于获取消息队列的队列消息;其中,每个消息队列对应一个队列名称和队列消息格式;处理单元,用于根据获取单元获取的队列消息、获取单元获取的队列名称和获取单元获取的队列消息格式,确定业务类型标签和目标数据;处理单元,还用于按照目标存储格式对业务类型标签和目标数据进行处理,生成待存储的存储数据;处理单元,还用于存储待存储的存储数据。

12、作为本公开一种可选的实施方式,处理单元,具体用于根据业务类型标签,控制获取单元获取存储配置信息;其中,存储配置信息包括存储路径和校验信息;处理单元,具体用于在获取单元获取的校验信息满足预设条件的情况下,按照存储路径存储待存储的存储数据。

13、作为本公开一种可选的实施方式,处理单元,具体用于在获取单元获取的队列名称为软件开发工具包sdk的消息队列的情况下,根据获取单元获取的队列消息格式,对队列消息进行处理,确定业务类型标签和目标数据。

14、作为本公开一种可选的实施方式,处理单元,具体用于在获取单元获取的队列名称为非sdk的消息队列的情况下,根据获取单元获取的队列名称,确定业务类型标签;处理单元,具体用于根据队列消息格式,对获取单元获取的队列消息进行处理,确定目标数据。

15、作为本公开一种可选的实施方式,校验信息包括写入权限、当前写入数据量和目标存储格式中的一项或者多项。

16、作为本公开一种可选的实施方式,存储路径包括至少一个存储平台,和每个存储平台对应的目标集群,目标集群为存储平台中部署的一个或者多个存储集群中的任一个;处理单元,具体用于在校验信息满足预设条件,且存储路径中仅包含一个存储平台的情况下,将待存储的存储数据存储至归属于存储平台的目标集群中;或者,处理单元,具体用于在校验信息满足预设条件,存储路径中包含多个存储平台的情况下,将待存储的存储数据同时存储至每个存储平台的目标集群中。

17、作为本公开一种可选的实施方式,处理单元,还用于对于sdk的消息队列而言均执行如下操作:接收预设业务服务发送的消费数据;其中,消费数据包括业务元信息、业务类型标签和公共字段;在确定业务类型标签为预设标签、且业务类型标签的标签状态不是降级状态的情况下,根据sdk的消息队列对应的队列消息格式对消费数据进行重构,生成队列消息。

18、作为本公开一种可选的实施方式,处理单元,还用于控制发送单元将队列消息发送至异步队列;处理单元,还用于对于sdk的消息队列而言,控制获取单元从异步队列中获取队列消息。

19、第三方面,本公开提供一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在执行计算机程序时,使得电子设备执行如上述第一方面提供的数据存储方法。

20、第四方面,本公开提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,当计算机程序被计算设备执行时,使得计算设备执行如上述第一方面提供的数据存储方法。

21、第五方面,本公开提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面的设计方式的数据存储方法。

22、需要说明的是,上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中,第一计算机可读存储介质可以与数据存储装置的处理器封装在一起的,也可以与数据存储装置的处理器单独封装,本公开对此不作限定。

23、本公开中第二方面、第三方面、第四方面以及第五方面的描述,可以参考第一方面的详细描述;并且,第二方面、第三方面、第四方面以及第五方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。

24、在本公开中,上述数据存储装置的名字对设备或本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,包括:

2.根据权利要求1所述的数据存储方法,其特征在于,所述存储所述待存储的存储数据,包括:

3.根据权利要求1所述的数据存储方法,其特征在于,所述根据所述队列消息、所述队列名称和所述队列消息格式,确定业务类型标签和目标数据,包括:

4.根据权利要求1所述的数据存储方法,其特征在于,所述根据所述队列消息、所述队列名称和所述队列消息格式,确定业务类型标签和目标数据,包括:

5.根据权利要求2所述的数据存储方法,其特征在于,所述校验信息包括写入权限、当前写入数据量和目标存储格式中的一项或者多项。

6.根据权利要求2所述的数据存储方法,其特征在于,所述存储路径包括至少一个存储平台,和每个所述存储平台对应的目标集群,所述目标集群为所述存储平台中部署的一个或者多个存储集群中的任一个;

7.根据权利要求1-6任一项所述的数据存储方法,其特征在于,所述获取消息队列的队列消息前,所述方法还包括:

8.根据权利要求7所述的数据存储方法,其特征在于,所述方法还包括:

9.一种数据存储装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于在执行计算机程序时,使得所述电子设备实现权利要求1-8任一项所述的数据存储方法。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被计算设备执行时,使得所述计算设备实现权利要求1-8任一项所述的数据存储方法。

12.一种计算机程序产品,其特征在于,包括当计算机程序产品在计算机上运行时,使得计算机执行如权利要求1-8任一项所述的数据存储方法。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,包括:

2.根据权利要求1所述的数据存储方法,其特征在于,所述存储所述待存储的存储数据,包括:

3.根据权利要求1所述的数据存储方法,其特征在于,所述根据所述队列消息、所述队列名称和所述队列消息格式,确定业务类型标签和目标数据,包括:

4.根据权利要求1所述的数据存储方法,其特征在于,所述根据所述队列消息、所述队列名称和所述队列消息格式,确定业务类型标签和目标数据,包括:

5.根据权利要求2所述的数据存储方法,其特征在于,所述校验信息包括写入权限、当前写入数据量和目标存储格式中的一项或者多项。

6.根据权利要求2所述的数据存储方法,其特征在于,所述存储路径包括至少一个存储平台,和每个所述存储平台对应的目标集群,所述目标集群为所述存储平台中部署的一个或者多个存储集群中的任一个;

【专利技术属性】
技术研发人员:樊博超
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1