System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种信息流数据存储方法、装置、电子设备和可读介质制造方法及图纸_技高网

一种信息流数据存储方法、装置、电子设备和可读介质制造方法及图纸

技术编号:40507218 阅读:5 留言:0更新日期:2024-03-01 13:21
本公开的实施例公开了一种一种信息流数据存储方法、装置、电子设备和可读介质。该方法的一具体实施方式包括:根据基础纬度建立数据底表;从数据底表中筛选目标数据;根据预设字段生成关于目标数据的多个分区表;根据预设字段和多个分区表,建立预设字段和分区表的对应关系表;将数据底表、多个分区表以及对应关系表存入目标数据库中。该实施方式能够将数据隔离为不同维度,拉取媒体数据时,通过字段对拉取的媒体数据进行更细的划分。通过这种方式将数据存储逻辑前置到报表生成前且将数据库中的数据与字段重相关,减少在查询时的计算,为用户带来巨大的性能提升,从底表中筛选常用数据建立分区表,将常用数据与不常用数据隔离,减少存储占用。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及一种信息流数据存储方法、装置、电子设备和计算机可读介质。


技术介绍

1、目前主流的信息流数据存储方式基本是通过对信息流的数据进行持久化落关系表,在对用户常用的搜索条件进行建索引,以及对大数据量进行分区或者分表处理,通过sql查询语句组装条件来实现数据返回。

2、但是随着时间的推移,信息流业务数据慢慢累积,根据之前的初始方法,查询性能会可能逐渐下降。目前的优化方式是对表的索引和sql进行不同的优化,例如时间或者媒体进行分区或者分表处理,但如果通过分区或分表的方式必然又会导致存在跨表处理数据的问题,又或者是需要在业务中适当做出取舍或代码优化等问题。又例如通过自由组合条件实现功能,但是随着数据量以及接入的合作方越来越多,出现瓶颈的情况会越来越频繁,导致查询响应慢。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了一种信息流数据存储方法、装置、电子设备和计算机可读介质,来解决以上
技术介绍
部分提到的技术问题。

3、第一方面,本公开的一些实施例提供了一种信息流数据存储方法,该方法包括:根据基础维度建立数据底表;从上述数据底表中筛选目标数据;根据预设字段生成关于上述目标数据的多个分区表;根据上述预设字段和上述多个分区表,建立预设字段和分区表的对应关系表;将上述数据底表、上述多个分区表以及上述对应关系表存入目标数据库中。

4、第二方面,本公开的一些实施例提供了一种信息流数据存储装置,装置包括:第一建立单元,被配置成根据基础维度建立数据底表;筛选单元,被配置成从上述数据底表中筛选目标数据;生成单元,被配置成根据预设字段生成关于上述目标数据的多个分区表;第二建立单元,被配置成根据上述预设字段和上述多个分区表,建立预设字段和分区表的对应关系表;第一存储单元,被配置成将上述数据底表、上述多个分区表以及上述对应关系表存入目标数据库中。

5、第三方面,本申请实施例提供了一种电子设备,该网络设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例中的一个实施例具有如下有益效果:数据库中存在基础维度,因此能够将数据隔离为不同维度,在每次通过远程接口拉取媒体数据时,通过对应关系表中不同字段对拉取的媒体数据进行更细的划分和处理。通过这种方式将数据存储逻辑前置到报表生成前且将数据库中的数据与字段重相关,减少在查询时的计算,在用户使用时可以带来巨大的性能提升。其次,从底表中筛选常用数据建立分区表,将常用数据与不常用数据隔离,减少不常用数据的存储占用。

本文档来自技高网...

【技术保护点】

1.一种信息流数据存储方法,包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:

3.根据权利要求1所述的方法,其中,所述方法还包括:

4.根据权利要求1所述的方法,其中,所述目标数据库包括主数据库和从数据库,所述主数据库和所述从数据库用于存储所述数据底表、所述多个分区表以及所述对应关系表,所述主数据库用于处理数据更改指令以及根据数据更改指令更新所述从数据库中的数据,所述从数据库用于处理数据查询指令。

5.根据权利要求1所述的方法,其中,所述方法还包括:

6.一种信息流数据存储装置,包括:

7.根据权利要求6所述的装置,其中,所述装置还包括第二存储单元,配置用于:

8.根据权利要求6所述的装置,其中,所述装置还包括第三存储单元,配置用于:

9.一种电子设备,包括:

10.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

【技术特征摘要】

1.一种信息流数据存储方法,包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:

3.根据权利要求1所述的方法,其中,所述方法还包括:

4.根据权利要求1所述的方法,其中,所述目标数据库包括主数据库和从数据库,所述主数据库和所述从数据库用于存储所述数据底表、所述多个分区表以及所述对应关系表,所述主数据库用于处理数据更改指令以及根据数据更改指令更新所述从数据库中的数据,所述从数据库用于处理数据查询指令。

【专利技术属性】
技术研发人员:刘浩张环宇雷琪
申请(专利权)人:上海创帧软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1