【技术实现步骤摘要】
数据存储及查询方法、装置、电子设备及存储介质
本申请涉及计算机应用技术，特别涉及数据处理领域的数据存储及查询方法、装置、电子设备及存储介质。
技术介绍
随着Feed流追踪(FeedTrace)系统的高速发展，系统的数据量呈现几何增长，相应地，需要对海量数据进行存储。目前通常采用弹性搜索系统(ES，Elasticsearch)或数据库存储方式，但这些方式主要适用于数据量不大的存储场景，当数据量很大时，读写性能都会下降，而且ES采用固态磁盘(SSD，SolidStateDisk)进行存储，成本很高。
技术实现思路
有鉴于此，本申请提供了数据存储及查询方法、装置、电子设备及存储介质。一种数据存储方法，包括：获取待存储的数据；将所述数据存储到预先构建的存储集群中的底层存储系统中；其中，所述存储集群至少为一套，每套存储集群中分别包括：上层存储系统、中间存储系统以及所述底层存储系统；所述中间存储系统用于存储所述数据在所述底层存储系统中的地址信息，所述上层存储系统用于构建并存储所...
【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n获取待存储的数据；/n将所述数据存储到预先构建的存储集群中的底层存储系统中；/n其中，所述存储集群至少为一套，每套存储集群中分别包括：上层存储系统、中间存储系统以及所述底层存储系统；所述中间存储系统用于存储所述数据在所述底层存储系统中的地址信息，所述上层存储系统用于构建并存储所述中间存储系统的索引信息。/n
【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：
获取待存储的数据；
将所述数据存储到预先构建的存储集群中的底层存储系统中；
其中，所述存储集群至少为一套，每套存储集群中分别包括：上层存储系统、中间存储系统以及所述底层存储系统；所述中间存储系统用于存储所述数据在所述底层存储系统中的地址信息，所述上层存储系统用于构建并存储所述中间存储系统的索引信息。
2.根据权利要求1所述的方法，其特征在于，
该方法进一步包括：将所述数据划分为核心数据和非核心数据；在所述上层存储系统中存储所述核心数据对应的索引信息的副本。
3.根据权利要求1所述的方法，其特征在于，
该方法进一步包括：若所述存储集群中不包括所述底层存储系统，则将所述数据存储到所述中间存储系统中。
4.根据权利要求1所述的方法，其特征在于，
所述上层存储系统包括：弹性搜索系统ES；所述中间存储系统包括：分布式表格存储系统Table；所述底层存储系统包括：高级文件系统AFS。
5.一种数据查询方法，其特征在于，包括：
获取针对存储集群中存储的数据的查询请求；所述存储集群至少为一套，每套存储集群中分别包括：上层存储系统、中间存储系统以及底层存储系统；所述底层存储系统用于存储数据，所述中间存储系统用于存储所述数据在所述底层存储系统中的地址信息，所述上层存储系统用于构建并存储所述中间存储系统的索引信息；
基于所述上层存储系统和所述中间存储系统中的信息，按预定方式从所述底层存储系统中获取查询的数据返回。
6.根据权利要求5所述的方法，其特征在于，
所述按预定方式从所述底层存储系统中获取查询的数据返回包括：
获取用户的第一查询请求，确定出对应的上层存储系统，并根据确定出的上层存储系统中的索引信息确定出行键列表；
根据所述行键列表查询所述中间存储系统，确定出查询的数据所在的地址信息；
根据所述地址信息从所述底层存储系统中获取查询的数据返回。
7.根据权利要求5所述的方法，其特征在于，
所述按预定方式从所述底层存储系统中获取查询的数据返回包括：
获取用户的第二查询请求，根据所述第二查询请求确定出所述中间存储系统中的对应分片；
针对所述分片，采用范围查询方式或行键列表随机查询方式，确定出查询的数据所在的地址信息；
根据所述地址信息从所述底层存储系统中获取查询的数据返回。
8.一种数据存储装置，其特征在于，包括：第一获取单元以及存储单元；
所述第一获取单元，用于获取待存储的数据；
所述存储单元，用于将所述数据存储到预先构建的存储集群中的底层存储系统中；其中，所述存储集群至少为一...
【专利技术属性】
技术研发人员：王侨，刘海滨，徐永茂，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。