【技术实现步骤摘要】
本申请属于大数据，具体涉及一种冷热数据处理方法、系统、电子设备和计算机可读存储介质。
技术介绍
1、文档型数据库是现有技术中常见的数据库类型之一，它主要用来存储、索引并管理面向文档的数据或者类似的半结构化数据，文档数据(document data)是文档型数据库的最小单元。分布式文档型数据库是当前流行的文档型数据库结构，然而在特定写入、更新、查询吞吐量的场景下，分布式文档型数据库很容易出现存储性能瓶颈。常规的优化措施包括增加数据表分区、增加数据节点、增加硬件设备等，然而这些措施成本较高，无法获得较高的性价比。
技术实现思路
1、针对上述现有技术中存在的问题，本专利技术第一方面提出一种冷热数据处理方法，包括步骤：接收待写入的文档数据，存储至在线热库，在线热库存储用于在线计算的文档数据；将待写入的文档数据与在线热库中已有的文档数据合并；将在线热库中存储时长达到归档时限的文档数据转移至在线冷库和离线冷库，其中，在线冷库和离线冷库分别为数据库和数据仓库。
2、优选地，待写入的文档数据还...
【技术保护点】
1.一种冷热数据处理方法，其特征在于，包括步骤：
2.根据权利要求1所述的冷热数据处理方法，其特征在于，所述待写入的文档数据还被存储至离线热库，所述离线热库存储用于离线计算的文档数据，所述离线热库为数据仓库。
3.根据权利要求1所述的冷热数据处理方法，其特征在于，所述待写入的文档数据还被存储为离线文件，所述离线文件用于以文件方式提供所述文档数据。
4.根据权利要求1-3中任一所述的冷热数据处理方法，其特征在于，所述待写入的文档数据以固定时间间隔分批存储至所述在线热库、离线热库或存储为离线文件。
5.根据权利要求1所述的冷...
【技术特征摘要】
1.一种冷热数据处理方法，其特征在于，包括步骤：
2.根据权利要求1所述的冷热数据处理方法，其特征在于，所述待写入的文档数据还被存储至离线热库，所述离线热库存储用于离线计算的文档数据，所述离线热库为数据仓库。
3.根据权利要求1所述的冷热数据处理方法，其特征在于，所述待写入的文档数据还被存储为离线文件，所述离线文件用于以文件方式提供所述文档数据。
4.根据权利要求1-3中任一所述的冷热数据处理方法，其特征在于，所述待写入的文档数据以固定时间间隔分批存储至所述在线热库、离线热库或存储为离线文件。
5.根据权利要求1所述的冷热数据处理方法，其特征在于，所述在线热库为文档型数据库。...
【专利技术属性】
技术研发人员：鄢小征，李绪龙，毕永辉，李明玉，朱海勇，张笑颜，
申请(专利权)人：厦门市美亚柏科信息安全研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。