数据存储的处理方法、系统、计算机设备及存储介质技术方案

本申请涉及一种数据存储的处理方法、系统、计算机设备及存储介质，其中，该数据存储的处理方法包括：通过根据业务时间将获取到的数据分为实时数据和历史数据；将该实时数据存储在Elasticsearch数据库中，并将该历史数据存储在Carbondata数据库中。通过本申请，解决了冷热数据存储的处理过程中效率低的问题。

【技术实现步骤摘要】
数据存储的处理方法、系统、计算机设备及存储介质
本申请涉及计算机
，特别是涉及数据存储的处理方法、系统、计算机设备及存储介质。
技术介绍
当前处于数据日益增长的环境，如何高效存储数据和使用数据成为每个企业关心的话题。在相关技术中，通常在内存的逻辑物理地址映射表中添加表示数据访问频率高低的热度标识，以热度标识表示数据的热度等级，从而将冷热数据进行分离。但是，由于相关技术在数据写入过程中为平衡各数据块的磨损程度，需要进行磨损平衡，而磨损平衡会影响数据的访问频率，因此其冷热数据分离结果效率不高。针对相关技术中，冷热数据存储的处理过程中存在效率低的问题，尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据存储的处理方法、系统、计算机设备及存储介质，以至少解决相关技术中冷热数据存储的处理过程中效率低的问题。第一方面，本申请实施例提供了一种数据存储的处理系统，其特征在于，所述系统包括服务器；其中，所述服务器设置有Elasticsearch数据库和Carbondata数据库；所述服务器用于获取各本文档来自技高网...

【技术保护点】
1.一种数据存储的处理系统，其特征在于，所述系统包括服务器；其中，所述服务器设置有Elasticsearch数据库和Carbondata数据库；/n所述服务器用于获取各数据源的数据，并根据业务时间将所述数据分为实时数据和历史数据；/n所述服务器将所述实时数据存储在所述Elasticsearch数据库中，并将所述历史数据存储在所述Carbondata数据库中。/n

【技术特征摘要】
1.一种数据存储的处理系统，其特征在于，所述系统包括服务器；其中，所述服务器设置有Elasticsearch数据库和Carbondata数据库；
所述服务器用于获取各数据源的数据，并根据业务时间将所述数据分为实时数据和历史数据；
所述服务器将所述实时数据存储在所述Elasticsearch数据库中，并将所述历史数据存储在所述Carbondata数据库中。


2.根据权利要求1所述的处理系统，其特征在于，所述系统还包括终端；其中，所述终端与所述服务器连接；
所述服务器在接收到所述终端发送的查询指令的情况下，根据所述业务时间，将所述历史数据划分为历史简单数据和历史复杂数据；
所述服务器在所述查询指令为简单数据查询指令的情况下，查询所述Carbondata数据库中的历史简单数据和所述Elasticsearch数据库；
所述服务器在所述查询指令为复杂数据查询指令的情况下，查询所述Carbondata数据库中的历史复杂数据和所述Elasticsearch数据库。


3.根据权利要求1所述的处理系统，其特征在于，所述服务器还用于将所述实时数据写入Kafka分布式；
所述服务器通过flink引擎，读取所述Kafka分布式的所述实时数据，并写入所述Elasticsearch数据库中实时索引。


4.根据权利要求3所述的处理系统，其特征在于，所述服务器还用于根据所述业务时间，获取所述实时数据的索引名称信息。


5.根据权利要求1所述的处理系统，其特征在于，所述服务器还用于将所述历史数据写入Hadoop分布式文件系统HDFS；
所述服务器通过Spark引擎，读取所述HDFS的所述历史数据，并写入所述Carbondata数据库中离线存储。


6.一种数据存储的处理方法，其特征在于，所述方法包括：
根据业务时间将获取到的数据分为实时数据和历史数据；
将所述实时数据存储在Elasticse...

【专利技术属性】
技术研发人员：盛森林，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33