海量数据存储的方法及终端设备技术

本发明专利技术适用于数据处理技术领域，提供了一种海量数据存储的方法及终端设备，该方法包括：获取待存储数据；将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性；采用面向列的形式，存储所述多个列数据，可以减少存储空间，提高存储空间利用率。

【技术实现步骤摘要】
海量数据存储的方法及终端设备
本专利技术属于数据处理
，尤其涉及一种海量数据存储的方法及终端设备。
技术介绍
随着Internet技术的飞速发展，运行于Internet上的各种应用和服务也随之大量涌现，大数据的时代已经来临。对于海量数据的存储，通常采用以行的形式进行数据的存储，即每一行存储一条记录的各个属性，每一个属性都需要占用存储空间。然而，采用现有技术存储海量数据，由于一条记录中的每一个属性都需要占用存储空间，导致存储空间利用率较低。
技术实现思路
有鉴于此，本专利技术实施例提供了一种海量数据存储的方法及终端设备，以解决现有技术中存储、读取海量数据，由于一条记录中的每一个属性都需要占用存储空间，导致存储空间利用率较低的问题。本专利技术实施例的第一方面提供了一种海量数据存储的方法，包括：获取待存储数据；将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性；采用面向列的形式，存储所述多个列数据。在一实施例中，在将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性之后，所述方法还包括：确定所有列数据中的主键数据对应的主键列数据；本文档来自技高网...

【技术保护点】
1.一种海量数据存储的方法，其特征在于，包括：获取待存储数据；将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性；采用面向列的形式，存储所述多个列数据。

【技术特征摘要】
1.一种海量数据存储的方法，其特征在于，包括：获取待存储数据；将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性；采用面向列的形式，存储所述多个列数据。2.如权利要求1所述的海量数据存储的方法，其特征在于，在所述将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性之后，所述方法还包括：确定所有列数据中的主键数据对应的主键列数据；按照所述主键列数据、除所述主键列数据之外的列数据顺序排列。3.如权利要求2所述的海量数据存储的方法，其特征在于，在所述按照所述主键列数据、除所述主键列数据之外的列数据顺序排列之后，所述方法还包括：将所述所有列数据按预设规则进行分区，获得分区后的列数据。4.如权利要求3所述的海量数据存储的方法，其特征在于，所述将所述所有列数据按预设规则进行分区，获得分区后的列数据，包括：将所述主键列数据按预设规则分区，获得分区后的主键列数据；将除所述主键列数据之外的列数据按照所述主键列数据的分区方式进行分区，获得分区后的列数据。5.如权利要求4所述的海量数据存储的方法，其特征在于，在所述将所有列数据按预设规则进行分区，获得分区后的列数据之后，所述方法还包括：根据业务需求的数据的属性，确定对应的需求列数据；按照业务需求建立各个分区与所述需求列数据的索引表，所述索引表包括索引号、分区标号和所述分区标号对应的所述需求列数据。6.如权利要求3所述的海量数据存储的方法，其特征在于，所述采用面向列的形式，存储所述多个列数据，包括：将所述分区后的列数据进行压缩，采用面向列的形式将压缩后的多个列数据进行存储。7.如权利要求6所述的海量数据存储的方法，其特征在于，所述将所述分区后的列数据进行压缩，包括：A、将所述列数据中的任一第一数据存入缓存中，将所述第一数据中各个字节依次与第一存储区内存储的第二数...

【专利技术属性】
技术研发人员：田森，常子祯，安平凯，黄小浦，
申请(专利权)人：中科恒运股份有限公司，
类型：发明
国别省市：河北,13