一种基于大数据的数据压缩存储方法技术

本发明专利技术提供一种基于大数据的数据压缩存储方法，涉及数据压缩技术领域。该基于大数据的数据压缩存储方法，具体包括以下步骤：S1.大数据预处理，S2.数据在线分类，S3.深度学习模型，S4.模型评估验证，S5.数据编码压缩，S6.存储和索引，S7.数据节点解压缩。通过超参数优化的方法对训练好的深度学习模型进行评估和验证，进而实现通过调整超参数的值来找到最佳的组合，以提高模型的性能和泛化能力，最终确保模型的训练数据具有代表性，能够反映实际应用场景中的数据分布和特征，提高了数据的真实性与可视化效果，并且通过人工标注提高了分类时的准确性以及类别的多样化性，提高了解压缩过程中对数据调取效率。

【技术实现步骤摘要】

本专利技术涉及数据压缩，具体为一种基于大数据的数据压缩存储方法。

技术介绍

1、数据压缩是一种将原始数据转换为更紧凑形式的过程，以减少数据占用的存储空间或传输带宽，数据压缩可以通过消除数据中的冗余信息、利用统计规律、使用压缩算法等方式来实现，压缩后的数据可以在存储、传输和处理过程中节省资源和时间，数据压缩广泛应用于各种领域，包括文件压缩、图像压缩、音频压缩以及视频压缩，其中还存在一种可以在大数据环境下实现高效的数据压缩存储的方法。

2、现有技术中，在进行大数据压缩过程通常采用的是使用深度学习模型进行数据压缩和存储，然而深度学习模型通常被认为是黑盒模型，其内部的特征表示和决策过程难以解释。这可能导致在数据解压缩过程中出现问题时难以进行调试和修复，并且深度学习模型的性能和效果受到训练数据的影响。如果训练数据不充分或不具有代表性，可能会导致模型的性能下降，从而影响数据的准确性。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本专利技术提供了一种基于大数据的数据压缩存储方法，本文档来自技高网...

【技术保护点】

1.一种基于大数据的数据压缩存储方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于：所述S1.大数据预处理中，具体的数据清洗是首先对原始数据进行清洗，其中对于缺失值删除包含缺失值的样本或者使用插补方法填充缺失值，对于异常值删除以及修正异常值，对于重复值则删除重复以及合并重复的样本。

3.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于：所述S2.数据在线分类中，人工标注后使用共享标签传递模型进行训练，反馈到分片过程后完成分类的详细过程如下：

4.根据权利要求1所述的一种基于大数据的...

【技术特征摘要】

1.一种基于大数据的数据压缩存储方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于：所述s1.大数据预处理中，具体的数据清洗是首先对原始数据进行清洗，其中对于缺失值删除包含缺失值的样本或者使用插补方法填充缺失值，对于异常值删除以及修正异常值，对于重复值则删除重复以及合并重复的样本。

3.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于：所述s...

【专利技术属性】
技术研发人员：曾鹏，陈丹霞，谢畅，赖清南，林铠，周海斌，方洁，
申请(专利权)人：深圳市易行网数字科技有限公司，
类型：发明
国别省市：