基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法技术

本发明专利技术公开了一种基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，具包括：1、对快速傅里叶变换后的数据进行预处理；2、基于Hadoop平台对FFT变换后的模拟函数选取一种压缩算法进行压缩；3、将压缩后的数据存储在分布式文件系统HDFS上。本发明专利技术基于Hadoop平台采用模拟函数数据分块压缩存储的方法，不仅降低了压缩比，扩张了存储容量，而且在保证了压缩速率的同时也提高了数据的读写速度。Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架，借助这个框架对数据进行压缩存储，与传统的压缩和存储方法相比，压缩的速率、存储的安全性和可靠性，都有大大提高。

【技术实现步骤摘要】
基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法
本专利技术涉及数据压缩以及云存储
，尤其涉及一种基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法。
技术介绍
Hadoop开源系统自其问世以来，因其可以部署在廉价硬件上的优点，特别适合数据的压缩和存储，在世界范围内已经得到了广泛应用。国内外对Hadoop及存储技术的研究在不断发展，针对大数据，许多学者和专家对数据压缩存储进行研究。例如有学者提出了一种基于特征向量的物联网大数据压缩算法。该算法按照每个标签的读取实际间隔、在该段时间内读取次数以及标签读取时的平均信号强度作为无线射频标签的特征，组成三元特征向量空间，并在此基础上对海量标签数据进行压缩。但是目前基于Hadoop平台对数据分块压缩存储的方法存在压缩速率不高、存储容量不大等缺点。
技术实现思路
本专利技术提出了一种基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，用于解决现有技术中基于Hadoop平台对数据分块压缩存储的方法存在压缩速率不高、存储容量不大的技术问题本文档来自技高网...

【技术保护点】
1.基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，其特征在于：包括以下步骤：/n(1)对快速傅里叶变换后的数据进行预处理，获取模拟函数；/n(2)基于Hadoop平台对预处理后的模拟函数选取一种压缩算法进行压缩；/n(3)将压缩后的数据存储在分布式文件系统HDFS上。/n

【技术特征摘要】
1.基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，其特征在于：包括以下步骤：
(1)对快速傅里叶变换后的数据进行预处理，获取模拟函数；
(2)基于Hadoop平台对预处理后的模拟函数选取一种压缩算法进行压缩；
(3)将压缩后的数据存储在分布式文件系统HDFS上。


2.根据权利要求书1所述的基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，其特征在于：所述步骤(1)中对快速傅里叶变换后的数据进行预处理的方法，包括以下步骤：
(2.1)利用最小二乘拟合方法对快速傅里叶变换后的数据进行拟合；
(2.2)用MATLAB软件求其拟合曲线；
(2.3)根据拟合曲线获取与其轨迹相近的函数，即快速傅里叶变换后的模拟函数。


3.根据权利要求书1所述的基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，其特征在于：所述步骤(2)中的压缩算法包括LZO、Gzip、Bzip2、snappy和Default五种。


4.根据权利要求书2或3所述的基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，其特征在于：所述步骤(2)中基于Hadoop平台对快速傅里叶变换后的模拟函数进行压缩的方法，包括以下步骤：
(4.1)在Hadoop上配置相应压缩算法的相关文件；
(4.2)将预处理后的模拟函数进行Block分块处理；
(4.3)在Hadoop平台上利用JAVA中的Codec类编码/解码器选取相应的压缩算法对分块后的数据块进行压缩。


5.根据权利要求书4所述的基于Hadoop平台对快速傅里叶变换后的模拟量压缩存储的方法，其特征在于：所述步骤(4.1)中在Hadoop上配置相应压缩算法的相关文件，具体操作为：
(4.1.1)获取相应压缩算法的库压缩包，解压并安装，然后配置共享库；
(4.1.2)执行make指令编译库，执行makeinstall指令安装库...

【专利技术属性】
技术研发人员：陈家林，苗红霞，齐本胜，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32