【技术实现步骤摘要】
一种大数据存储优化的方法及装置
本专利技术涉及计算机
，尤其是一种数据存储的方法，具体为一种大数据存储优化的方法及装置。
技术介绍
数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。随着大数据的融合，数据类型各式各样，对存储对象的存储首先要保证数据存储的正确性以及便于检索。现有的数据存储一般采用分块存储，但分块存储后对数据检索时，还是要对同一存储环境下的整个磁盘或者磁带进行遍历搜索，即便采用DAS存储方式(直连存储)，效率也非常低。
技术实现思路
本专利技术的目的在于提供一种大数据存储优化的方法及装置，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种大数据存储优化的方法，包括获取存储内存，将存储内存分割成
【技术保护点】
1.一种大数据存储优化的方法，其特征在于，包括/n获取存储内存，将存储内存分割成多个存储节点，/n记录每一存储节点的虚拟位置和存储容量；/n设定每一存储节点的存储属性，记录存储属性及存储规则，/n设置并使得待存储数据只有在相同的存储属性下才能被存储规则分配到对应的存储节点下；/n将待存储数据进行解码，将解码后的待存储数据发送至编译模块，所述编译模块按照待存储数据的文件属性写入其存储属性，并按照对应的存储规则进行分类，/n分别获取具有相同分类的存储节点的存储容量，/n根据所述存储规则以及存储容量的选择，处理模块利用冗余数据识别方法识别待存储数据中的冗余数据，然后在冗余数据中写...
【技术特征摘要】
1.一种大数据存储优化的方法，其特征在于，包括
获取存储内存，将存储内存分割成多个存储节点，
记录每一存储节点的虚拟位置和存储容量；
设定每一存储节点的存储属性，记录存储属性及存储规则，
设置并使得待存储数据只有在相同的存储属性下才能被存储规则分配到对应的存储节点下；
将待存储数据进行解码，将解码后的待存储数据发送至编译模块，所述编译模块按照待存储数据的文件属性写入其存储属性，并按照对应的存储规则进行分类，
分别获取具有相同分类的存储节点的存储容量，
根据所述存储规则以及存储容量的选择，处理模块利用冗余数据识别方法识别待存储数据中的冗余数据，然后在冗余数据中写入对应虚拟位置的节点码，并存储在对应的存储节点中。
2.根据权利要求1所述的大数据存储优化的方法，其特征在于，所述节点码包括如下信息：对应存储节点的虚拟位置以及存储数据的数据容量；
其中，节点码采用二进制写入。
3.根据权利要求1所述的大数据存储优化的方法，其特征在于，所述存储容量的选择的方法包括：
获取同一虚拟位置下的存储节点的节点码，
对每一节点码进行反编译，获取每一对应存储数据的数据容量，
对存储节点所有数据容量进行求和，并于对应存储节点的存储容量进行比较，得到剩余容量或当前状态下的存储容量。
4.根据权利要求1所述的大数据存储优化的方法，其特征在于，所述编译模块将所要编译的待存储数据写入存储属性，将存储属性按照时间顺序存入处理模块内设置的封装层的数据结构中，
所述封装层的数据结构在处理模块写入节点码时，形成写入节点码数据信息的字头段。
5.根据权利要求1所述的大数据存储优化的方法，其特征在于，所述存储规则同时满足以下条件：
...
【专利技术属性】
技术研发人员：董新建，董瑞朝，李贞，
申请(专利权)人：邦尼集团有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。