数据冗余方法及装置制造方法及图纸

一种数据冗余方法和装置，所述数据冗余方法包括：将数据划分为M个重要等级；提取每一重要等级中的每一数据的重要比特位；以及针对所述重要比特位进行数据冗余处理，其中M为正整数。

Data Redundancy Method and Device

A data redundancy method and device includes: dividing data into M important levels; extracting important bits of each data in each important level; and data redundancy processing for the important bits, where M is a positive integer.

【技术实现步骤摘要】
数据冗余方法及装置
本专利技术涉及数据处理领域，更具体地涉及一种数据冗余方法及装置。
技术介绍
数据冗余技术采用副本冗余或者纠错编码的方式提高数据的安全性和可靠性，但是数据冗余技术带来巨大的存储容量开销和访存功耗开销，针对大规模的数据，这个问题会更加严重。因此如何结合数据的特性进行数据冗余成为一个亟待解决的问题。
技术实现思路
鉴于现有方案存在的问题，为了克服上述现有技术方案的不足，本专利技术提出了一种数据冗余方法及装置。根据本专利技术的一个方面，提供了一种数据冗余方法，包括：将数据划分为M个重要等级；提取每一重要等级中的每一数据的重要比特位；以及针对所述重要比特位进行数据冗余处理，其中M为正整数。在本专利技术的一些实施例中，所述数据冗余处理包括副本冗余处理和/或纠错编码处理。在本专利技术的一些实施例中，所述纠错编码处理包括循环冗余校验(CRC)和/或错误检查和纠正(ECC)。在本专利技术的一些实施例中，对数据进行纠错编码处理包括：对该数据采用循环冗余校验(CRC)的方式进行冗余存储，当进行读操作时，读取存储循环冗余校验码，并对原始数据进行循环冗余校验码计算，如果两个循环冗余校验码不一致本文档来自技高网...

【技术保护点】
1.一种数据冗余方法，其中，包括：将数据划分为M个重要等级；提取每一重要等级中的每一数据的重要比特位；以及针对所述重要比特位进行数据冗余处理，其中M为正整数。

【技术特征摘要】
1.一种数据冗余方法，其中，包括：将数据划分为M个重要等级；提取每一重要等级中的每一数据的重要比特位；以及针对所述重要比特位进行数据冗余处理，其中M为正整数。2.根据权利要求1所述的数据冗余方法，其中，所述数据冗余处理包括副本冗余处理和/或纠错编码处理。3.根据权利要求2所述的数据冗余方法，其中，所述纠错编码处理包括循环冗余校验(CRC)和/或错误检查和纠正(ECC)。4.根据权利要求3所述的数据冗余方法，其中，对数据进行纠错编码处理包括：对该数据采用循环冗余校验(CRC)的方式进行冗余存储，当进行读操作时，读取存储循环冗余校验码，并对原始数据进行循环冗余校验码计算，如果两个循环冗余校验码不一致，则按照存储的循环冗余校验码对该数据进行修正，进行写操作时，同时存储该数据的原始数据和循环冗余校验码。5.根据权利要求3所述的数据冗余方法，其中，对数据进行纠错编码处理包括：对该数据采用错误检查和纠正(ECC)内存进行冗余存储，在进行读写操作时，错误检查和纠正(ECC)内存自动进行检错和纠错处理。6.根据权利要求2所述的数据冗余方法，其中，所述副本冗余处理包括同时备份N份副本，其中N≥2，为正整数。7.根据权利要求6所述的数据冗余方法，其中，对数据的重要比特位进行副本冗余处理包括：进行读操作时，对于重要比特位同时读取原始数据和备份的N份数据，若出现数据不一致，则取相同的N份数据作为最终读取的数据，同时将第N+1份不一致数据修复，当进行写操作时，对于重要比特位同时写回到N个备份地址，同时保证原始数据中的数据和N个备份数据一致。8.根据权利要求1-7中任一所述的数据冗余方法，其中，所述将数据划分为M个重要等级包括根据数据的大小、数据绝对值的大小、数据的类型、数据的读操作频率及数据的写操作频率中的至少一个来进行划分。9.根据权利要求8所述的数据冗余方法，其中，所述数据包括神经网络参数，按照神经网络参数的绝对值划分M个重要等级，按照由大到小的顺序设定M+1个阈值T0，T1，T2，...及TM，当神经网络参数的绝对值D满足Ti-1＞D＞Ti时，该数据归为第i个重要等级，其中i＝1，2……，M，T0，T1，T2，...及TM均为实数，且T0＞T1＞T2＞...＞TM≥0。10.根据权利要求8所述的数据冗余方法，其中，所述数据包括稀疏神经网络参数，所述稀疏神经网络参数包括非零参数和非零参数位置，所述非零参数位置设置为第1重要等级，非零参数按照参数绝对值划分M-1个重要等级，按照由大到小的顺序设定M个阈值T1，T2，...及TM，当非零参数的绝对值D满足Ti-1＞D＞Ti时，该数据归为第i个重要等级，其中i＝2，3……，M，T1，T2，...及TM均为实数，且T1＞T2＞...＞TM≥0。11.根据权利要求8所述的数据冗余方法，其中，所述数据包括图计算应用数据，包括顶点数据和边数据，所述顶点数据设置为第1重要等级，边数据按照访问频率划分M-1个重要等级，按照由大到小的顺序设定M个阈值T1，T2，...及TM，当边数据按照访问频率F满足Ti-1＞F＞Ti时，该数据归为第i个重要等级，其中i＝2，3……，M，T1，T2，...及TM-1均为实数，且T1＞T2＞...＞TM≥0。12.根据权利要求1-7中任一所述的数据冗余方法，其中，提取每一重要等级中的每一数据的重要比特位包括：所述数据为浮点型参数，设置符号位、指数部分以及底数部分前y位指定为重要比特位，y为正整数；和/或所述数据为定点型参数，设置符号位、数值部分前z位指定为重要比特位，z为正整数。13.一种数据冗余装置，其中，包括：重要等级划分单元，用于将数据划分为M个重要等级；重要比特位提取单元，用于提取每一重要等级中的每一数据的重要比特位；以及数据冗余处理...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海,31