【技术实现步骤摘要】
本专利技术涉及数据存储，特别涉及一种基于npu神经网络的纠删编码方法。
技术介绍
1、纠删码(erasure coding)是一种广泛应用于数据存储和通信系统中的重要技术，旨在提高数据的冗余性、容错性和可靠性。传统的冗余数据备份方法，如镜像和raid(冗余独立磁盘阵列)，可以提供一定的容错能力，但它们的效率相对较低，因为它们需要存储额外的副本。
技术实现思路
1、本专利技术提供了一种基于npu神经网络的纠删编码方法，将复杂的编码过程从cpu移植到npu，加快对数据的编码速度，大大减轻cpu的负载，实现对多路数据同时进行编码。
2、本专利技术提供了一种基于npu神经网络的纠删编码方法，将解码过程移植至npu处理，对k4m2编码的完整流程包括：
3、s1、加载基于npu的神经网络模型，并获取数据流；
4、s2、进行jerasure算法矩阵分解；
5、s3、构建jerasure算法的神经网络模型；
6、s4、数据切片，对所述数据流进行4块的数据切片；
7、s5、将所述数据流输入到基于npu的神经网络模型进行前向计算；
8、s6、得到前向计算的结果，对所有结果进行异或，得到m1和m2；
9、s7、对m1和m2的结果进行存储；
10、s8、判断数据流是否结束，若否，则返回步骤s4，若是，则结束整个流程。
11、进一步地，纠删编解码包括：
12、总数据块n＝原始数
13、算法允许包括原始数据块和校验块在内的任意m个块出现故障，在数据存储过程中对数据进行编码，数据还原的过程则为解码过程。
14、进一步地，jerasure算法包括：
15、采用有限域乘法gf(2^8)，根据有限域的乘法规则，两个uint8数字相乘后，最大值仍然不超过255，并且可逆；
16、采用半加法，即异或操作；
17、根据k，m的不同配置，具备相对固定的特殊编码系数，k＝4，m＝2时，用gf代表有限域编码，用^代表异或操作，公式如下：
18、m1＝gf(k1*1)^gf(k2*1)^gf(k3*1)^gf(k4*1)
19、m2＝gf(k1*1)^gf(k2*g70)^gf(k3*g143)^gf(k4*g200)。
20、进一步地，纠删编码参数作为模型参数在初始化时定义好，其中m1中kn*1为原始码，只进行异或计算即可，输入为k1、k2、k3、k4四个张量，代表四个512字节的原始码，每个张量的维度为[1,512]，因此构建一个m2的神经网络模型包括a、b、c、d为神经网络层，c2的神经网络模型可以分解为以下实现步骤：
21、t1、记a、b、c、d为神经网络层的名称，对应的为输入k1、k2、k3、k4；
22、t2、计算gf(k1*1)，乘以1为原始码，因此x1＝k1；
23、t3、初始化变换矩阵：定义一个(256，512)的张量参数h256，第一行全部为1，其他全部为0；
24、t4、有限域编码参数g70、g143、g200为[1,256]的常量，对其进行初始化成卷积核参数无需进行训练；
25、t5、计算得到gf(k2*g70)，gf(k3*g143)，gf(k4*g200)；
26、t6、对所有结果进行异或操作得到m2；其中，对所有经过变换过后的结果采用cpu进行异或。
27、本专利技术的有益效果为：
28、npu是一种专门设计用于加速神经网络计算的硬件单元，它可以在处理大规模的数学运算时提供卓越的性能和效率。本专利技术提出基于npu神经网络的纠删编码方法，主要对jerasure算法进行分解，借助npu的并行计算以及矩阵运算能力，将复杂的编码过程从cpu移植到npu，不仅能加快对数据的编码速度，同时能大大减轻cpu的负载，可以实现对多路数据同时进行编码。
本文档来自技高网...【技术保护点】
1.一种基于NPU神经网络的纠删编码方法，其特征在于，将解码过程移植至NPU处理，对k4m2编码的完整流程包括：
2.根据权利要求1所述的基于NPU神经网络的纠删编码方法，其特征在于，纠删编解码包括：
3.根据权利要求2所述的基于NPU神经网络的纠删编码方法，其特征在于，jerasure算法包括：
4.根据权利要求3所述的基于NPU神经网络的纠删编码方法，其特征在于，纠删编码参数作为模型参数在初始化时定义好，其中m1中kn*1为原始码，只进行异或计算即可，输入为k1、k2、k3、k4四个张量，代表四个512字节的原始码，每个张量的维度为[1,512]，因此构建一个m2的神经网络模型包括a、b、c、d为神经网络层，c2的神经网络模型可以分解为以下实现步骤：
【技术特征摘要】
1.一种基于npu神经网络的纠删编码方法，其特征在于，将解码过程移植至npu处理，对k4m2编码的完整流程包括：
2.根据权利要求1所述的基于npu神经网络的纠删编码方法，其特征在于，纠删编解码包括：
3.根据权利要求2所述的基于npu神经网络的纠删编码方法，其特征在于，jerasure算法包括：
4.根据权利要...
【专利技术属性】
技术研发人员：胡胤，刘毅，林涛睿，
申请(专利权)人：深圳市瑞驰信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。