【技术实现步骤摘要】
本专利技术属于人工神经网络领域，具体涉及一种实现神经网络容错功能的蒸馏在线训练电路及方法。
技术介绍
1、作为一种新型的非易失性存储器，忆阻器具有与生物突触相似的特性，使其能够用于实现类脑学习，忆阻器凭借低功耗、高集成度等优势，被广泛应用于各种神经网络的硬件实现。深度神经网络(dnn)目前已经成为解决复杂问题的重要工具，并用于处理各种复杂的任务，如图像识别和大数据分析，深度神经网硬件架构也被广泛研究，存算一体通过在存储单元中直接进行计算，克服了冯诺依曼架构在数据存储与计算单元之间的频繁数据传输的瓶颈，是实现深度神经网络硬件架构最有效的方法之一。
2、深度学习技术的快速发展使得模型的规模和复杂度不断增大，这导致对计算资源和能效需求的不断增加。知识蒸馏作为一种有效的模型压缩技术，通过将复杂模型的知识迁移到较小的模型中，已被广泛用于来提高小型模型的性能，从而在较低的计算和存储成本下实现高精度推理。传统的知识蒸馏依赖于通用计算平台上的离线训练，难以满足边缘设备上的实时性能和低功耗要求，开发专门用于知识蒸馏的硬件架构可以将蒸馏算法的理...
【技术保护点】
1.一种实现神经网络容错功能的蒸馏在线训练的电路，其特征在于，包括学生模型神经网络模型电路、教师模型神经网络模型电路和知识蒸馏训练损失计算模块，学生模型神经网络模型电路和教师模型神经网络模型电路对称分布；
2.根据权利要求1所述的一种实现神经网络容错功能的蒸馏在线训练电路，其特征在于，学生模型中每层的输出特征图，与教师模型中相应层的输出特征图均连接特征蒸馏损失计算模块，通过特征蒸馏损失计算模块进行计算和比较。
3.如权利要求1或2所述的一种实现神经网络容错功能的蒸馏在线训练方法，其特征在于，包括如下步骤：
4.根据权利要求3所述的一...
【技术特征摘要】
1.一种实现神经网络容错功能的蒸馏在线训练的电路，其特征在于，包括学生模型神经网络模型电路、教师模型神经网络模型电路和知识蒸馏训练损失计算模块，学生模型神经网络模型电路和教师模型神经网络模型电路对称分布；
2.根据权利要求1所述的一种实现神经网络容错功能的蒸馏在线训练电路，其特征在于，学生模型中每层的输出特征图，与教师模型中相应层的输出特征图均连接特征蒸馏损失计算模块，通过特征蒸馏损失计算模块进行计算和比较。
3.如权利要求1或2所述的一种实现神经网络容错功能的蒸馏在线训练方法，其特征在于，包括如下步骤：
4.根据权利要求3所述的一种实现神经网络容错功能的蒸馏在线训练方法，其特征在于，当忆阻神经网络中的忆阻器无故障时，利用忆阻交叉阵列构成的lenet-5模型和alexnet模型在mnist数据集和cifar-10数据集上的精度可达98.67％和76.29％；当忆阻器存在缺陷时，忆阻交叉阵列构成的两个神经网络模型在两个数据集上的推理精度受到损害，无法满足精度需求。
5.根据权利要求3所述的一种实现神经网络容错功能的蒸馏在线训练方法，其特征在于，通过将忆阻交叉阵列划分为至少2个区域，对每个区域进行故障检测，代替传统的单个忆阻器检测，对所有忆阻器写入相同变化△r，之后对每个测试区域从输入端口施加测试电压vtest，计算输出测试结果△r×vtest；使用所设计的故障检测电路，通过静态电压比较法将输出结果与设置的参考电压进行比较，如果与理想情况存在差异，则确定...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。