AI计算的校验方法和装置制造方法及图纸

本申请提供了一种AI计算的校验方法和装置，该方法由第一计算单元执行，包括：获取第二计算单元处理AI计算的AI模型的参数，AI模型包括一个或多个第一处理层；对一个或多个第一处理层中的每一个第一处理层：从第二计算单元获取第一处理层的输入数据；基于AI模型的参数和第一处理层的输入数据对第一处理层进行校验处理，以得到第一处理层的校验标记位，其中，对第一处理层的校验处理的计算量小于第二计算单元通过第一处理层处理输入数据的计算量；基于校验结果确定第二计算单元处理AI计算的输出结果是否正确，校验结果包括一个或多个第一处理层的校验标记位。该方法可以保证推理计算的正确性和实时性。的正确性和实时性。的正确性和实时性。

【技术实现步骤摘要】
AI计算的校验方法和装置


[0001]本申请涉及人工智能领域，并且更具体的，涉及一种AI计算的校验方法和装置。

技术介绍

[0002]人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能的应用领域广泛，交通、医疗、安防等领域中的数据处理都可以通过AI神经网络来完成，需要分析处理的数据越多，神经网络运算负荷就越大。以智能驾驶场景为例，等级较高的智能驾驶车辆为了实现对周围环境的全面感知往往配备多个摄像头、激光雷达、超声波雷达等传感器，由此产生大量需要处理的信息，且智能驾驶车辆对神经网络推理计算的实时性要求很高，神经网络的推理计算若有滞后，则无法及时提供环境信息给后续的规控决策，降低智能驾驶的安全性。而传统中央处理器(central processing unit，CPU)无法负担如此庞大的神经网络的推理计算，因此，人工智能芯片被用作硬件加速单元专门进行神经网络的推理计算，AI芯片在执行神经网络的推理计算时相较于传统芯片更快速更节能，目前常用的AI芯片包括图形处理器(graphics processing unit，GPU)、现场可编程门阵列(field programmable gate array，FPGA)、专用集成电路(application specific integrated circuit，ASIC)。
[0003]智能驾驶汽车运行在外部环境中，可能遭遇各种恶劣天气和电磁干扰等问题，这要求智能驾驶系统的计算平台具有极高可靠性。CPU、内存等传统器件具有程序流监控、数据流监控、内存校验(error checking and correction，ECC)、奇偶校验等检错容错机制保障CPU和内存中的数据不受软失效的影响。对于AI芯片，为了实现其高速的运算，AI芯片内部一般没有有效的检错机制，并且由于AI芯片与CPU等传统芯片的计算架构不同，传统芯片的检错机制并不能直接应用于AI芯片。
[0004]为了保障智能驾驶的安全，计算平台需要满足汽车安全完整性等级(automotive safety integrity level，ASIL)的要求，需要一种检错方法对AI芯片进行实时性检测，从而保障AI芯片的应用满足应用场景的需求。

技术实现思路

[0005]本申请提供一种AI计算的校验方法和装置，校验方法可以由处理AI计算的计算单元之外的其他计算单元执行，不会对AI计算的处理造成影响，相比于冗余校验，本申请实施例的AI计算的校验方法具有极小的计算量，对用于校验的计算单元性能要求低，相应地降低了硬件成本，为AI芯片的可靠性提供了保障。
[0006]第一方面，提供了一种AI计算的校验方法，方法由第一计算单元执行，方法包括：获取第二计算单元处理AI计算的AI模型的参数，AI模型包括一个或多个第一处理层；对一个或多个第一处理层中的每一个第一处理层分别执行以下校验处理得到一个或多个第一处理层中的每一个第一处理层的校验标记位：从第二计算单元获取第一处理层的输入数
据；基于AI模型的参数和第一处理层的输入数据对第一处理层进行校验处理，以得到第一处理层的校验标记位，其中，对第一处理层的校验处理的计算量小于第二计算单元通过第一处理层处理输入数据的计算量；基于校验结果确定第二计算单元处理AI计算的输出结果是否正确，校验结果包括一个或多个第一处理层中的每一个第一处理层的校验标记位。
[0007]本申请实施例的AI计算的校验方法由执行AI计算的计算单元之外的其他计算单元执行，相比于周期性运行自检库的校验方法，本申请实施例的AI计算的校验方法不会干扰AI模型的推理计算的正常进行，因此不会影响AI计算单元的加速性能，也避免了同一个AI计算单元在执行AI计算时又执行校验，在保证AI模型输出结果的正确性的同时保证AI模型的推理计算的实时性，并且由于校验处理的计算量小于AI计算，因此对用于校验处理的计算单元的性能要求可以不高于用于AI计算的计算单元，相比于冗余计算单元进行校验，本申请实施例提供的异构校验方式可以节省功耗，降低成本。
[0008]在某些可能的实现方式中，AI模型还包括一个或多个第二处理层，方法还包括：对一个或多个第二处理层中的每一个第二处理层分别进行冗余校验得到一个或多个第二处理层中的每一个第二处理层的校验标记位；校验结果还包括一个或多个第二处理层中的每一个第二处理层的校验标记位。
[0009]第二处理层包括池化层和激活层等，由于池化计算和激活计算只占用极少部分的资源，因此即便使用冗余校验也不会消耗过多的资源。
[0010]在某些可能的实现方式中，AI模型的参数包括权重矩阵，第一处理层的输入数据包括特征图矩阵，基于AI模型的参数和第一处理层的输入数据对第一处理层进行校验处理，以得到第一处理层的校验标记位，包括：
[0011]获取第一校验标记位，第一校验标记位是对权重矩阵进行第一校验计算得到的；获取第二校验标记位，第二校验标记位是对特征图矩阵进行第二校验计算得到的；根据第一校验标记位和第二校验标记位获取计算前校验标记位；从第二计算单元获取输出矩阵，输出矩阵为第二计算单元在第一处理层对权重矩阵和特征图矩阵进行计算得到；对输出矩阵进行第三校验计算，以得到计算后校验标记位；根据计算前校验标记位和计算后校验标记位获取校验标记位。
[0012]上述权重矩阵和特征图矩阵可以离线计算得到，并保存在内存中。且上述获得不同标记位的矩阵计算不同。本申请实施例的AI计算的校验方法针对AI模型中的不同处理层设计了不同的校验方式，最大限度节约了计算资源，使得校验可以在计算能力较低的计算单元中进行，降低了校验的成本。
[0013]在某些可能的实现方式中，校验标记位表示计算前校验标记位和计算后校验标记位是否一致，基于校验结果确定第二计算单元处理AI计算的输出结果是否正确，包括：如果校验结果中存在至少一个校验标记位表示计算前校验标记位和计算后校验标记位不一致，则输出结果不正确。
[0014]在某些可能的实现方式中，第一处理层为卷积层或全连接层。多个第一处理层可以包括多个卷积层，或，多个全连接层，或，一个或多个卷积层和一个或多个全连接层。
[0015]在某些可能的实现方式中，当判断输出结果不正确时，第二计算单元的状态包括瞬态失效和永久性失效。
[0016]在某些可能的实现方式中，当判断输出结果不正确时，方法还包括：通过运行自检
库确定第二计算单元的状态为瞬态失效或永久性失效。
[0017]在某些可能的实现方式中，方法还包括：当第二计算单元的状态为永久性失效时，上报第二计算单元的失效状态。
[0018]本申请实施例的AI计算的校验方法在确定了硬件失效后还可以进一步判断硬件的具体失效状态，若计算单元只是发生瞬态失效，则可以继续使用该计算单元，从而避免资源的浪费，提升了AI芯片的可用性。
[0019]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能AI计算的校验方法，其特征在于，所述方法由第一计算单元执行，所述方法包括：获取第二计算单元处理所述AI计算的AI模型的参数，所述AI模型包括一个或多个第一处理层；对所述一个或多个第一处理层中的每一个第一处理层分别执行以下校验处理得到所述一个或多个第一处理层中的每一个第一处理层的校验标记位：从所述第二计算单元获取所述第一处理层的输入数据；基于所述AI模型的参数和所述第一处理层的输入数据对所述第一处理层进行校验处理，以得到所述第一处理层的校验标记位，其中，对所述第一处理层的校验处理的计算量小于所述第二计算单元通过所述第一处理层处理所述输入数据的计算量；基于校验结果确定所述第二计算单元处理所述AI计算的输出结果是否正确，所述校验结果包括所述一个或多个第一处理层中的每一个第一处理层的校验标记位。2.根据权利要求1所述的方法，其特征在于，所述AI模型还包括一个或多个第二处理层，所述方法还包括：对所述一个或多个第二处理层中的每一个第二处理层分别进行冗余校验得到所述一个或多个第二处理层中的每一个第二处理层的校验标记位；所述校验结果还包括所述一个或多个第二处理层中的每一个第二处理层的校验标记位。3.根据权利要求1或2所述的方法，其特征在于，所述AI模型的参数包括权重矩阵，所述第一处理层的输入数据包括特征图矩阵，所述基于所述AI模型的参数和所述第一处理层的输入数据对所述第一处理层进行校验处理，以得到所述第一处理层的校验标记位，包括：获取第一校验标记位，所述第一校验标记位是对所述权重矩阵进行第一校验计算得到的；获取第二校验标记位，所述第二校验标记位是对所述特征图矩阵进行第二校验计算得到的；根据所述第一校验标记位和所述第二校验标记位获取计算前校验标记位；从所述第二计算单元获取输出矩阵，所述输出矩阵为所述第二计算单元在所述第一处理层对所述权重矩阵和所述特征图矩阵进行计算得到；对输出矩阵进行第三校验计算，以得到计算后校验标记位；根据所述计算前校验标记位和所述计算后校验标记位获取所述校验标记位。4.根据权利要求3所述的方法，其特征在于，所述校验标记位表示所述计算前校验标记位和所述计算后校验标记位是否一致，所述基于校验结果确定所述第二计算单元处理所述AI计算的输出结果是否正确，包括：如果所述校验结果中存在至少一个所述校验标记位表示所述计算前校验标记位和所述计算后校验标记位不一致，则所述输出结果不正确。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一处理层为卷积层或全连接层。6.根据权利要求1至5中任一项所述的方法，其特征在于，当判断所述输出结果不正确时，所述第二计算单元的状态包括瞬态失效和永久性失效。
7.根据权利要求6所述的方法，其特征在于，当判断所述输出结果不正确时，所述方法还包括：通过运行自检库确定所述第二计算单元的状态为瞬态失效或永久性失效。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：当所述第二计算单元的状态为永久性失效时，上报所述第二计算单元的失效状态。9.一种AI计算的校验方法，其特征在于，所述方法由第一计算单元执行，所述方法包括：获取第二计算单元处理所述AI计算的AI模型的输出结果的校验结果，所述校验结果为判定所述输出结果不正确；运行自检库确定所述第二计算单元的状态为瞬态失效或永久性失效。10.根据权利要求9所述的方法，其特征在于，所述运行自检库确定所述第二计算单元的状态为瞬态失效或永久性失效，包括：当所述运行自检库的运行结果为没有故障时，所述第二计算单元的状态为瞬态失效；当所述运行自检库的运行结果为有故障时，所述第二计算单元的状态为永久性失效。11.根据权利要求9或10所述的方法，其特征在于，所述方法还包括：当所述第二计算单元的状态为瞬态失效时，舍弃所述输出结果；当所述第二计算单元的状态为永久性失效时，上报所述第二计算单元的失效状态。12.一种AI计算的校验装置，其特征在于，所述装置包括：收发单元，用于获取第二计算单元处理所述AI计算的AI模型的参数，所述AI模型包括一个或多个第一处理层；对所述一个或多个第一处理层中的每一个第一处理层分别执行以下校验处理得到所述一个或多个第一处理层中的每一个第一处理层的校验标记位：所述收发单元还用于，从所述第二计算单元获取所述第一处理层的输入数据；处理单元，用于基于所述AI模型的参数和所述第一处理层的输入数据对所述第一...

【专利技术属性】
技术研发人员：王矿磊，陈艺帆，陈清龙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：