本说明书公开了一种深度学习模型推理的实时校验方法，可以确定出每个校验数据及每个校验数据对应的结果数据，而后，响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向待检测数据中加入校验数据得到批数据，将批数据输入到预测模型中，得到待检测数据对应的预测结果和至少一个校验数据对应的预测结果。进而，根据校验数据对应的预测结果与校验数据对应的结果数据，确定校验结果，若确定校验结果表示校验通过，将待检测数据对应的预测结果返回给用户，若确定校验结果表示校验未通过，通过预测模型对待检测数据重新进行推理并对重新进行推理得到的预测结果进行校验，从而减少了通过三模冗余方式进行校验所导致的计算资源的消耗。
【技术实现步骤摘要】
本说明书涉及深度学习、系统容错交叉领域，尤其涉及一种深度学习模型推理的实时校验方法。
技术介绍
1、当前，在太空边缘计算领域中，为了减少卫星向地面传输数据所消耗的时间，某些任务可以直接在卫星上通过设备(cpu、gpu等)来进行执行，因此，在卫星端，可以直接通过深度学习模型来执行任务。例如，卫星端可以通过深度学习模型对采集的地面图像进行三维重建，再例如，卫星端可以通过深度学习模型对采集得到的空中图像进行目标识别(如飞行器的识别)。
2、在太空边缘计算中，当训练好的深度学习模型投入使用后，由于存在单粒子翻转(single-event upsets，seu)的现象，将影响卫星端通过深度学习模型进行任务推理的准确性。
3、而在现有技术中，通常对深度学习模型实时得到的结果进行验证的方式为三模冗余的方式，例如，对于一个深度学习模型来说，可以将该深度学习模型分别部署在三个设备中，每个设备都进行三次同样的推理，来保证结果的准确性。然而，这种校验方案存在一些缺点。首先，三模冗余通常需要额外的计算和存储开销，限制了其在资源受限环境中的应用；其次，三模冗余需要最后结果输出进行投票，模型加载三次，模型推理三次，等待三个模型的推理结果，也需要比较高的延时。
4、因此，如何在实现太空边缘计算场景中对深度学习模型的验证时，降低计算资源的开销，则是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种深度学习模型推理的实时校验方法，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种深度学习模型推理的实时校验方法，包括：
4、构建校验数据池，所述校验数据池包含每个校验数据及每个校验数据对应的结果数据；
5、响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据；
6、将所述批数据输入到预测模型中，得到所述预测模型的预测结果，所述预测结果中包含所述待检测数据对应的预测结果和所述至少一个校验数据对应的预测结果；
7、根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，所述校验结果用于表示所述预测模型针对所述待检测数据的预测结果是否通过校验；
8、若确定所述校验结果表示校验通过，将所述待检测数据对应的预测结果返回给所述用户，若确定所述校验结果表示校验未通过，通过所述预测模型对所述待检测数据重新进行推理并对重新进行推理得到的预测结果进行校验。
9、可选地，构建校验数据池，具体包括：
10、在所述预测模型投入使用前，从所述预测模型的训练数据中抽取出至少部分数据，并根据所述至少部分数据，构建校验数据池，其中，所述至少部分数据中的样本数据作为校验数据、所述至少部分数据中的样本数据对应的标注信息作为结果数据。
11、可选地，构建校验数据池，具体包括：
12、获取历史上校验完成的批数据；
13、从所述批数据中获取到校验结果表示校验通过的待检测数据，作为目标数据；
14、根据所述目标数据，以及在校验通过的情况下所述预测模型针对目标数据输出的预测结果，构建所述校验数据池。
15、可选地，根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，具体包括：
16、若确定所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据一致，则确定所述校验结果表示校验通过。
17、可选地，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据，具体包括：
18、根据所述待检测数据，构造所述预测模型所需要的张量，作为用户张量；
19、根据所述至少一个校验数据，确定校验张量；
20、将所述用户张量和所述校验张量进行合并，得到所述预测模型的输入张量，并将所述输入张量，作为批数据。
21、本说明书提供了一种深度学习模型推理的实时校验装置，包括：
22、构建模块，用于构建校验数据池，所述校验数据池包含每个校验数据及每个校验数据对应的结果数据；
23、获取模块，用于响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据；
24、输入模块，用于将所述批数据输入到预测模型中，得到预测模型的预测结果，该预测结果中包含所述待检测数据对应的预测结果和所述至少一个校验数据对应的预测结果；
25、确定模块，用于根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，所述校验结果用于表示所述预测模型针对所述待检测数据的预测结果是否通过校验；
26、校验模块，用于若确定所述校验结果表示校验通过，将所述待检测数据对应的预测结果返回给所述用户，若确定所述校验结果表示校验未通过，通过所述预测模型对所述待检测数据重新进行推理并对重新进行推理得到的预测结果进行校验。
27、可选地，所述构建模块具体用于，在所述预测模型投入使用前，从所述预测模型的训练数据中抽取出至少部分数据，并根据所述至少部分数据，构建校验数据池，其中，所述至少部分数据中的样本数据作为校验数据、所述至少部分数据中的样本数据对应的标注信息作为结果数据。
28、可选地，所述构建模块具体用于，获取历史上校验完成的批数据；从所述批数据中获取到校验结果表示校验通过的待检测数据，作为目标数据；根据所述目标数据，以及在校验通过的情况下所述预测模型针对目标数据输出的预测结果，构建所述校验数据池。
29、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述深度学习模型推理的实时校验方法。
30、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述深度学习模型推理的实时校验方法。
31、本说明书采用的上述至少一个技术方案能够达到以下有益效果：
32、从上述一种深度学习模型推理的实时校验方法中可以看出，构建校验数据池，校验数据池包含每个校验数据及每个校验数据对应的结果数据，而后，响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向待检测数据中加入至少一个校验数据，得到批数据，将批数据输入到预测模型中，得到预测模型的预测结果，预测结果中包含待检测数据对应的预测结果和至少一个校验数据对应的预测结果。进而，根据至少一个校验数据对应的预测结果与至少一个校验数据对应的结果数据，确定校验结果，校验结果用于表示预测模型针对待检测数据的预测结果是否通过校验。若确定校验结果表示校验通过，将待检测数据对应的预测结果返回给所述用户，若确定校验结果表示校验未通过本文档来自技高网
...
【技术保护点】
1.一种深度学习模型推理的实时校验方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，构建校验数据池，具体包括：
3.如权利要求1所述的方法，其特征在于，构建校验数据池，具体包括：
4.如权利要求1所述的方法，其特征在于，根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，具体包括：
5.如权利要求1所述的方法，其特征在于，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据，具体包括：
6.一种深度学习模型推理的实时校验装置，其特征在于，包括：
7.如权利要求6所述的装置，其特征在于，所述构建模块具体用于，在所述预测模型投入使用前，从所述预测模型的训练数据中抽取出至少部分数据，并根据所述至少部分数据，构建校验数据池，其中，所述至少部分数据中的样本数据作为校验数据、所述至少部分数据中的样本数据对应的标注信息作为结果数据。
8.如权利要求6所述的装置，其特征在于，所述构建模块具体用于，获取历史上校验完成的批数据；从所述批数据中获取到校验结果表示校验通过的待检测数据，作为目标数据；根据所述目标数据，以及在校验通过的情况下所述预测模型针对目标数据输出的预测结果，构建所述校验数据池。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～5任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～5任一项所述的方法。
...
【技术特征摘要】
1.一种深度学习模型推理的实时校验方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，构建校验数据池，具体包括：
3.如权利要求1所述的方法，其特征在于，构建校验数据池，具体包括：
4.如权利要求1所述的方法，其特征在于，根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，具体包括：
5.如权利要求1所述的方法，其特征在于，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据，具体包括：
6.一种深度学习模型推理的实时校验装置，其特征在于，包括：
7.如权利要求6所述的装置，其特征在于，所述构建模块具体用于，在所述预测模型投入使用前，从所述预测模型的训练数据中抽取出至少部分数据，...
【专利技术属性】
技术研发人员：唐晓瑜，汤昭荣，崔姝瑶，邱吉冰，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。