一种基于神经架构搜索的抗单粒子翻转网络结构优化方法及系统技术方案

本发明专利技术公开了一种基于神经架构搜索的抗单粒子翻转网络结构优化方法及系统，对于单粒子翻转干扰效应模拟功能，首先根据神经网络模型不同层所含数据的不同进行区分，然后按照给定比例分别对神经网络模型参数、神经网络模型输入及输出数据进行抽样，进而对抽取得到的数据进行二进制转换，然后对转换后的二进制位进行采样并进行位翻转操作，得到模拟单粒子翻转干扰后的数据并将翻转后的二进制数据重新转换为十进制数据，最终实现对单粒子翻转的准确模拟。对于抗单粒子翻转模型结构优化算法，引入上述单粒子翻转干扰模拟算法，结合神经架构搜索方法，将封装好的单粒子翻转模拟函数与神经架构搜索算法相结合，实现抗单粒子翻转神经网络模型的结构优化。网络模型的结构优化。网络模型的结构优化。

【技术实现步骤摘要】
一种基于神经架构搜索的抗单粒子翻转网络结构优化方法及系统


[0001]本专利技术属于人工智能
，涉及一种基于神经架构搜索的抗单粒子翻转网络结构优化方法及系统。

技术介绍

[0002]当人工智能芯片作为星载芯片搭乘卫星并应用于太空环境时，芯片会受到太空辐照的影响，尤其是太空中高能粒子带来的辐射和冲击现象会导致芯片产生单粒子翻转效应。单粒子翻转对智能芯片存储单元的干扰会使得存储器单元所保存的参数出现错误，该错误映射到神经网络中会造成神经网络最后的输出结果出现偏差。针对上述问题，研究人员分别从硬件和软件两个角度提升芯片的抗单粒子翻转性能：1)从硬件角度出发，早期抗单粒子翻转方法主要侧重于改进芯片的制作工艺，例如使用SOI器件，SOI器件结构的埋氧化层使得器件之间完全隔离，可以从根本上消除单粒子闩锁效应，但该结构无法阻止质子的穿透，底部渗入的质子仍会导致单粒子翻转效应的产生；2)从软件角度出发，研究人员尝试从网络结构角度解决单粒子翻转干扰对神经网络模型的影响。Lee等人分析前馈神经网络模型的容错能力，提出在模型训练过程中随机断开权重以提高错误恢复能力。Assoum等人分析了人工神经网络在太空环境中抗单粒子翻转的鲁棒性。Arechiga和Michaels等人针对VGG16，ResNet50和InceptionV3三种不同的网络结构在推理阶段参数出错时网络模型的鲁棒性，分析了单粒子翻转干扰造成的权重出错对模型的影响，导致神经网络模型在遭受单粒子翻转时模型性能降低。

技术实现思路

[0003]本专利技术的目的在于解决现有技术中空间中高能粒子导致的单粒子翻转效应对神经网络模型性能造成干扰的问题，提供一种基于神经架构搜索的抗单粒子翻转网络结构优化方法及系统。
[0004]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0005]本专利技术提出的一种基于神经架构搜索的抗单粒子翻转网络结构优化方法，包括如下步骤：
[0006]根据单粒子翻转干扰模型获取模拟函数；
[0007]根据模拟函数构建抗单粒子模型架构搜索空间；
[0008]根据抗单粒子模型架构搜索空间构建超网络；
[0009]根据构建的超网络确定搜索策略，实现抗单粒子翻转网络结构优化。
[0010]优选地，获取单粒子翻转干扰模型的方法如下：
[0011]将需要进行单粒子翻转模拟的参数由十进制转换为二进制；
[0012]随机采样该数据的二进制位并确定需要翻转的二进制位，进而对选定的二进制位进行位翻转操作；
[0013]将翻转后的二进制数据重新转换为十进制数据，最终得到单粒子翻转干扰模型。
[0014]优选地，单粒子翻转干扰模型中数据的受干扰概率是均等的。
[0015]优选地，构建抗单粒子翻转优化模型的搜索空间的具体步骤如下：
[0016]第一步：限定搜索空间
[0017]限定搜索空间满足以下条件：每个基本单元由六个节点组成，其中前两个节点为输入层固定不变，后四个节点为中间节点需要通过搜索确定；每个基本单元的输入为前两个基本单元的输出，每个基本单元的输出为其中间节点计算结果在深度通道上的连接；
[0018]第二步：构建搜索空间
[0019]在限定搜索空间条件后，选取avg_pool、max_pool、skip_connect、sep_conv、dil_conv和conv操作作为搜索空间operations的可选基本操作，同时在各节点中引入单粒子翻转模拟函数，首先在operations可选操作模块中引入单粒子翻转干扰模拟模块seu_float_simple的Seu函数，然后在operations可选操作模块forward函数中遍历self.op里定义的每一层并使用Seu函数进行单粒子翻转模拟操作，最后在模型初始化处定义一个全局变量self.count以计算修改值的数量。
[0020]优选地，若self.classifier封装了线性层和激活函数，则遍历每一层并进行单粒子翻转。
[0021]优选地，构建超网络的方法如下：
[0022]第一步、针对不同节点之间数据的流动，采用搜索空间中的可选基本操作与节点构成基本单元；在此基础上随机选取1/4该基本单元的中间节点计算结果并在通道维度上连接成搜索块，剩余的3/4特征与搜索块的输出进行concat结合组成新的特征描述；
[0023]第二步、对concat得到的特征图进行一次Softmax操作，使其组成连续可微分的操作，该部分操作能够实现网络边缘归一化，得到引入单粒子翻转模拟函数的超网络。
[0024]优选地，使用梯度下降的搜索策略，把架构搜索参数视为待优化的参数，每完成一个epoch的网络参数训练之后，固定得到的网络模型参数，根据评估结果进行一次架构搜索参数的更新。
[0025]本专利技术提出的一种基于神经架构搜索的抗单粒子翻转网络结构优化系统，包括：
[0026]模拟函数获取模块，所述模拟函数获取模块用于根据单粒子翻转干扰模型获取模拟函数；
[0027]搜索空间构建模块，所述搜索空间构建模块用于根据模拟函数构建抗单粒子模型架构搜索空间；
[0028]构建超网络模块，所述构建超网络模块用于根据抗单粒子模型架构搜索空间构建超网络；
[0029]搜索策略确定模块，所述搜索策略确定模块用于根据构建的超网络确定搜索策略，实现抗单粒子翻转网络结构优化。
[0030]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于神经架构搜索的抗单粒子翻转网络结构优化方法的步骤。
[0031]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于神经架构搜索的抗单粒子翻转网络结构优化方法的步骤。
[0032]与现有技术相比，本专利技术具有以下有益效果：
[0033]本专利技术提出的一种基于神经架构搜索的抗单粒子翻转网络结构优化方法，为有效模拟单粒子翻转现象对部署于人工智能芯片的神经网络性能带来的影响，提出了单粒子翻转干扰效应模拟方法，实现了单粒子翻转效应对神经网络模型性能影响的准确模拟。具体的，调整网络模型的信息分布，使网络模型的信息按照某种需要的分布方式存储于网络模型的参数中，进而确保网络模型的信息不会集中分布于某些特定的参数中，能够有效地实现对网络模型信息分布的优化，进而可以提升网络模型的抗干扰能力。故可以在网络模型的训练过程中引入单粒子翻转干扰，以进一步提升网络模型在遭受到单粒子翻转干扰时的鲁棒性。结合神经网络结构的搜索空间和超网络来确定搜索策略，对模型结构进行搜索，以实现抗单粒子翻转网络模型结构的优化。
[0034]进一步地，限定搜索空间满足一定条件，可以确保搜索空间是由四个节点之间数据的流动方式组成的空间。
[0035]本专利技术提出的一种基于神经架构搜索的抗单粒子翻转网络结构优化系统，通过将系统划分为模拟函数获取模块、搜索空间构建模块、构建超网络模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经架构搜索的抗单粒子翻转网络结构优化方法，其特征在于，包括如下步骤：根据单粒子翻转干扰模型获取模拟函数；根据模拟函数构建抗单粒子模型架构搜索空间；根据抗单粒子模型架构搜索空间构建超网络；根据构建的超网络确定搜索策略，实现抗单粒子翻转网络结构优化。2.根据权利要求1所述的基于神经架构搜索的抗单粒子翻转网络结构优化方法，其特征在于，获取单粒子翻转干扰模型的方法如下：将需要进行单粒子翻转模拟的参数由十进制转换为二进制；随机采样该数据的二进制位并确定需要翻转的二进制位，进而对选定的二进制位进行位翻转操作；将翻转后的二进制数据重新转换为十进制数据，最终得到单粒子翻转干扰模型。3.根据权利要求2所述的基于神经架构搜索的抗单粒子翻转网络结构优化方法，其特征在于，单粒子翻转干扰模型中数据的受干扰概率是均等的。4.根据权利要求1所述的基于神经架构搜索的抗单粒子翻转网络结构优化方法，其特征在于，构建抗单粒子翻转优化模型的搜索空间的具体步骤如下：第一步：限定搜索空间限定搜索空间满足以下条件：每个基本单元由六个节点组成，其中前两个节点为输入层固定不变，后四个节点为中间节点需要通过搜索确定；每个基本单元的输入为前两个基本单元的输出，每个基本单元的输出为其中间节点计算结果在深度通道上的连接；第二步：构建搜索空间在限定搜索空间条件后，选取avg_pool、max_pool、skip_connect、sep_conv、dil_conv和conv操作作为搜索空间operations的可选基本操作，同时在各节点中引入单粒子翻转模拟函数，首先在operations可选操作模块中引入单粒子翻转干扰模拟模块seu_float_simple的Seu函数，然后在operations可选操作模块forward函数中遍历self.op里定义的每一层并使用Seu函数进行单粒子翻转模拟操作，最后在模型初始化处定义一个全局变量self.count以计算修改值的数量。5.根据权利要求4所述的基于神经架构搜索的抗单粒...

【专利技术属性】
技术研发人员：马钟，徐超，冯越，段楠楠，胡子健，
申请(专利权)人：西安微电子技术研究所，
类型：发明
国别省市：