【技术实现步骤摘要】
一种基于动态时序图的模型性能推理方法与装置
[0001]本专利技术涉及人工智能、图像分类领域，具体涉及一种基于动态时序图的模型性能推理方法。
技术介绍
[0002]神经网络推动了许多领域的发展，包括计算机视觉、图像处理、自然语言处理和生物信息学等领域。随着任务复杂度的增加，网络变得更深更大，需要更多的计算资源、训练数据和时间。但即使耗费了大量的训练资源和训练时间，神经网络的最终性能却是不确定的，如模型训练阶段使用不合适的学习率使得模型最终性能较差。
[0003]许多大数据以大规模图或网络的形式呈现。许多非图结构的大数据，常会被转换为图模型进行分析。图数据结构很好地表达了数据之间的关联性。过去一些工作尝试理解和解释深层神经网络的内部机理。实现这一目标的其中一种方法包括将神经网络表示为其底层图结构，并研究选定的图属性，如聚类系数、路径长度和模块化等。例如，2020年You等人将网络表示为捕获消息传递过程的关系图，并研究网络的预测性能与架构更改之间的相关性。然而，对于神经网络结构作为图的研究比较有限，文献中对于底层图在训练...
【技术保护点】
【技术特征摘要】
1.一种基于动态时序图的模型性能推理方法，其特征在于，包括以下步骤：(1)选取数据集，构建种子模型，设定模型训练参数，使用数据集训练种子模型，得到种子模型的检查点；(2)读取步骤(1)生成的种子模型的检查点，初始化无向有权图，将种子模型的映射为时间演化图；(3)计算时间演化图对应的特征向量中心性，得到图节点特征；(4)将步骤(2)得到的时间演化图中t时刻的图称为时间静态图，利用图节点特征计算每个时刻静态图的统计特征，聚合得到时序特征；(5)基于时序特征构建损失函数，训练得到性能预测分类器，通过性能预测分类器完成模型性能推理。2.根据权利要求1所述的基于动态时序图的模型性能推理方法，其特征在于，所述数据集为包括Cifar10、Cifar100或Mnist在内的数据集；所述种子模型为包括Lenet5、VGG、Resnet在内的深度学习模型。3.根据权利要求1所述的基于动态时序图的模型性能推理方法，其特征在于，所述构建种子模型具体为：改变种子模型训练的学习率和随机失活率，生成足量的种子模型其中lr_n和drop_n分别表示不同学习率和不同随机失活率的数量。4.根据权利要求1所述的基于动态时序图的模型性能推理方法，其特征在于，所述训练种子模型具体为：设为一神经网络在学习率lr
i
和dropout率drop
j
下，训练迭代T次得到的模型集；每个表示为t训练时刻保存的检查点，即为模型的t时刻的权重参数θ；其中每组模型集的训练损失函数为：其中x表示参与训练的图像样本，y表示x样本对应的真实标签，lr表示模型集设定的学习率，drop表示模型集设定的随机失活率，θ表示模型需要更新的权重参数，class_n表示分类任务的类别数，yi表示样本x在类别i的真实分布，表示样本x在类别i的预测分布。5.根据权利要求1所述的基于动态时序图的模型性能推理方法，其特征在于，所述步骤(2)具体为：(2.1)读取神经网络模型检查点：读取步骤(1)生成的种子模型保存的检查点保存至矩阵θ；＝其中θ包含模型的全部参数，K
i
表示是该模型第i层的核，对于卷积层有f
i
个滤波器；对于全连接层有f
i
个神经元；模型层数为deep_n，节点数为node_n；(2.2)初始化图所述图为无向有权图；将模型的K
i
层的滤波器或神经元映射为节点即在K
i
层创建f
i
个节点并分别表示为设图的节点属性为空，相邻两层的节点之间的权边为即初始化图为(2.3)将种子模型的映射到图具体为：将模型的权重θ映射为图具体表示为以下公式：其中，||
·
||为范数公式，为第i层核的第k个滤波器，为下一层核的第l个滤波器，即为两个滤波器之间的参数取范数。为第i层核的第k个节点和第j层核的第l个节点的权边；重复上述步骤，直至该模型的每层参数都被映射为图(2.4)重复上述步骤(2.1)～步骤(2.3)，直至全部映射为时间演化图所有种子模型Ν映射为时间演化图集合6.根据权利要求1所述的基于动态时序图的模型性能推理方法，其特征在于，所述步骤(3)具体为：图的特征向量中心...
【专利技术属性】
技术研发人员：陈晋音，葛杰，金海波，贾澄钰，宣琦，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。