超参数的优化装置和方法制造方法及图纸

本发明专利技术公开了一种超参数的优化方法，包括步骤：步骤一、提取算法模型中所包括的所有超参数并将所有所述超参数向量化并形成超参数向量；步骤二、对所述超参数向量进行赋值并改变所述超参数向量的值；步骤三、评价各种取值的所述超参数向量对应的所述算法模型的性能表现并形成对应的评价值，选择评价值最好的所述超参数向量的取值作为所述超参数向量的最终优化值。本发明专利技术还公开了超参数的优化装置。本发明专利技术能自动优化算法超参数，以使在减少人力投入的同时，使算法模型训练后能得到较好的模型。

Optimization device and method of super parameter

【技术实现步骤摘要】
超参数的优化装置和方法
本专利技术涉及人工智能（ArtificialIntelligence，AI），特别是涉及一种超参数的优化装置。本专利技术还涉及一种超参数的优化方法。
技术介绍
机器学习中的模型参数和模型超参数在作用、来源等方面都有所不同。简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。具体来讲，模型参数有以下特征：进行模型预测时需要模型参数；模型参数值可以定义模型功能；模型参数用数据估计或数据学习得到；模型参数一般不由实践者手动设置；模型参数通常作为学习模型的一部分保存；通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。模型参数的一些例子包括：人造神经网络中的权重、支持向量机中的支持向量、线性回归或逻辑回归中的系数。模型超参数是模型外部的配置，其值不能从数据估计得到，必须手动设置参数的值。模型超参数的具体特征有：模型超参数常应用于估计模型参数的过程中；模型超参数通常由实践者直接指定；模型超参数通常可以使用启发式方法来设置；模型超参数通常根据给定的预测建模问题而调整。怎样得到模型超参数的最优值：对于本文档来自技高网...

【技术保护点】
1.一种超参数的优化方法，其特征在于，包括步骤：/n步骤一、提取算法模型中所包括的所有超参数并将所有所述超参数向量化并形成超参数向量；/n步骤二、对所述超参数向量进行赋值并改变所述超参数向量的值；/n步骤三、评价各种取值的所述超参数向量对应的所述算法模型的性能表现并形成对应的评价值，选择评价值最好的所述超参数向量的取值作为所述超参数向量的最终优化值。/n

【技术特征摘要】
1.一种超参数的优化方法，其特征在于，包括步骤：
步骤一、提取算法模型中所包括的所有超参数并将所有所述超参数向量化并形成超参数向量；
步骤二、对所述超参数向量进行赋值并改变所述超参数向量的值；
步骤三、评价各种取值的所述超参数向量对应的所述算法模型的性能表现并形成对应的评价值，选择评价值最好的所述超参数向量的取值作为所述超参数向量的最终优化值。


2.如权利要求1所述的超参数的优化方法，其特征在于：所述方法适用于图像识别方法；所述算法模型为图像识别算法模型。


3.如权利要求1所述的超参数的优化方法，其特征在于：步骤二和步骤三通过粒子群算法实现，包括：
初始化若干个所述超参数向量，令获得的所述超参数向量为Xi，获得Xi对应的评价值，令Xi对应的评价值为Pi；
对各个Xi进行迭代，令Xi的迭代方向为Vi，Vi的迭代方程为：
Vi’=Vi*w+ra*ca*(Xpbest-Xi)+rb*cb*(Xgbest-Xi)；
其中，w，ca，cb为预设参数，ra，rb为0~1的随机数，Xpbest为最好历史最好的结果，Xgbest为总体历史最好的结果，Vi'为迭代后的Vi；
计算得Vi'后，让Xi加上Vi’获得Xi’；
获得Xi’后，计算Xi’对应的的评价值Pi’。


4.一种超参数的优化装置，其特征在于，包括：
超参数提取单元，用于提取算法模型中所包括的所有超参数并将所有所述超参数向量化并形成超参数向量；
超参数向量赋值单元，用于对所述超参数向量进行赋值并改变所述超参数向量的值；
超参数向量评价单元，用于评价各种取值的所述超参数向量对应的所述算法模型的性能表现并形成对应的评价值，选择评价值最好的所述超参数向量的取值作为所述超参数向量的最终优化...

【专利技术属性】
技术研发人员：章子誉，王益县，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31