一种模型的处理方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种模型的处理方法、装置及存储介质。方法包括：初始化第一数据分类模型；基于获取的未具有标记的训练样本数据，对第一数据分类模型进行无监督方式的训练，以更新第一待训练层和第二待训练层的参数；基于所更新的参数，增加第一数据分类模型中第二待训练层的节点个数，以得到满足收敛条件的第二数据分类模型；通过第二数据分类模型提取测试样本数据中的关键特征数据；对关键特征数据进行聚类，得到聚类测试结果，并基于聚类测试结果，增加第二数据分类模型中第二待训练层的层数，直至聚类测试结果满足设定约束条件。采用本发明专利技术的技术方案，不仅能够获得拟合性能强的模型结构，还可以提高应用该模型结构提取的特征对应的聚类准确率。

【技术实现步骤摘要】
一种模型的处理方法、装置及存储介质
本专利技术涉及深度学习
，尤其涉及一种模型的处理方法、装置及存储介质。
技术介绍
目前，研究者在研究过程中都是靠经验随机确定深度信念网络(DBN，DeepBeliefNetwork)模型的结构。为了得到较好的应用研究，往往会花费大量的时间去寻找最佳的DBN模型的结构，以使得DBN模型的拟合性能更强。相关技术中尚未提出一个很好的理论去获得最佳的DBN模型的结构。因此，也就无法使得DBN模型能够很好的应用在文本聚类研究中，从而影响文本数据聚类的效果。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例提供一种模型的处理方法、装置及存储介质。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种模型的处理方法，所述方法包括：初始化第一数据分类模型，所述第一数据分类模型包括第一待训练层和第二待训练层；基于获取的未具有标记的训练样本数据，对所述第一数据分类模型进行无监督方式的训练，以更新所述第一待训练层和第二待训练层的参数；基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，以得到满足收敛条件的第二数据分类模型；通过所述第二数据分类模型提取测试样本数据中的关键特征数据；对所述关键特征数据进行聚类，得到聚类测试结果，并基于所述聚类测试结果，增加所述第二数据分类模型中第二待训练层的层数，直至所述聚类测试结果满足设定约束条件。上述方案中，所述方法还包括：在所述通过所述第二数据分类模型提取测试样本数据中的关键特征数据之前，选取测试样本数据；对所述测试样本数据进行归一化处理，得到归一化后的测试样本数据；所述提取测试样本数据中的关键特征数据，包括：提取所述归一化后的测试样本数据中的关键特征数据。上述方案中，所述基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，包括：基于所更新的参数，确定所述第一数据分类模型中第二待训练层的节点对应的偏置向量的变化量，以及所述第一数据分类模型中第二待训练层的节点与第一待训练层的节点间的权值矩阵的变化量；构造以所述偏置向量的变化量和所述权值矩阵的变化量为因子的条件函数；将所述条件函数对应的值与预设阈值进行比较，得到第一比较结果；当所述第一比较结果表征所述条件函数对应的值大于所述预设阈值时，增加所述第一数据分类模型中第二待训练层的节点个数。上述方案中，所述基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，包括：基于所更新的参数，确定所述训练样本数据在训练时对应的能量；将所述训练样本数据在训练时对应的能量，与所述训练样本数据在训练前对应的能量进行对比，确定发生能量变化的样本数；基于所述发生能量变化的样本数，确定所述发生能量变化的样本数与总的训练样本数的比例关系；基于所述比例关系，增加所述第一数据分类模型中第二待训练层的节点个数。上述方案中，所述通过所述第二数据分类模型提取测试样本数据中的关键特征数据，包括：将所述测试样本数据输入至所述第二数据分类模型的第一待训练层中；确定所述第二数据分类模型中第一待训练层对应的偏置向量的变化量、所述第二数据分类模型中第二待训练层对应的偏置向量的变化量，以及所述第二数据分类模型中第一待训练层与第二待训练层间的权值矩阵变化量；基于确定的偏置向量的变化量和权值矩阵变化量，确定所述第二数据分类模型中第二待训练层的输出数据，将所述第二待训练层的输出数据确定为所述关键特征数据。上述方案中，所述确定所述第二数据分类模型中第一待训练层对应的偏置向量的变化量、所述第二数据分类模型中第二待训练层对应的偏置向量的变化量，包括：计算所述第二数据分类模型的第二待训练层中各节点对应的第一激活概率；通过对各所述第一激活概率进行反向传播，计算所述第二数据分类模型的第一待训练层对所述测试样本数据进行重构的重构特征矩阵；对所述重构特征矩阵进行正向传播，得到所述第二数据分类模型的第二待训练层中各节点对应的第二激活概率；基于所述第一激活概率构成的矩阵和所述第二激活概率构成的矩阵，确定所述第二数据分类模型中第二待训练层对应的偏置向量的变化量；基于所述测试样本数据和所述重构特征矩阵，确定所述第二数据分类模型中第一待训练层对应的偏置向量的变化量。上述方案中，所述方法还包括：在所述对各所述第一激活概率进行反向传播之前，对各所述第一激活概率进行二值化处理，得到对应的二值化数据；所述对各所述第一激活概率进行反向传播，包括：对各所述二值化数据进行反向传播。上述方案中，所述基于所述聚类测试结果，增加所述第二数据分类模型中第二待训练层的层数，直至所述聚类测试结果满足设定约束条件，包括：当所述聚类测试结果表征对所述关键特征数据进行设定次数的聚类所对应的第一平均聚类准确率时，将所述关键特征数据作为新增所述第二数据分类模型中第二待训练层的输入数据，确定当前进行所述设定次数聚类对应的第二平均聚类准确率；将所述第一平均聚类准确率与所述第二平均聚类准确率进行比较，得到第二比较结果；当所述第二比较结果表征所述第二平均聚类准确率小于所述第一平均聚类准确率时，停止增加所述第二数据分类模型中第二待训练层的层数。本专利技术实施例还提供一种模型的处理装置，所述装置包括：初始化单元，用于初始化第一数据分类模型，所述第一数据分类模型包括第一待训练层和第二待训练层；模型训练单元，用于基于获取的未具有标记的训练样本数据，对所述第一数据分类模型进行无监督方式的训练，以更新所述第一待训练层和第二待训练层的参数；节点个数确定单元，用于基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，以得到满足收敛条件的第二数据分类模型；特征提取单元，用于通过所述第二数据分类模型提取测试样本数据中的关键特征数据；数据聚类单元，用于对所述关键特征数据进行聚类，得到聚类测试结果；层数确定单元，用于基于所述聚类测试结果，增加所述第二数据分类模型中第二待训练层的层数，直至所述聚类测试结果满足设定约束条件。上述方案中，所述装置还包括：样本选取单元，用于在所述特征提取单元通过所述第二数据分类模型提取测试样本数据中的关键特征数据之前，选取测试样本数据；归一化处理单元，用于对所述测试样本数据进行归一化处理，得到归一化后的测试样本数据；所述特征提取单元，具体用于：提取所述归一化后的测试样本数据中的关键特征数据。上述方案中，所述节点个数确定单元，具体用于：基于所更新的参数，确定所述第一数据分类模型中第二待训练层的节点对应的偏置向量的变化量，以及所述第一数据分类模型中第二待训练层的节点与第一待训练层的节点间的权值矩阵的变化量；构造以所述偏置向量的变化量和所述权值矩阵的变化量为因子的条件函本文档来自技高网...

【技术保护点】
1.一种模型的处理方法，其特征在于，所述方法包括：/n初始化第一数据分类模型，所述第一数据分类模型包括第一待训练层和第二待训练层；/n基于获取的未具有标记的训练样本数据，对所述第一数据分类模型进行无监督方式的训练，以更新所述第一待训练层和第二待训练层的参数；/n基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，以得到满足收敛条件的第二数据分类模型；/n通过所述第二数据分类模型提取测试样本数据中的关键特征数据；/n对所述关键特征数据进行聚类，得到聚类测试结果，并基于所述聚类测试结果，增加所述第二数据分类模型中第二待训练层的层数，直至所述聚类测试结果满足设定约束条件。/n

【技术特征摘要】
1.一种模型的处理方法，其特征在于，所述方法包括：
初始化第一数据分类模型，所述第一数据分类模型包括第一待训练层和第二待训练层；
基于获取的未具有标记的训练样本数据，对所述第一数据分类模型进行无监督方式的训练，以更新所述第一待训练层和第二待训练层的参数；
基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，以得到满足收敛条件的第二数据分类模型；
通过所述第二数据分类模型提取测试样本数据中的关键特征数据；
对所述关键特征数据进行聚类，得到聚类测试结果，并基于所述聚类测试结果，增加所述第二数据分类模型中第二待训练层的层数，直至所述聚类测试结果满足设定约束条件。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述通过所述第二数据分类模型提取测试样本数据中的关键特征数据之前，选取测试样本数据；
对所述测试样本数据进行归一化处理，得到归一化后的测试样本数据；
所述提取测试样本数据中的关键特征数据，包括：
提取所述归一化后的测试样本数据中的关键特征数据。


3.根据权利要求1所述的方法，其特征在于，所述基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，包括：
基于所更新的参数，确定所述第一数据分类模型中第二待训练层的节点对应的偏置向量的变化量，以及所述第一数据分类模型中第二待训练层的节点与第一待训练层的节点间的权值矩阵的变化量；
构造以所述偏置向量的变化量和所述权值矩阵的变化量为因子的条件函数；
将所述条件函数对应的值与预设阈值进行比较，得到第一比较结果；
当所述第一比较结果表征所述条件函数对应的值大于所述预设阈值时，增加所述第一数据分类模型中第二待训练层的节点个数。


4.根据权利要求1所述的方法，其特征在于，所述基于所更新的参数，增加所述第一数据分类模型中第二待训练层的节点个数，包括：
基于所更新的参数，确定所述训练样本数据在训练时对应的能量；
将所述训练样本数据在训练时对应的能量，与所述训练样本数据在训练前对应的能量进行对比，确定发生能量变化的样本数；
基于所述发生能量变化的样本数，确定所述发生能量变化的样本数与总的训练样本数的比例关系；
基于所述比例关系，增加所述第一数据分类模型中第二待训练层的节点个数。


5.根据权利要求1所述的方法，其特征在于，所述通过所述第二数据分类模型提取测试样本数据中的关键特征数据，包括：
将所述测试样本数据输入至所述第二数据分类模型的第一待训练层中；
确定所述第二数据分类模型中第一待训练层对应的偏置向量的变化量、所述第二数据分类模型中第二待训练层对应的偏置向量的变化量，以及所述第二数据分类模型中第一待训练层与第二待训练层间的权值矩阵变化量；
基于确定的偏置向量的变化量和权值矩阵变化量，确定所述第二数据分类模型中第二待训练层的输出数据，将所述第二待训练层的输出数据确定为所述关键特征数据。


6.根据权利要求5所述的方法，其特征在于，所述确定所述第二数据分类模型中第一待训练层对应的偏置向量的变化量、所述第二数据分类模型中第二待训练层对应的偏置向量的变化量，包括：
计算所述第二数据分类模型的第二待训练层中各节点对应的第一激活概率；
通过对各所述第一激活概率进行反向传播，计算所述第二数据分类模型的第一待训练层对所述测试样本数据进行重构的重构特征矩阵；
对所述重构特征矩阵进行正向传播，得到所述第二数据分类模型的第二待训练层中各节点对应的第二激活概率；
基于所述第一激活概率构成的矩阵和所述第二激活概率构成的矩阵，确定所述第二数据分类模型中第二待训练层对应的偏置向量的变化量；
基于所述测试样本数据和所述重构特征矩阵，确定所述第二数据分类模型中第一待训练层对应的偏置向量的变化量。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在所述对各所述第一激活概率进行反向传播之前，对各所述第一激活概率进行二值化处理，得到对应的二值化数据；
所述对各所述第一激活概率进行反向传播，包括：
对各所述二值化数据进行反向传播。


8.根据权利要求1所述的方法，其特征在于，所述基于所述聚类测试结果，增加所述第二数据分类模型中第二待训练层的层数，直至所述聚类测试结果满足设定约束条件，包括：
当所述聚类测试结果表征对所述关键特征数据进行设定次数的聚类所对应的第一平均聚类准确率时，将所述关键特征数据作为新增所述第二数据分类模型中第二待训练层的输入数据，确定当前进行所述设定次数聚类对应的第二平均聚类准确率；
将所述第一平均聚类准确率与所述第二平均聚类准确率进行比较，得到第二比较结果；
当所述第二比较结果表征所述第二平均聚类准确率小于所述第一平均聚类准确率时，停止增加所述第二数据分类模型中第二待训练层的层数。


9.一种模型的处理装置，其特征在于，所述装置包括：
初始化单元，用于初始化第一数据分类模型，所述第一数据分类模型包...

【专利技术属性】
技术研发人员：周贤泉，杜星悦，李晶晶，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏;32