基于隐藏因素的模型融合方法及系统技术方案

本发明专利技术公开了一种基于隐藏因素的模型融合方法及系统，其包括两个以上的神经网络模型，用于对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一全连接层，其与所述的两个以上的神经网络模型相对应，并用于根据所述隐藏变量进行权值的学习；第一输出层，用于输出所述的两个以上的神经网络模型对应的权值；融合模块，用于根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果；从而能够充分考虑各模型的优缺点，使得融合后的效果更显著，极大的提高模型融合的准确率。

Model Fusion Method and System Based on Hidden Factors

The invention discloses a model fusion method and system based on hidden factors, which comprises more than two neural network models for predicting model variables and obtaining corresponding prediction results of more than two models, in which the model variables include hidden variables and/or explicit variables, and the input layer is used for inputting hidden variables affecting model effects. The above first full connection layer corresponds to more than two neural network models and is used to learn weights from the hidden variables; the first output layer is used to output weights corresponding to more than two neural network models; and the fusion module is used to predict the model results of more than two neural network models according to the weights. Fusion results can be obtained, so that the advantages and disadvantages of each model can be fully considered, making the effect of fusion more significant, greatly improving the accuracy of model fusion.

【技术实现步骤摘要】
基于隐藏因素的模型融合方法及系统
本专利技术涉及计算机
，特别是一种基于隐藏因素的模型融合方法及其应用该方法的系统。
技术介绍
传统的模型融合，是通过综合考虑不同模型的情况，将各个模型的输出结果进行融合。例如：如图1所示，现有技术的一种模型融合方法是采用并联式融合方法，通过将模型变量输入各个模型中，分别输出各个模型的预测结果，然后将各个预测结果融合到一起。如图2所示，现有技术的另一种模型融合方法是采用串联式融合方法，通过将模型变量输入第一模型中，输出第一模型的预测结果，再根据第一模型的预测结果将模型变量输入第二模型中，输出第二模型的预测结果，以此类推得到最终预测结果。但是，传统的模型融合并未考虑隐藏因素对各个模型的影响，从而使得融合后的效果不好，准确率较低，影响模型的适用范围。
技术实现思路
本专利技术为解决上述问题，提供了一种基于隐藏因素的模型融合方法及系统，能够提高模型融合的准确率，扩大模型的适用范围。为实现上述目的，本专利技术采用的技术方案为：本专利技术的目的之一在于提供一种基于隐藏因素的模型融合系统，其包括：两个以上的神经网络模型，用于对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一全连接层，其与所述的两个以上的神经网络模型相对应，并用于根据所述隐藏变量进行权值的学习；第一输出层，用于输出所述的两个以上的神经网络模型对应的权值；融合模块，用于根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果。优选的，所述融合模块进一步包括：模型层，用于将所述的两个以上的神经网络模型的模型预测结果分别与对应的权值进行乘法运算，得到目标变量；第二全连接层，用于对所述目标变量进行融合预测；第二输出层，用于输出融合预测结果。进一步的，所述输入层、第一全连接层、第二全连接层、第一输出层采用ReLu激活函数，所述第二输出层采用softmax激活函数或sigmoid激活函数。与所述模型融合系统相对应的，本专利技术的目的之二在于提供一种基于隐藏因素的模型融合方法，其包括以下步骤：通过两个以上的神经网络模型对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；获取对模型效果产生影响的隐藏变量，并根据所述隐藏变量进行权值的学习，得到所述的两个以上的神经网络模型对应的权值；根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果。本专利技术的目的之三在于提供一种基于隐藏因素的声纹模型融合系统，其包括：两个以上的声纹模型，用于对语音数据进行预测，得到对应的两个以上的模型预测结果；其中，所述语音数据包括隐藏数据和/或显性数据，并经量化处理和归一化处理后分别得到对应的隐藏变量和显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一全连接层，其与所述的两个以上的声纹模型相对应，并用于根据所述隐藏变量进行权值的学习；第一输出层，用于输出所述的两个以上的声纹模型对应的权值；融合模块，用于根据所述权值对所述的两个以上的声纹模型的模型预测结果进行融合，得到融合预测结果。优选的，所述融合模块进一步包括：模型层，用于将所述的两个以上的声纹模型的模型预测结果分别与对应的权值进行乘法运算，得到目标变量；第二全连接层，用于对所述目标变量进行融合预测；第二输出层，用于输出融合预测结果。进一步的，所述输入层、第一全连接层、第二全连接层、第一输出层采用ReLu激活函数，所述第二输出层采用softmax激活函数或sigmoid激活函数。优选的，所述的声纹模型包括I-Vector模型，DNN-UBM模型，X-Vector模型中的任意两个以上。优选的，所述的显性数据包括说话人的声学特征；所述的隐藏数据包括语音长度、环境嘈杂程度、语音音量、语音编解码方式、采样率中的一种以上；所述的显性数据和所述的隐藏数据是从所述语音数据中进行提取，所述的模型预测结果和所述的融合预测结果是指说话人的身份或类型的预测。与所述声纹模型融合系统相对应的，本专利技术的目的之四在于提供一种基于隐藏因素的声纹模型融合方法，其包括以下步骤：通过两个以上的声纹模型对语音数据进行预测，得到对应的两个以上的模型预测结果；其中，所述语音数据包括隐藏数据和/或显性数据，并经量化处理和归一化处理后分别得到对应的隐藏变量和显性变量；获取对模型效果产生影响的隐藏变量，并根据所述隐藏变量进行权值的学习，得到所述的两个以上的声纹模型对应的权值；根据所述权值对所述的两个以上的声纹模型的模型预测结果进行融合，得到融合预测结果。本专利技术的有益效果是：本专利技术的一种基于隐藏因素的模型融合方法及系统，其通过利用隐藏变量进行权值的学习，再根据所述权值对模型预测结果进行融合，从而得到融合预测结果，能够充分考虑各模型的优缺点，使得融合后的效果更显著，极大的提高模型融合的准确率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为现有技术的一种模型融合方法的框架结构示意图(并联式)；图2为现有技术的另一种模型融合方法的框架结构示意图(串联式)；图3为本专利技术一种基于隐藏因素的模型融合系统的结构示意图；图4为本专利技术一种基于隐藏因素的模型融合方法的流程简图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。第一实施例(模型融合系统)如图3所示，本实施例提供一种基于隐藏因素的模型融合系统，其包括：两个以上的神经网络模型，用于对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一全连接层，其与所述的两个以上的神经网络模型相对应，并用于根据所述隐藏变量进行权值的学习；第一输出层，用于输出所述的两个以上的神经网络模型对应的权值；融合模块，用于根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果。本实施例中，所述融合模块进一步包括：模型层，用于将所述的两个以上的神经网络模型的模型预测结果分别与对应的权值进行乘法运算，得到目标变量；第二全连接层，用于对所述目标变量进行融合预测；第二输出层，用于输出融合预测结果。进一步的，所述输入层、第一全连接层、第二全连接层、第一输出层采用ReLu激活函数，或者也可以采用sigmoid、tanh等其他激活函数；所述第二输出层采用softmax激活函数或sigmoid激活函数；对于二分类问题，所述第二输出层优选采用sigmoid函数；这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间，函数值恰好可以解释为属于正类的概率(概率的取值范围是0～1)；另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数。对于多分类问题，所述第二输出层优选采用softmax函数。所述的融合模块还可以采用其他融本文档来自技高网...

【技术保护点】
1.一种基于隐藏因素的模型融合系统，其特征在于，包括：两个以上的神经网络模型，用于对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一全连接层，其与所述的两个以上的神经网络模型相对应，并用于根据所述隐藏变量进行权值的学习；第一输出层，用于输出所述的两个以上的神经网络模型对应的权值；融合模块，用于根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果。

【技术特征摘要】
1.一种基于隐藏因素的模型融合系统，其特征在于，包括：两个以上的神经网络模型，用于对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一全连接层，其与所述的两个以上的神经网络模型相对应，并用于根据所述隐藏变量进行权值的学习；第一输出层，用于输出所述的两个以上的神经网络模型对应的权值；融合模块，用于根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果。2.根据权利要求1所述的基于隐藏因素的模型融合系统，其特征在于，所述融合模块进一步包括：模型层，用于将所述的两个以上的神经网络模型的模型预测结果分别与对应的权值进行乘法运算，得到目标变量；第二全连接层，用于对所述目标变量进行融合预测；第二输出层，用于输出融合预测结果。3.根据权利要求2所述的基于隐藏因素的模型融合系统，其特征在于，所述输入层、第一全连接层、第二全连接层、第一输出层采用ReLu激活函数，所述第二输出层采用softmax激活函数或sigmoid激活函数。4.一种基于隐藏因素的模型融合方法，其特征在于，包括以下步骤：通过两个以上的神经网络模型对模型变量进行预测，得到对应的两个以上的模型预测结果；其中，所述模型变量包括隐藏变量和/或显性变量；获取对模型效果产生影响的隐藏变量，并根据所述隐藏变量进行权值的学习，得到所述的两个以上的神经网络模型对应的权值；根据所述权值对所述的两个以上的神经网络模型的模型预测结果进行融合，得到融合预测结果。5.一种基于隐藏因素的声纹模型融合系统，其特征在于，包括：两个以上的声纹模型，用于对语音数据进行预测，得到对应的两个以上的模型预测结果；其中，所述语音数据包括隐藏数据和/或显性数据，并经量化处理和归一化处理后分别得到对应的隐藏变量和显性变量；输入层，用于输入对模型效果产生影响的隐藏变量；两个以上的第一...

【专利技术属性】
技术研发人员：洪国强，肖龙源，蔡振华，李稀敏，刘晓葳，谭玉坤，
申请(专利权)人：厦门快商通信息技术有限公司，
类型：发明
国别省市：福建,35