本发明专利技术公开了一种模型的融合方法、装置和计算机可读存储介质，涉及机器学习领域。模型的融合方法包括：根据来自第一模型的第一参数矩阵和来自第二模型的第二参数矩阵，确定对齐参数，其中，第一模型和第二模型具有相同的模型结构、但通过不同的方式训练得到，第一参数矩阵和第二参数矩阵分别为第一模型和第二模型中相同参数的值构成的矩阵；利用对齐参数对第一参数矩阵进行调整，获得第三参数矩阵；根据第二参数矩阵和第三参数矩阵，确定第三模型，其中，第三模型具有模型结构。从而，可以基于对齐的模型进行模型的融合，使得融合后的模型兼有不同训练方式的优点，提高了模型的性能。并且，推理计算成本较低，具有较高的计算效率。率。率。
【技术实现步骤摘要】
模型的融合方法、装置和计算机可读存储介质
[0001]本专利技术涉及机器学习领域，特别涉及一种模型的融合方法、装置和计算机可读存储介质。
技术介绍
[0002]在相关技术中，通过对采用不同训练方式得到的模型进行融合，使得模型有潜力获得进一步的性能提升。模型融合技术主要分为以下两类。
[0003]1)基于模型筛选的方法：该方法旨在利用置信度等评价指标，从不同ASR模型的识别结果中筛选最优的一个作为最终识别结果。
[0004]2)基于特征融合的方法：该方法通过将不同模型的隐层特征进行融合，获得统一特征表示，然后利用训练数据对融合的模型进行微调，实现模型的融合。
技术实现思路
[0005]专利技术人经过分析后发现，在基于模型筛选的方法中，需要将每条音频同时通过两个模型进行计算，加大了模型推理计算的成本。同时，模型融合的效果受置信度评价指标的设计效果影响很大。因为，实际上，对于部分样本而言，并非置信度越高，准确率就越高。因此，基于模型筛选的方法难以获得最优的识别结果。在基于特征融合的方法中，依然需要将每条音频同时通过两个模型进行隐层特征的计算，因此，加大了模型推理计算的成本，使得计算效率较低。
[0006]本专利技术实施例所要解决的一个技术问题是：如何高效、准确地对模型进行融合。
[0007]根据本专利技术一些实施例的第一个方面，提供一种模型的融合方法，包括：根据来自第一模型的第一参数矩阵和来自第二模型的第二参数矩阵，确定对齐参数，其中，第一模型和第二模型具有相同的模型结构、但通过不同的方式训练得到，第一参数矩阵和第二参数矩阵分别为第一模型和第二模型中相同参数的值构成的矩阵；利用对齐参数对第一参数矩阵进行调整，获得第三参数矩阵；根据第二参数矩阵和第三参数矩阵，确定第三模型，其中，第三模型具有模型结构。
[0008]在一些实施例中，对齐参数用于将第一模型和第二模型进行对齐、并且具有最小的对齐损失。
[0009]在一些实施例中，根据来自第一模型的第一参数矩阵和来自第二模型的第二参数矩阵，确定对齐参数包括：确定第一参数矩阵和第二参数矩阵之间的距离矩阵；基于距离矩阵，确定对齐参数。
[0010]在一些实施例中，对齐参数为对齐矩阵，并且基于距离矩阵，确定对齐参数包括：以令所述距离矩阵和所述对齐矩阵的相似度最低为目标，以第一参数矩阵对应的各个参数的重要性符合预设分布为约束条件，确定对齐矩阵。
[0011]在一些实施例中，距离矩阵和所述对齐矩阵的相似度通过所述距离矩阵和所述对齐矩阵的内积表示。
[0012]在一些实施例中，约束条件为对齐参数与参考向量的乘积中的各个元素、以及对齐参数的转置与参考向量的乘积中的各个元素符合目标分布，其中，参考向量为元素值均为相同数值的向量。
[0013]在一些实施例中，目标分布为均匀分布。
[0014]在一些实施例中，第一参数矩阵和第二参数矩阵为同一层的参数的值构成的矩阵。
[0015]在一些实施例中，利用对齐参数对第一参数矩阵进行调整，获得第三参数矩阵包括：根据第一参数矩阵对应的层的上一层的对齐参数以及第一参数矩阵，确定中间矩阵；根据第一参数矩阵对应的层的对齐参数以及中间矩阵，确定第三参数矩阵。
[0016]在一些实施例中，根据第一参数矩阵对应的层的上一层的对齐参数以及第一参数矩阵，确定中间矩阵包括：确定第一参数矩阵对应的层的上一层的对齐参数以及第一参数矩阵的第一乘积；根据第一乘积与第一参数矩阵对应的层的输入维度数的商确定中间矩阵。
[0017]在一些实施例中，根据第一参数矩阵对应的层的对齐参数以及中间矩阵，确定第三参数矩阵包括：确定第一参数矩阵对应的层的对齐参数的转置与中间矩阵的第二乘积；根据第二乘积与第一参数矩阵对应的层的输出维度数的商确定第三参数矩阵。
[0018]在一些实施例中，根据第二参数矩阵和第三参数矩阵，确定具有模型结构的第三模型包括：根据第二参数矩阵和第三参数矩阵的平均值，确定具有模型结构的第三模型。
[0019]在一些实施例中，根据第二参数矩阵和第三参数矩阵，确定具有模型结构的第三模型包括：根据第二参数矩阵和第三参数矩阵，确定初始的第三模型；利用训练数据，对初始的第三模型进行训练。
[0020]在一些实施例中，训练数据用于训练第一模型、第二模型中的至少一个。
[0021]在一些实施例中，第一模型为监督训练模型，第二模型为自监督训练模型；或者，第一模型为自监督训练模型，第二模型为监督训练模型。
[0022]在一些实施例中，第一模型和第二模型为语音识别模型。
[0023]根据本专利技术一些实施例的第二个方面，提供一种模型的融合装置，包括：对齐参数确定模块，被配置为根据来自第一模型的第一参数矩阵和来自第二模型的第二参数矩阵，确定对齐参数，其中，第一模型和第二模型具有相同的模型结构、但通过不同的方式训练得到，第一参数矩阵和第二参数矩阵分别为第一模型和第二模型中相同参数的值构成的矩阵；调整模块，被配置为利用对齐参数对第一参数矩阵进行调整，获得第三参数矩阵；模型确定模块，被配置为根据第二参数矩阵和第三参数矩阵，确定第三模型，其中，第三模型具有模型结构。
[0024]根据本专利技术一些实施例的第三个方面，提供一种模型的融合装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种模型的融合方法。
[0025]根据本专利技术一些实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种模型的融合方法。
[0026]上述专利技术中的一些实施例具有如下优点或有益效果。本专利技术的实施例利用第一模型和第二模型中的相同参数的值，确定对齐参数，并基于对齐参数对第一模型进行调整，再
利用调整后的第一模型和第二模型的参数值确定第三模型中参数的值。从而，可以基于对齐的模型进行模型的融合，使得融合后的模型兼有不同训练方式的优点，提高了模型的性能。并且，上述实施例的推理计算成本较低，具有较高的计算效率。
[0027]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0029]图1示出了根据本专利技术一些实施例的模型的融合方法的流程示意图。
[0030]图2示出了根据本专利技术另一些实施例的模型融合方法的流程示意图。
[0031]图3示出了根据本专利技术一些实施例的模型的融合装置的结构示意图。
[0032]图4示出了根据本专利技术另一些实施例的模型的融合装置的结构示意图。
[0033]图5示出了根据本专利技术又一些实施例的模型的融合本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型的融合方法，包括：根据来自第一模型的第一参数矩阵和来自第二模型的第二参数矩阵，确定对齐参数，其中，所述第一模型和第二模型具有相同的模型结构、但通过不同的方式训练得到，所述第一参数矩阵和第二参数矩阵分别为所述第一模型和所述第二模型中相同参数的值构成的矩阵；利用所述对齐参数对所述第一参数矩阵进行调整，获得第三参数矩阵；根据所述第二参数矩阵和所述第三参数矩阵，确定第三模型，其中，所述第三模型具有所述模型结构。2.根据权利要求1所述的融合方法，其中，所述对齐参数用于将所述第一模型和所述第二模型进行对齐、并且具有最小的对齐损失。3.根据权利要求1所述的融合方法，其中，所述根据来自第一模型的第一参数矩阵和来自第二模型的第二参数矩阵，确定对齐参数包括：确定所述第一参数矩阵和所述第二参数矩阵之间的距离矩阵；基于所述距离矩阵，确定所述对齐参数。4.根据权利要求3所述的融合方法，其中，所述对齐参数为对齐矩阵，并且所述基于所述距离矩阵，确定所述对齐参数包括：以令所述距离矩阵和所述对齐矩阵的相似度最低为目标，以所述第一参数矩阵对应的各个参数的重要性符合预设分布为约束条件，确定所述对齐矩阵。5.根据权利要求4所述的融合方法，其中，所述距离矩阵和所述对齐矩阵的相似度通过所述距离矩阵和所述对齐矩阵的内积表示。6.根据权利要求4所述的融合方法，其中，所述约束条件为所述对齐参数与参考向量的乘积中的各个元素、以及所述对齐参数的转置与所述参考向量的乘积中的各个元素符合目标分布，其中，所述参考向量为元素值均为相同数值的向量。7.根据权利要求6所述的融合方法，其中，所述目标分布为均匀分布。8.根据权利要求1～7中任一项所述的融合方法，其中，所述第一参数矩阵和所述第二参数矩阵为同一层的参数的值构成的矩阵。9.根据权利要求8所述的融合方法，其中，所述利用所述对齐参数对所述第一参数矩阵进行调整，获得第三参数矩阵包括：根据所述第一参数矩阵对应的层的上一层的对齐参数以及所述第一参数矩阵，确定中间矩阵；根据所述第一参数矩阵对应的层的对齐参数以及所述中间矩阵，确定所述第三参数矩阵。10.根据权利要求9所述的融合方法，其中，所述根据所述第一参数矩阵对应的层的上一层的对齐参数以及所述第一参数矩阵，确定中间矩阵包括：确定所述第一参数矩阵对应的层的上一层的对齐参数以及所述第一参数矩阵的第一乘积；根据...
【专利技术属性】
技术研发人员：付立，范璐，吴友政，何晓冬，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。