摘要提取模型的训练方法、文本摘要生成方法及相关设备技术

本申请属于计算机技术领域，具体涉及一种摘要提取模型的训练方法、文本摘要生成方法及相关设备。本发明专利技术实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。该方法包括：获取对摘要提取模型进行训练的第一损失函数；根据编码器的训练参数周期性地更新辅助编码器的训练参数；计算文本样本的文本编码与对应的摘要样本的摘要编码的第一相似度，计算文本样本的文本编码与其他摘要样本的摘要编码的第二相似度，并根据第一相似度和第二相似度确定第二损失函数；通过第一损失函数和第二损失函数共同对摘要提取模型进行训练。基于本申请能够提升摘要提取模型的文本摘要生成准确性，使得生成的文本摘要与原始的待处理文本的语义更为贴合。语义更为贴合。语义更为贴合。

【技术实现步骤摘要】
摘要提取模型的训练方法、文本摘要生成方法及相关设备


[0001]本申请属于计算机
，具体涉及一种摘要提取模型的训练方法、文本摘要生成方法、装置、介质及设备。

技术介绍

[0002]随着互联网的不断发展，网络中的文本数据呈爆发式增长，人们若想从互联网中搜索自己需要的资料，则需要耗费巨大的精力和时间。如何快速地从文本中获取有效信息，这就需要文本摘要自动生成技术。
[0003]现有的文本摘要生成方法，在对原始文本进行特征提取时可能会出现信息丢失，导致最终生成的文本摘要不准确。生成的文本摘要不准确会给读者带来阅读困难或者错误信息，直接限缩了机器文本摘要提取的应用场景和应用效果。因此，如何提高生成的摘要文本的准确性，是亟需解决的技术问题。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本申请的目的在于提供一种摘要提取模型的训练方法、装置、介质及电子设备，至少在一定程度上克服相关技术中如何提高生成的摘要文本的准确性的技术问题。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请实施例的一个方面，提供一种摘要提取模型的训练方法，所述摘要提取模型包括编码器和解码器，所述摘要提取模型用于通过编码器对待处理文本或文本样本进行语义编码生成文本编码，并通过解码器对所述文本编码进行解码得到文本摘要，所述方法包括：
[0008]根据训练数据集对所述摘要提取模型进行训练，得到第一损失函数和所述编码器的训练参数，所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本；
[0009]根据所述编码器的训练参数对辅助编码器进行参数初始化，并根据所述编码器的训练参数周期性地更新所述辅助编码器的训练参数，所述辅助编码器用于辅助所述摘要提取模型的训练；
[0010]将各个所述摘要样本输入到所述辅助编码器中进行语义编码，得到所述摘要样本的摘要编码；
[0011]计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码的第一相似度，计算所述文本样本的文本编码与所述训练数据集中的多个其他文本样本分别对应的摘要样本的摘要编码的第二相似度，并根据所述第一相似度和所述第二相似度确定第二损失函数；
[0012]通过所述第一损失函数和所述第二损失函数共同对所述摘要提取模型进行训练。
[0013]根据本申请实施例的一个方面，提供一种摘要提取模型的训练装置，所述摘要提取模型包括编码器和解码器，所述摘要提取模型用于通过编码器对待处理文本或文本样本进行语义编码生成文本编码，并通过解码器对所述文本编码进行解码得到文本摘要，所述装置包括：
[0014]第一损失函数确定模块，被配置为根据训练数据集对所述摘要提取模型进行训练，得到第一损失函数和所述编码器的训练参数，所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本；
[0015]训练参数更新模块，被配置为根据所述编码器的训练参数对辅助编码器进行参数初始化，并根据所述编码器的训练参数周期性地更新所述辅助编码器的训练参数，所述辅助编码器用于辅助所述摘要提取模型的训练；
[0016]辅助编码器编码模块，被配置为将各个所述摘要样本输入到所述辅助编码器中进行语义编码，得到所述摘要样本的摘要编码；
[0017]第二损失函数确定模块，被配置为计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码的第一相似度，计算所述文本样本的文本编码与所述训练数据集中的多个其他文本样本分别对应的摘要样本的摘要编码的第二相似度，并根据所述第一相似度和所述第二相似度确定第二损失函数；
[0018]模型训练模块，被配置为通过所述第一损失函数和所述第二损失函数共同对所述摘要提取模型进行训练。
[0019]在本申请的一些实施例中，基于以上技术方案，所述辅助编码器编码模块包括：
[0020]辅助编码单元，被配置为将当前训练轮次的摘要样本输入到所述辅助编码器中，得到所述当前训练轮次的摘要样本对应的样本编码。
[0021]在本申请的一些实施例中，基于以上技术方案，所述第二损失函数确定模块包括：
[0022]第一相似度计算单元，被配置为计算当前训练轮次的文本样本的文本编码与当前训练轮次的摘要样本的摘要编码的第一相似度；
[0023]摘要编码存入单元，被配置为将当前训练轮次的摘要样本的摘要编码存入存储队列。
[0024]在本申请的一些实施例中，基于以上技术方案，所述第二损失函数确定模块还包括：
[0025]摘要编码取出单元，被配置为从所述存储队列中选取当前训练轮次之前的训练轮次中存入所述存储队列的多个摘要编码；
[0026]第二相似度计算单元，被配置为计算所述当前训练轮次的文本样本的文本编码分别与当前训练轮次之前的训练轮次中存入所述存储队列的多个摘要编码的第二相似度。
[0027]在本申请的一些实施例中，基于以上技术方案，所述训练参数更新模块包括：
[0028]训练参数读取单元，被配置为周期性地读取所述编码器的训练参数；
[0029]参数更新值获取单元，被配置为将所述编码器的训练参数与所述辅助编码器的训练参数进行加权求和，得到参数更新值；
[0030]参数更新单元，被配置为根据所述参数更新值更新所述辅助编码器的训练参数。
[0031]在本申请的一些实施例中，基于以上技术方案，所述模型训练模块包括：
[0032]综合损失函数获取单元，被配置为对所述第一损失函数和所述第二损失函数进行加权求和得到综合损失函数；
[0033]模型训练单元，被配置为通过所述综合损失函数对所述摘要提取模型进行训练。
[0034]在本申请的一些实施例中，基于以上技术方案，所述第二损失函数确定模块还包括：
[0035]求和数值获取单元，被配置为对所述第一相似度与多个所述第二相似度进行求和运算，得到求和数值；
[0036]比值获取单元，被配置为获取所述第一相似度与所述求和数值的比值；
[0037]第二损失函数确定单元，被配置为根据所述比值确定所述第二损失函数，其中，所述第二损失函数与所述比值具有负相关的关系。
[0038]根据本申请实施例的一个方面，提供一种摘要生成方法，所述方法包括：
[0039]初始化摘要提取模型，所述摘要提取模型包括编码器和解码器，所述摘要提取模型用于通过编码器对待处理文本或文本样本进行语义编码生成文本编码，并通过解码器对所述文本编码进行解码得到文本摘要；
[0040]根据训练数据集对所述摘要提取模型进行训练，得到第一损失函数和所述编码器的训练参数，所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本；
[0041]根据所述编码器的训练参数对辅助编码器进行参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种摘要提取模型的训练方法，其特征在于，所述摘要提取模型包括编码器和解码器，所述摘要提取模型用于通过编码器对待处理文本或文本样本进行语义编码生成文本编码，并通过解码器对所述文本编码进行解码得到文本摘要，所述方法包括：根据训练数据集对所述摘要提取模型进行训练，得到第一损失函数和所述编码器的训练参数，所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本；根据所述编码器的训练参数对辅助编码器进行参数初始化，并根据所述编码器的训练参数周期性地更新所述辅助编码器的训练参数，所述辅助编码器用于辅助所述摘要提取模型的训练；将各个所述摘要样本输入到所述辅助编码器中进行语义编码，得到所述摘要样本的摘要编码；计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码的第一相似度，计算所述文本样本的文本编码与所述训练数据集中的多个其他文本样本分别对应的摘要样本的摘要编码的第二相似度，并根据所述第一相似度和所述第二相似度确定第二损失函数；通过所述第一损失函数和所述第二损失函数共同对所述摘要提取模型进行训练。2.根据权利要求1所述的训练方法，其特征在于，将各个所述摘要样本输入到所述辅助编码器中进行语义编码，得到所述摘要样本的摘要编码，包括：将当前训练轮次的摘要样本输入到所述辅助编码器中，得到所述当前训练轮次的摘要样本对应的样本编码；所述计算所述文本样本的文本编码与所述文本样本对应的摘要样本的摘要编码的第一相似度，包括：计算当前训练轮次的文本样本的文本编码与当前训练轮次的摘要样本的摘要编码的第一相似度；将当前训练轮次的摘要样本的摘要编码存入存储队列。3.根据权利要求2所述的训练方法，其特征在于，所述计算所述文本样本的文本编码与所述训练数据集中的多个其他文本样本分别对应的摘要样本的摘要编码的第二相似度，包括：从所述存储队列中选取当前训练轮次之前的训练轮次中存入所述存储队列的多个摘要编码；计算所述当前训练轮次的文本样本的文本编码分别与当前训练轮次之前的训练轮次中存入所述存储队列的多个摘要编码的第二相似度。4.根据权利要求1所述的训练方法，其特征在于，所述根据所述编码器的训练参数周期性地更新所述辅助编码器的训练参数，包括：周期性地读取所述编码器的训练参数；将所述编码器的训练参数与所述辅助编码器的训练参数进行加权求和，得到参数更新值；根据所述参数更新值更新所述辅助编码器的训练参数。5.根据权利要求1所述的训练方法，其特征在于，所述通过所述第一损失函数和所述第二损失函数共同对所述摘要提取模型进行训练，包括：
对所述第一损失函数和所述第二损失函数进行加权求和得到综合损失函数；通过所述综合损失函数对所述摘要提取模型进行训练。6.根据权利要求1所述的训练方法，其特征在于，所述根据所述第一相似度和所述第二相似度确定第二损失函数，包括：对所述第一相似度与多个所述第二相似度进行求和运算，得到求和数值；获取所述第一相似度与所述求和数值的比值；根据所述比值确定所述第二损失函数，其中，所述第二损失函数与所述比值具有负相关的关系。7.一种摘要生成方法，其特征在于，所述方法包括：初始化摘要提取模型，所述摘要提取模型包括编码器和解码器，所述摘要提取模型用于通过编码器对待处理文本或文本样本进行语义编码生成文本编码，并通过解码器对所述文本编码进行解码得到文本摘要；根据训练数据集对所述摘要提取模型进行训练，得到第一损失函数和所述编码器的训练参数，所述训练数据集包括多个文本样本和各个所述文本样本分别对应的摘要样本；根据所述编码器的训练参数对辅助编码器进行参数初始化，并根据所述编码器的训练参数周期性地更新所述辅助编码器的训练参数，所述辅助编码器用...

【专利技术属性】
技术研发人员：牟文晶，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：