本申请涉及人工智能技术领域，本申请提供一种标签提取模型训练方法、装置、设备与存储介质，标签提取模型训练方法包括：获取文本样本，获取每个句子对应的词向量序列，将每个句子对应的词向量序列输入第一编码层进行词编码处理，获得分词对应的隐向量；通过第一注意力层对分词对应的隐向量进行第一注意力处理，获得句子向量；将句子向量输入第二编码层进行句子编码处理，获得句子对应的隐向量；通过第二注意力层对句子对应的隐向量进行第二注意力处理，获得文档向量；基于文档向量调整所述标签提取模型的参数。实施本申请，能够实现对大文本的标签提取，提高标签提取的准确性。提高标签提取的准确性。提高标签提取的准确性。
【技术实现步骤摘要】
标签提取模型训练方法、装置、设备与存储介质
[0001]本申请涉及人工智能
，尤其涉及一种标签提取模型训练方法、装置、设备与存储介质。
技术介绍
[0002]互联网平台上通常含有大量企业的公告信息或其他机构对各个企业披露的各种信息，这些大文本信息中往往含有企业的重大发展方向变更或者经营状况等重要信息，其中，大文本信息可以是指文本中字词数量比较多，比如包含成百上千字的公告文章，如何从这些大文本信息中准确的抽取出相关标签信息是一个比较重要的发展方向，传统的用于提取标签的模型仅限于对几句话的标签提取，不适用于对大文本的标签提取。
技术实现思路
[0003]基于此，有必要针对上述技术问题，提供一种标签提取模型训练方法、装置、设备与存储介质，能够让标签提取模型学习到从词到句子，再到文档的特征学习过程，从而能够实现对大文本的文本分析，并提取适合大文本的标签，提高标签提取的准确性。
[0004]第一方面，本申请提供一种标签提取模型训练方法，所述标签提取模型包括第一编码层、第一注意力层、第二编码层以及第二注意力层，所述方法包括：
[0005]获取文本样本，所述文本样本中的文字数量大于第一阈值，所述文本样本包括至少一个句子；
[0006]获取所述至少一个句子中每个句子对应的词向量序列，所述词向量序列中包含所述句子的至少一个分词中每个分词对应的词向量；
[0007]将所述每个句子对应的词向量序列输入所述第一编码层进行词编码处理，获得所述每个句子中每个分词对应的隐向量；
[0008]通过所述第一注意力层对所述每个句子中每个分词对应的隐向量进行第一注意力处理，获得所述每个句子对应的句子向量；
[0009]将所述每个句子对应的句子向量输入所述第二编码层进行句子编码处理，获得所述每个句子对应的隐向量；
[0010]通过所述第二注意力层对所述每个句子对应的隐向量进行第二注意力处理，获得所述文本样本的文档向量；
[0011]基于所述文档向量，获得所述文本样本的预测标签，并根据所述预测标签和所述文本样本的实际标签之间的差异，调整所述标签提取模型的参数。
[0012]结合第一方面，在一些实施例中，所述通过所述第一注意力层对所述每个句子中每个分词对应的隐向量进行第一注意力处理，获得所述每个句子对应的句子向量，包括：
[0013]获取所述第一注意力层对应的第一语义向量；
[0014]根据所述第一语义向量和所述每个句子中每个分词对应的隐向量，获得所述每个分词对应的注意力权重；
[0015]根据所述每个句子中每个分词对应的隐向量和所述每个句子中每个分词对应的注意力权重，获得所述每个句子对应的句子向量。
[0016]结合第一方面，在一些实施例中，所述通过所述第二注意力层对所述每个句子对应的隐向量进行第二注意力处理，获得所述文本样本的文档向量，包括：
[0017]获取所述第二注意力层对应的第二语义向量；
[0018]根据所述第二语义向量和所述每个句子对应的隐向量，获得所述每个句子对应的注意力权重；
[0019]根据所述每个句子对应的隐向量和所述每个句子对应的注意力权重，获得所述文本样本的文档向量。
[0020]结合第一方面，在一些实施例中，所述标签提取模型还包括全连接层和逻辑回归softmax层；
[0021]所述基于所述文档向量，获得所述文本样本的预测标签，包括：
[0022]将所述文档向量输入所述全连接层进行线性转换处理，获得目标向量；
[0023]将所述目标向量输入所述softmax层进行分类处理，获得所述文本样本的预测标签。
[0024]结合第一方面，在一些实施例中，所述根据所述预测标签和所述文本样本的实际标签之间的差异，调整所述标签提取模型的参数，包括：
[0025]根据所述预测标签和所述文本样本的实际标签之间的差异，确定损失值；
[0026]若所述损失值大于或者等于第二阈值，调整所述标签提取模型的参数。
[0027]结合第一方面，在一些实施例中，若所述损失值小于所述第二阈值，将所述标签提取模型确定为训练好的标签提取模型；
[0028]确定至少一个待分析企业，采用网络爬虫技术从互联网爬取所述至少一个个待分析企业中每个待分析企业的文本数据，所述文本数据包括所述待分析企业的财经文本、法律公告或研究报告中的一项或多项；
[0029]基于所述训练好的标签提取模型对所述每个待分析企业的文本数据进行标签提取处理，获得所述每个待分析企业的企业标签。
[0030]结合第一方面，在一些实施例中，所述方法还包括：
[0031]从所述至少一个待分析企业的企业标签中筛选与目标标签匹配的待分析企业，并将与所述目标标签匹配的待分析企业确定为目标企业；
[0032]向与所述目标企业关联的终端设备发送与所述目标标签对应的预设信息。
[0033]第二方面，本申请提供一种标签提取模型训练装置，所述标签提取模型包括第一编码层、第一注意力层、第二编码层以及第二注意力层，该装置包括：
[0034]第一获取单元，用于获取文本样本，所述文本样本中的文字数量大于第一阈值，所述文本样本包括至少一个句子；
[0035]第二获取单元，用于获取所述至少一个句子中每个句子对应的词向量序列，所述词向量序列中包含所述句子的至少一个分词中每个分词对应的词向量；
[0036]词编码单元，用于将所述每个句子对应的词向量序列输入所述第一编码层进行词编码处理，获得所述每个句子中每个分词对应的隐向量；
[0037]第一注意力单元，用于通过所述第一注意力层对所述每个句子中每个分词对应的
隐向量进行第一注意力处理，获得所述每个句子对应的句子向量；
[0038]句子编码单元，用于将所述每个句子对应的句子向量输入所述第二编码层进行句子编码处理，获得所述每个句子对应的隐向量；
[0039]第二注意力单元，用于通过所述第二注意力层对所述每个句子对应的隐向量进行第二注意力处理，获得所述文本样本的文档向量；
[0040]模型训练单元，用于基于所述文档向量，获得所述文本样本的预测标签，并根据所述预测标签和所述文本样本的实际标签之间的差异，调整所述标签提取模型的参数。
[0041]结合第二方面，在一些实施例中，所述第一注意力单元具体用于：
[0042]获取所述第一注意力层对应的第一语义向量；
[0043]根据所述第一语义向量和所述每个句子中每个分词对应的隐向量，获得所述每个分词对应的注意力权重；
[0044]根据所述每个句子中每个分词对应的隐向量和所述每个句子中每个分词对应的注意力权重，获得所述每个句子对应的句子向量。
[0045]结合第二方面，在一些实施例中，所述第二注意力单元具体用于：
[0046]获取所述第二注意力层对应的第二语义向量；
[0047]根据所述第二语义向量和所述每个句子对应的隐向量，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种标签提取模型训练方法，其特征在于，所述标签提取模型包括第一编码层、第一注意力层、第二编码层以及第二注意力层，所述方法包括：获取文本样本，所述文本样本中的文字数量大于第一阈值，所述文本样本包括至少一个句子；获取所述至少一个句子中每个句子对应的词向量序列，所述词向量序列中包含所述句子的至少一个分词中每个分词对应的词向量；将所述每个句子对应的词向量序列输入所述第一编码层进行词编码处理，获得所述每个句子中每个分词对应的隐向量；通过所述第一注意力层对所述每个句子中每个分词对应的隐向量进行第一注意力处理，获得所述每个句子对应的句子向量；将所述每个句子对应的句子向量输入所述第二编码层进行句子编码处理，获得所述每个句子对应的隐向量；通过所述第二注意力层对所述每个句子对应的隐向量进行第二注意力处理，获得所述文本样本的文档向量；基于所述文档向量，获得所述文本样本的预测标签，并根据所述预测标签和所述文本样本的实际标签之间的差异，调整所述标签提取模型的参数。2.如权利要求1所述的方法，其特征在于，所述通过所述第一注意力层对所述每个句子中每个分词对应的隐向量进行第一注意力处理，获得所述每个句子对应的句子向量，包括：获取所述第一注意力层对应的第一语义向量；根据所述第一语义向量和所述每个句子中每个分词对应的隐向量，获得所述每个分词对应的注意力权重；根据所述每个句子中每个分词对应的隐向量和所述每个句子中每个分词对应的注意力权重，获得所述每个句子对应的句子向量。3.如权利要求1所述的方法，其特征在于，所述通过所述第二注意力层对所述每个句子对应的隐向量进行第二注意力处理，获得所述文本样本的文档向量，包括：获取所述第二注意力层对应的第二语义向量；根据所述第二语义向量和所述每个句子对应的隐向量，获得所述每个句子对应的注意力权重；根据所述每个句子对应的隐向量和所述每个句子对应的注意力权重，获得所述文本样本的文档向量。4.如权利要求1
‑
3任一项所述的方法，其特征在于，所述标签提取模型还包括全连接层和逻辑回归softmax层；所述基于所述文档向量，获得所述文本样本的预测标签，包括：将所述文档向量输入所述全连接层进行线性转换处理，获得目标向量；将所述目标向量输入所述softmax层进行分类处理，获得所述文本样本的预测标签。5.如权利要求4所述的方法，其特征在于，所述根据所述预测标签和所述文本样本的实际标签之间的差异，调整所述标签提取模型的参数，包括：根据所述预测标签和所述文本样本的实际标签之间的差异，确定损失值；若所述损失值大...
【专利技术属性】
技术研发人员：周建锋，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。