主体分类处理方法技术

本公开提供了一种主体分类处理方法

【技术实现步骤摘要】
主体分类处理方法、相关装置和介质


[0001]本公开涉及人工智能
，特别是涉及一种主体分类处理方法
、
相关装置和介质
。

技术介绍

[0002]随着人工智能技术的迅速发展，大语言模型在自然语言理解等方面体现出了较好的效果表现
。
基于此，在对主体的真实类别进行识别时，能充分利用大语言模型的语言理解能力，基于主体的基本信息确定该主体的主体类别
。
[0003]虽然，大语言模型能为主体分类的过程提供便利
。
但是，大语言模型的模型参数规模较大，这会使得大语言模型在运行时对算力要求较高
。
另外，庞大的参数量也会使大语言模型的推理速度较慢，会导致模型推理速度难以满足实际需求
。
[0004]目前，大多数的主体分类方法常常采取对大语言模型进行模型量化的方式，通过降低参数的存储精度来减少计算量，从而提高模型推理速度
。
这一方式往往只是降低了模型参数精度，但并没有减少模型参数量，仍然存在着模型计算量较大的问题
。
...

【技术保护点】

【技术特征摘要】
1.
一种主体分类处理方法，其特征在于，包括：获取目标主体的目标主体描述信息；将所述主体描述信息输入分类模型，得到所述目标主体的目标主体类别，其中，所述分类模型在经过预训练的第一模型的基础上通过以下方式调整而成：基于所述第一模型对样本主体的样本主体描述信息的第一类别预测结果
、
和预设的第二模型对所述样本主体的样本主体描述信息的第二类别预测结果，计算第一损失函数，其中，所述样本主体描述信息具有主体类别标签；基于所述样本主体的所述第一类别预测结果
、
和所述主体类别标签，计算第二损失函数；基于所述第一损失函数
、
和所述第二损失函数对所述第一模型进行调整，得到所述分类模型，其中，所述第二模型的参数数目大于所述第一模型的参数数目
。2.
根据权利要求1所述的主体分类处理方法，其特征在于，所述分类模型包括语义编码子模型和分类层；所述将所述主体描述信息输入分类模型，得到所述目标主体的目标主体类别，包括：将所述目标主体描述信息输入所述语义编码子模型，得到所述目标主体描述信息的语义表征向量；通过所述分类层，基于所述语义表征向量，得到各个候选主体类别的判定概率；将所述各个候选主体类别中判定概率最高的候选主体类别判定为所述目标主体类别
。3.
根据权利要求2所述的主体分类处理方法，其特征在于，所述将所述目标主体描述信息输入所述语义编码子模型，得到所述主体描述信息的语义表征向量，包括：对所述目标主体描述信息进行分词，得到多个目标词；针对每个所述目标词，对所述目标词进行词嵌入处理，得到所述目标词的词嵌入向量；将多个所述目标词的词嵌入向量输入至所述语义编码子模型，得到各个所述目标词的预测词表征；基于所述预测词表征，得到所述目标主体描述信息的语义表征向量
。4.
根据权利要求1所述的主体分类处理方法，其特征在于，所述基于所述第一损失函数
、
和所述第二损失函数对所述第一模型进行调整，得到所述分类模型，包括：获取所述第一损失函数的第一权重
、
和所述第二损失函数的第二权重；基于所述第一权重和所述第二权重，计算所述第一损失函数和所述第二损失函数的加权和，作为总损失函数；基于所述总损失函数对所述第一模型进行调整，得到所述分类模型
。5.
根据权利要求1所述的主体分类处理方法，其特征在于，所述第一类别预测结果包括多个候选主体类别的第一预测分数，所述第二类别预测结果包括多个候选主体类别的第二预测分数；所述基于所述第一模型对样本主体的样本主体描述信息的第一类别预测结果
、
和预设的第二模型对所述样本主体的样本主体描述信息的第二类别预测结果，计算第一损失函数，包括：对多个所述候选主体类别的所述第一预测分数进行归一化，得到多个第一预测概率，并对多个所述候选主体类别的所述第二预测分数进行归一化，得到多个第二预测概率；
基于所述样本主体的多个所述第一预测概率和多个所述第二预测概率，确定所述样本主体的第一损失子函数；对多个所述样本主体的第一损失子函数进行相加，得到所述第一损失函数
。6.
根据权利要求5所述的主体分类处理方法，其特征在于，所述基于所述样本主体的多个所述第一预测概率和多个所述第二预测概率，确定所述样本主体的第一损失子函数，包括：针对每个所述候选主体类别，对所述第二预测概率和所述第一预测概率取对数差；将所述对数差和所述第二预测概率相乘，得到所述候选主体类别的乘积结果；将所有所述候选主体类别的乘积结果进行相加，得到所述第一损失子函数
。7.
根据权利要求5所述的主体分类处理方法，其特征在于，所述对多个所述候选主体类别的所述第一预测分数进行归一化，得到多个第一预测概率，包括：针对每个所述候选主体类别，基于预设的蒸馏温度对所述候选主体类别的所述第一预测分数进行优化，得到第一优化分数；对多个所述候选主体类别的第一优化分数进行求和，得到第一优化总分数；基于所述第一优化总分数对所述第一优化分数进行归一化，得到所述第一预测概率；所述对多个所述候选主体类别的所述第二预测分数进行归一化，得到...

【专利技术属性】
技术研发人员：李俊琪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：