对语言模型进行训练以获得预测模型的方法和装置制造方法及图纸

提供了一种对语言模型进行训练以获得预测模型的方法和装置

【技术实现步骤摘要】
对语言模型进行训练以获得预测模型的方法和装置


[0001]本公开涉及人工智能领域，特别是涉及一种对语言模型进行训练以获得预测模型的方法
、
对语言模型进行训练以获得预测模型的装置
、
计算机设备
、
计算机可读存储介质和计算机程序产品
。

技术介绍

[0002]房产买卖是一个重要的经济活动，在众多的经济活动中，房产买卖的交易额相对巨大，对于每个家庭具有重要的意义
。
无论是个人买卖自住房产，还是投资房地产市场，都需要进行谨慎的决策
。
在房产买卖过程中，买家和卖家都面临着一系列的决策，例如确定适合的买入或卖出时机
、
确定合理的价格
、
评估房屋的潜在价值和风险等
。
这些决策往往需要综合考虑众多因素，如房地产市场行情
、
房屋的地理位置
、
房屋的状况
、
买家或卖家的财务状况等
。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法
。
除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术
。
类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认
。

技术实现思路

[0004]提供一种缓解
、
减轻或甚至消除上述问题中的一个或多个的机制将是有利的
。
[0005]根据本公开的一方面，提供了一种对语言模型进行训练以获得预测模型的方法，包括：获取多条文本化业务数据作为第一数据集，多条文本化业务数据描述业务相关情况；针对第一数据集执行无监督聚类操作以得到第二数据集，第二数据集包括
K
个第一子集，第一数据集中的每条数据属于
K
个第一子集中的相应一个第一子集并且具有相应一个第一子集的唯一标签，其中，
K
表示对第一数据集进行无监督聚类操作后得到的集群数，并且
K
为大于等于2的整数；针对语言模型执行以下训练任务：在第一训练任务中，基于第一数据集对语言模型进行预训练，得到经预训练语言模型；在第二训练任务中，基于第一数据集和第二数据集对经预训练语言模型进行半监督训练，得到经训练语言模型；在第三训练任务中，基于第二数据集对经训练语言模型进行调优训练，得到经调优语言模型；以及根据经调优语言模型得到预测模型
。
[0006]根据本公开的一方面，提供了一种对语言模型进行训练以获得预测模型的装置，包括：第一模块，用于获取多条文本化业务数据作为第一数据集，多条文本化业务数据描述业务相关情况；第二模块，用于针对第一数据集执行无监督聚类操作以得到第二数据集，第二数据集包括
K
个第一子集，第一数据集中的每条数据属于
K
个第一子集中的相应一个第一子集并且具有相应一个第一子集的唯一标签，其中，
K
表示对第一数据集进行无监督聚类操作后得到的集群数，并且
K
为大于等于2的整数；第三模块，用于针对语言模型执行以下训练任务：在第一训练任务中，基于第一数据集对语言模型进行预训练，得到经预训练语言模型；在第二训练任务中，基于第一数据集和第二数据集对经预训练语言模型进行半监督训
练，得到经训练语言模型；在第三训练任务中，基于第二数据集对经训练语言模型进行调优训练，得到经调优语言模型；以及第四模块，用于根据经调优语言模型得到预测模型
。
[0007]根据本公开的一方面，提供了一种计算机设备，包括：至少一个处理器；以及至少一个存储器，其上存储有计算机程序，其中，计算机程序在被至少一个处理器执行时，使至少一个处理器执行上述任一种方法
。
[0008]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器执行上述任一种方法
。
[0009]根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使处理器执行上述任一种方法
。
[0010]根据本公开的实施例，基于无监督预训练和训练以及少量基于提示学习和人工标注的有监督训练样本来降低预测模型的训练代价；利用无监督聚类将训练数据进行聚类，将聚类结果作为模型训练和调优的标注参考，从而避免人工数据标注的冗余成本且降低人工分析的复杂度
。
[0011]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明
。
附图说明
[0012]在下面结合附图对于示例性实施例的描述中，本公开的更多细节
、
特征和优点被公开，在附图中：
[0013]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
[0014]图2是图示出根据示例性实施例的对语言模型进行训练以获得预测模型的方法的流程图；
[0015]图3是图示出根据示例性实施例的图2的方法中第二训练任务的示例过程的流程图；
[0016]图4是图示出根据示例性实施例的图2的方法中第三训练任务的示例过程的流程图；
[0017]图5是图示出根据示例性实施例的图2的方法中部分示例过程的流程图；
[0018]图6是图示出根据示例性实施例的对语言模型进行训练以获得预测模型的装置的示意性框图；
[0019]图7是图示出能够应用于示例性实施例的示例性计算机设备的框图
。
具体实施方式
[0020]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系
、
时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开
。
在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例
。
[0021]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制
。
除非上下文另外明确地表明，如果不特意限定要素的数量，则该
要素可以是一个也可以是多个
。
如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。
此外，术语“和
/
或”以及
“……
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式
。
[0022]房产买卖是一个重要的经济活动，在众多的经济活动中，房产买卖的交易额相对巨大，对于每个家庭具有重要的意义
。
无论是个人买卖自住房产，还是投资房地产市场，都需要进行谨慎的决策
。
在房产买卖过程中，买家和卖家都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种对语言模型进行训练以获得预测模型的方法，所述方法包括：获取多条文本化业务数据作为第一数据集，所述多条文本化业务数据描述业务相关情况；针对所述第一数据集执行无监督聚类操作以得到第二数据集，所述第二数据集包括
K
个第一子集，所述第一数据集中的每条数据属于所述
K
个第一子集中的相应一个第一子集并且具有所述相应一个第一子集的唯一标签，其中，
K
表示对所述第一数据集进行无监督聚类操作后得到的集群数，并且
K
为大于等于2的整数；针对所述语言模型执行以下训练任务：在第一训练任务中，基于所述第一数据集对所述语言模型进行预训练，得到经预训练语言模型；在第二训练任务中，基于所述第一数据集和所述第二数据集对所述经预训练语言模型进行半监督训练，得到经训练语言模型；在第三训练任务中，基于所述第二数据集对所述经训练语言模型进行调优训练，得到经调优语言模型；以及根据所述经调优语言模型得到所述预测模型
。2.
根据权利要求1所述的方法，其中，针对所述第一数据集执行无监督聚类操作以得到第二数据集包括以下项中的一者：对所述
K
的值进行指定；或者不对所述
K
的值进行指定，其中，所述无监督聚类操作执行后所得的集群数
K
取决于先验知识或所述无监督聚类操作的评价指标
。3.
根据权利要求1或2所述的方法，其中，在第一训练任务中，基于所述第一数据集对所述语言模型进行预训练，得到经预训练语言模型包括以下项中的一者：对所述语言模型的参数进行随机初始化；或者基于与所述语言模型在结构上相同的另一经训练语言模型，对所述语言模型的参数的初始值进行设置
。4.
根据权利要求1或2所述的方法，其中，在第二训练任务中，基于所述第一数据集和所述第二数据集对所述经预训练语言模型进行半监督训练，得到经训练语言模型包括：获取第三数据集，所述第三数据集包括多个不同的第二子集，每个第二子集包括所述第一数据集中的一条文本化业务数据或存在关联的多条文本化业务数据；基于所述第三数据集，执行构建三元组的步骤，包括：构建一条或多条提示学习语句，所述一条或多条提示学习语句中的每一者能够指向所述多个所述第二子集中的任一第二子集；针对所述多个所述第二子集中的每一者，构建三元组，其中，所述一条或多条提示学习语句中的任一条作为所述三元组中的第一元素，该第二子集中的所有文本化业务数据作为所述三元组的第二元素，并且从业务角度而言所述第二数据集中应紧接在该第二子集中的所有文本化业务数据之后的一条数据所在的第一子集的唯一标签作为所述三元组的第三元素；将所构建的所有三元组输入所述经预训练语言模型以对所述经预训练语言模型进行半监督训练，得到所述经训练语言模型
。
5.
根据权利要求1或2所述的方法，其中，在第三训练任务中，基于所述第二数据集对所述经训练语言模型进行调优训练，得到经调优语言模型包括：从所述第二数据集的每个第一子集中选取一定比例的数据，得到第四数据集；基于所述第四数据集，执行构建四元组的步骤，包括：针对所述第四数据集中的每条数据进行...

【专利技术属性】
技术研发人员：孙建伟，邹伟，陈开江，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：