控制在线模型更新的方法及装置制造方法及图纸

本说明书实施例提供一种控制线上模型更新的方法和装置，方法包括，从输入到线上第一模型的线上输入样本中采集第一数目的样本，用以进行人工标注；获取人工标注的第一数目的样本，作为训练样本；然后，至少基于所述训练样本，离线训练第一模型，得到第二模型。接着，利用预定测试样本集，离线测试所述第二模型；在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。

【技术实现步骤摘要】
控制在线模型更新的方法及装置
本说明书一个或多个实施例涉及模型训练和模型测试领域，尤其涉及更新在线模型的方法和装置。
技术介绍
随着人工智能的发展，已经针对各种各样的业务场景进行建模和机器学习，因此各种各样的神经网络模型被运用在丰富的业务场景中。例如，在车辆定损场景中，已经提出了多种模型，例如用于识别车辆部件的模型，用于识别车辆损失程度的模型，用于计算定损理赔方案的模型，等等。这些模型需要利用大量训练样本进行训练，然后用测试样本进行测试，测试通过之后，投入线上运行。然而，在有些情况下，即使训练和测试通过的模型，仍然需要对其进行更新，以进一步提高其准确度。因此，希望能有改进的方案，更加有效地对在线运行的模型进行更新。
技术实现思路
本说明书一个或多个实施例描述了一种控制线上模型更新的方法，可以对线上运行的模型进行自动高效的监控和更新。根据第一方面，提供了一种控制线上模型更新的方法，包括：从线上输入样本中采集第一数目的样本，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一模型；获取人工标注的所述第一数目的样本，作为训练样本；至少基于所述训练样本，离线训练所述第一模型，得到第二模型；利用预定测试样本集，离线测试所述第二模型；在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。根据一种可能的设计，上述方法还包括：评估所述线上运行的第一模型的预测准确度。进一步地，在一个实施例中，通过以下方式评估所述线上运行的第一模型的预测准确度：从所述线上输入样本中采集第二数目的样本，用以进行人工标注；获取人工标注的所述第二数目的样本，作为第一测试样本集；利用所述第一测试样本集，测试所述线上运行的第一模型的预测准确度。更具体地，在一个实施例中，通过以下方式测试所述线上运行的第一模型的预测准确度：获取所述线上运行的第一模型对所述第二数目的样本的预测结果；获取所述第二数目的样本的人工标注标签；通过比对所述预测结果和所述人工标注标签，确定所述线上运行的第一模型的预测准确度。在一种实施方式中，在将线上运行的所述第一模型更新为第二模型之后，评估线上运行的第二模型的预测准确度。进一步地，根据一种可能的实施方式，利用前述的第一测试样本集，测试所述线上运行的第二模型的预测准确度。在另一种可能的实施方式中，通过以下方式评估线上运行的第二模型的预测准确度：从输入到第二模型的线上输入样本中采集第三数目的样本，用以进行人工标注；获取人工标注的所述第三数目的样本，作为第二测试样本集；利用所述第二测试样本集，测试所述线上运行的第二模型的预测准确度。根据一种实施方式，通过以下方式离线训练所述第一模型：将所述训练样本添加到原训练样本集中，得到更新的训练样本集；利用所述更新的训练样本集，离线训练所述第一模型。在一种可能的设计中，在以下情况下，离线训练所述第一模型：响应于所述第一数目达到预设阈值，离线训练所述第一模型；或者，每隔预定时间间隔，离线训练所述第一模型。在另一种方案中，在第一模型的预测准确度低于预设的第一准确度阈值的情况下，离线训练所述第一模型。根据一种可能的设计，预定测试样本集包括多个测试子集；所述离线测试所述第二模型包括，按照测试子集中样本数目从少到多的顺序，依次利用所述多个测试子集，测试所述第二模型的准确度，得到多个测试准确度。在这样的情况下，根据一个实施例，所述测试结果满足预定条件包括，所述多个测试准确度均高于预设的第二准确度阈值。根据第二方面，提供一种控制线上模型更新的装置，包括：样本采集单元，配置为从线上输入样本中采集第一数目的样本，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一模型；标注获取单元，配置为获取人工标注的所述第一数目的样本，作为训练样本；离线训练单元，配置为至少基于所述训练样本，离线训练所述第一模型，得到第二模型；离线测试单元，配置为利用预定测试样本集，离线测试所述第二模型；更新单元，配置为在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。根据第三方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。根据本说明书实施例提供的方法和装置，通过离线的方式对模型进行再训练和测试，测试通过之后才用再训练的模型更新线上模型。另一方面，还对线上模型进行预测准确度的评估。在对模型进行离线再训练和测试，以及评估的过程中，在线模型正常运行，不会受到影响。另外，上述控制过程的各个环节通过控制算法自动控制实现，整个控制过程形成一个闭环，从而实现在线模型的全自动更新。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1示出本说明书披露的一个实施例的实施场景示意图；图2示出根据一个实施例的控制线上模型更新的方法流程图；图3示出根据一个实施例的评估线上模型的预测准确度的流程图；图4示出根据一个实施例的自动控制和更新线上模型的执行过程的示意图；图5示出根据一个实施例的控制装置的示意性框图。具体实施方式下面结合附图，对本说明书提供的方案进行描述。图1为本说明书披露的一个实施例的实施场景示意图。如图1所示，在线上运行有经过训练的预测模型，该预测模型可以是应用于各种业务场景的业务模型，例如应用于车辆定损的预测模型。根据本说明书的实施例，对于线上模型，提供一种自动控制和更新系统。在该系统中，控制系统从在线输入中采集一部分样本，进行人工标注，形成训练样本。将这部分训练样本添加到原有的训练样本集中，利用训练样本集，离线地对预测模型进行再训练。然后，离线地对再训练的模型进行测试。测试通过的话，就用该再训练的模型来更新线上运行的预测模型。如此可以保持线上模型的不断更新。模型的再训练和更新可以持续地常规地进行，例如每隔预定时间进行，或者积累到足够的训练样本就进行。另一方面，该系统还可以不断地对在线运行的预测模型进行评估，即评估模型的预测准确度。在预测准确度不满足要求的情况下，可以加速启动离线模型的再训练和更新，以快速更新模型。根据以上控制系统的控制方式，通过离线的方式对模型进行再训练和测试，测试通过之后才用再训练的模型更新线上模型。在对模型进行离线再训练和测试的过程中，在线模型正常运行，不会受到影响。另外，上述控制系统的各个环节通过控制算法自动控制实现，整个控制过程形成一个闭环，从而实现在线模型的全自动更新。下面描述上述构思的具体实现方式。图2示出根据一个实施例的控制线上模型更新的方法流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行，例如通过图1的控制系统。如图2所示，所述方法包括，步骤22，从线上输入样本中采集第一数目的样本，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一模型；步骤23，获取人工标注的所述第一数目的样本，作为训练样本；步骤24，至少基于所述训练样本，离线训练所述第一模型，得到第二模型；步骤25，利用预定测试样本集，离线测试所述第二模型；步骤26，在测试结果满足预定条件本文档来自技高网...

【技术保护点】
1.一种控制线上模型更新的方法，包括：从线上输入样本中采集第一数目的样本，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一模型；获取人工标注的所述第一数目的样本，作为训练样本；至少基于所述训练样本，离线训练所述第一模型，得到第二模型；利用预定测试样本集，离线测试所述第二模型；在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。

【技术特征摘要】
1.一种控制线上模型更新的方法，包括：从线上输入样本中采集第一数目的样本，用以进行人工标注，所述线上输入样本用于输入到线上运行的第一模型；获取人工标注的所述第一数目的样本，作为训练样本；至少基于所述训练样本，离线训练所述第一模型，得到第二模型；利用预定测试样本集，离线测试所述第二模型；在测试结果满足预定条件的情况下，将线上运行的所述第一模型更新为第二模型。2.根据权利要求1所述的方法，还包括：评估所述线上运行的第一模型的预测准确度。3.根据权利要求2所述的方法，其中评估所述线上运行的第一模型的预测准确度包括：从所述线上输入样本中采集第二数目的样本，用以进行人工标注；获取人工标注的所述第二数目的样本，作为第一测试样本集；利用所述第一测试样本集，测试所述线上运行的第一模型的预测准确度。4.根据权利要求3所述的方法，利用所述第一测试样本集，测试所述线上运行的第一模型的预测准确度，包括：获取所述线上运行的第一模型对所述第二数目的样本的预测结果；获取所述第二数目的样本的人工标注标签；通过比对所述预测结果和所述人工标注标签，确定所述线上运行的第一模型的预测准确度。5.根据权利要求3所述的方法，还包括，在将线上运行的所述第一模型更新为第二模型之后，评估线上运行的第二模型的预测准确度。6.根据权利要求5所述的方法，其中，评估线上运行的第二模型的预测准确度包括：利用所述第一测试样本集，测试所述线上运行的第二模型的预测准确度。7.根据权利要求5所述的方法，其中，评估线上运行的第二模型的预测准确度包括：从输入到第二模型的线上输入样本中采集第三数目的样本，用以进行人工标注；获取人工标注的所述第三数目的样本，作为第二测试样本集；利用所述第二测试样本集，测试所述线上运行的第二模型的预测准确度。8.根据权利要求1所述的方法，其中，至少基于所述训练样本，离线训练所述第一模型包括：将所述训练样本添加到原训练样本集中，得到更新的训练样本集；利用所述更新的训练样本集，离线训练所述第一模型。9.根据权利要求1所述的方法，其中，至少基于所述训练样本，离线训练所述第一模型包括：响应于所述第一数目达到预设阈值，离线训练所述第一模型；或者，每隔预定时间间隔，离线训练所述第一模型。10.根据权利要求2所述的方法，其中，至少基于所述训练样本，离线训练所述第一模型包括：在所述第一模型的预测准确度低于预设的第一准确度阈值的情况下，离线训练所述第一模型。11.根据权利要求1所述的方法，其中，所述预定测试样本集包括多个测试子集；所述离线测试所述第二模型包括，按照测试子集中样本数目从少到多的顺序，依次利用所述多个测试子集，测试所述第二模型的准确度，得到多个测试准确度。12.根据权利要求11所述的方法，所述测试结果满足预定条件包括，所述多个测试准确度均高于预设的第二准确度阈值。13.一种更新线上模型的装置，包括：样本采集单元，配置为从线上输入样本...

【专利技术属性】
技术研发人员：蒋晨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY