本申请涉及电商技术领域中一种模型在线更新方法及其装置、设备、介质，所述方法包括：响应旧模型更新请求，部署新模型，持续推送数据库中属于增量的相似问至消息中间件中的实时队列；记录当前数据库中的最新相似问的数据位点，推送当前数据库中的所有相似问至消息中间件中的历史队列；拉取历史队列中的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至数据库；拉取实时队列中的所述数据位点之后的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至数据库；当新模型处理的相似问的时间戳，与当前时间相差小于预设阈值时，以新模型更新旧模型。本申请能够在线平滑更新模型。本申请能够在线平滑更新模型。本申请能够在线平滑更新模型。
【技术实现步骤摘要】
模型在线更新方法及其装置、设备、介质
[0001]本申请涉及电商
，尤其涉及一种模型在线更新方法及其相应的装置、计算机设备、计算机可读存储介质。
技术介绍
[0002]在电商领域中，自动化智能回复客服的线上服务是不可或缺的电商业务，为了能够提供优质的所述线上服务，支持线上服务的模型需要不断地迭代，迭代后的新模型需要更新迭代前的旧模型。
[0003]传统技术中，通常采用离线更新，即选择在凌晨时分等少人使用自动化智能回复客服的线上服务的时候，停止当前旧模型提供的线上服务，将新模型部署，长时间处理完海量的业务数据后，以新模型替换旧模型提供线上服务，重启线上服务，可见模型更新过程中长时间中断现有的线上服务，对线上业务造成非常大的影响，由于不能提供业务服务，用户会因为无法完成操作而感到焦虑和失望，这会影响用户的满意度和忠诚度，甚至可能导致客户流失，此外，通常业务数据体量大，基本上无时无刻都在写入数据库存储，而模型处理业务数据的速度有限，故而可能会出现模型重复处理同一业务数据，以及模型处理已经写入的静态业务数据和实时持续写入的动态业务数据可能出现紊乱，导致未处理完成所需处理的所有业务数据便处理失败，无法更新。
[0004]鉴于传统技术的不足，本申请人长期从事相关领域的研究，为解决电商领域业内难题，故另辟蹊径。
技术实现思路
[0005]本申请的首要目的在于解决上述问题至少之一而提供一种模型在线更新方法及其相应的装置、计算机设备、计算机可读存储介质。
[0006]为满足本申请的各个目的，本申请采用如下技术方案：
[0007]适应本申请的目的之一而提供的一种模型在线更新方法，包括如下步骤：
[0008]响应旧模型更新请求，部署新模型，持续推送数据库中属于增量的相似问至消息中间件中的实时队列；
[0009]记录当前数据库中的最新相似问的数据位点，推送当前数据库中的所有相似问至消息中间件中的历史队列；
[0010]拉取所述历史队列中的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库；
[0011]拉取所述实时队列中的所述数据位点之后的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库；
[0012]当所述新模型处理的相似问的时间戳，与当前时间相差小于预设阈值时，以所述新模型更新旧模型。
[0013]进一步的实施例中，拉取所述实时队列中的所述数据位点之后的所有相似问调用
所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库，包括如下步骤：
[0014]拉取所述实时队列中的所述数据位点之后的所有相似问，识别每个相似问对应预设的幂等键，所述幂等键表示相应的相似问是否被处理；
[0015]当所述幂等键表示相应的相似问未被处理，调用所述新模型处理该幂等键的相似问，获得相应的向量化表示，当所述幂等键表示相应的相似问被处理，跳过对该幂等键的相似问的处理。
[0016]进一步的实施例中，以所述新模型更新旧模型，包括如下步骤：
[0017]获取所述数据库中调用所述新模型处理的相似问及其向量化表示；
[0018]根据每两个相似问之间是否相似，确定出相应的正样本和负样本，所述正样本中的两个相似问之间相似，所述负样本中的两个相似问之间不相似；
[0019]将所述正样本和所述负样本中对应的两个相似问的向量化表示之间的相似度作为预测值，评估出所述新模型的准确度；
[0020]当所述准确度达到预设标准时，确定所述新模型通过校验，以所述新模型替换旧模型上线；
[0021]当所述准确度未达到预设标准时，确定所述新模型不通过校验，响应旧模型更新失败事件。
[0022]进一步的实施例中，根据每两个相似问之间是否相似，确定出相应的正样本和负样本，所述正样本中的两个相似问之间相似，所述负样本中的两个相似问之间不相似，包括如下步骤：
[0023]采用聚类算法对多个相似问进行聚类，确定出多个相似问群，不同的相似问群对应表达不同的意图；
[0024]将同一相似问群中的距离类簇中心点最近的两个相似问构造为正样本，将同一相似问群中的表达不同意图的两个相似问构造为负样本。
[0025]进一步的实施例中，以所述新模型替换旧模型上线之后，包括如下步骤：
[0026]保留下线的所述旧模型与所述新模型并行工作；
[0027]响应新模型异常事件，以所述旧模型替换所述新模型上线；
[0028]响应旧模型下线事件，下线所述旧模型，删除数据库中调用所述旧模型处理的相似问的向量化表示。
[0029]进一步的实施例中，响应旧模型更新失败事件，包括如下步骤：
[0030]获取数据库中调用旧模型处理的相似问及其向量化表示，构造出正样本和负样本，根据正样本和负样本中分别的两个相似问的向量化表示之间的相似度，相应标注正样本和负样本分别的监督标签，所述正样本中两个相似问之间相似，所述负样本中两个相似问之间不相似；
[0031]调用所述新模型对所述正样本和负样本进行处理，获得正样本和负样本中分别的两个相似问的向量化表示，计算出两个相似问的向量化表示之间的相似度，获得所述正样本和负样本分别的预测值；
[0032]采用所述正样本和负样本分别的监督标签，确定所述正样本和负样本分别的预测值的损失值，在所述损失值未达到预设阈值时，对新模型实施权重更新，并继续调用其他正
样本和负样本实施迭代训练直至新模型收敛。
[0033]进一步的实施例中，以所述新模型更新旧模型之后，包括如下步骤：
[0034]响应客服回复请求，获取用户输入的提问文本；
[0035]调用所述新模型对所述提问文本进行处理，获得相应的向量化表示；
[0036]根据所述提问文本的向量化表示，确定出数据库中与所述提问文本相匹配的相似问，获取所述相似问关联的答案作为回复文本推送给用户。
[0037]另一方面，适应本申请的目的之一而提供的一种模型在线更新装置，包括请求响应模块、历史推送模块、历史处理模块、实时处理模块以及模型更新模块，其中，请求响应模块，用于响应旧模型更新请求，部署新模型，持续推送数据库中属于增量的相似问至消息中间件中的实时队列；历史推送模块，用于记录当前数据库中的最新相似问的数据位点，推送当前数据库中的所有相似问至消息中间件中的历史队列；历史处理模块，用于拉取所述历史队列中的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库；实时处理模块，用于拉取所述实时队列中的所述数据位点之后的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库；模型更新模块，用于当所述新模型处理的相似问的时间戳，与当前时间相差小于预设阈值时，以所述新模型更新旧模型。
[0038]进一步的实施例中，所述实时处理模块，包括：幂等键识别子模块，用于拉取所述实时队列中的所述数据位点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型在线更新方法，其特征在于，包括如下步骤：响应旧模型更新请求，部署新模型，持续推送数据库中属于增量的相似问至消息中间件中的实时队列；记录当前数据库中的最新相似问的数据位点，推送当前数据库中的所有相似问至消息中间件中的历史队列；拉取所述历史队列中的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库；拉取所述实时队列中的所述数据位点之后的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库；当所述新模型处理的相似问的时间戳，与当前时间相差小于预设阈值时，以所述新模型更新旧模型。2.根据权利要求1所述的模型在线更新方法，其特征在于，拉取所述实时队列中的所述数据位点之后的所有相似问调用所述新模型进行处理，获得每个相似问对应的向量化表示存储至所述数据库，包括如下步骤：拉取所述实时队列中的所述数据位点之后的所有相似问，识别每个相似问对应预设的幂等键，所述幂等键表示相应的相似问是否被处理；当所述幂等键表示相应的相似问未被处理，调用所述新模型处理该幂等键的相似问，获得相应的向量化表示，当所述幂等键表示相应的相似问被处理，跳过对该幂等键的相似问的处理。3.根据权利要求1所述的模型在线更新方法，其特征在于，以所述新模型更新旧模型，包括如下步骤：获取所述数据库中调用所述新模型处理的相似问及其向量化表示；根据每两个相似问之间是否相似，确定出相应的正样本和负样本，所述正样本中的两个相似问之间相似，所述负样本中的两个相似问之间不相似；将所述正样本和所述负样本中对应的两个相似问的向量化表示之间的相似度作为预测值，评估出所述新模型的准确度；当所述准确度达到预设标准时，确定所述新模型通过校验，以所述新模型替换旧模型上线；当所述准确度未达到预设标准时，确定所述新模型不通过校验，响应旧模型更新失败事件。4.根据权利要求3所述的模型在线更新方法，其特征在于，根据每两个相似问之间是否相似，确定出相应的正样本和负样本，所述正样本中的两个相似问之间相似，所述负样本中的两个相似问之间不相似，包括如下步骤：采用聚类算法对多个相似问进行聚类，确定出多个相似问群，不同的相似问群对应表达不同的意图；将同一相似问群中的距离类簇中心点最近的两个相似问构造为正样本，将同一相似问群中的表达不同意图的两个相似问构造为负样本。5.根据权利要求3所述的模型在线更新方法，其特征在于，以所述新模型替换旧模型上线之后，包括如下步骤：
保留下线的所述旧模型与所述新模型并行工作；响应新模型异常...
【专利技术属性】
技术研发人员：杨鹏，
申请(专利权)人：广州商研网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。