服务端模型更新方法、系统、电子设备及可读存储介质技术方案

本发明专利技术涉及服务端模型更新方法、系统、电子设备及可读存储介质，该方法通过将当前正在运行的第一模型的模型参数及待更新到的第二模型的模型参数加载到第一内存区域，将第一模型响应客户端请求时生成的中间数据存储在第二内存区域，而第一内存区域和第二内存区域相互独立，避免了第二模型的模型参数内存分配与第一模型的中间数据内存分配竞争，解决了服务端模型更新时，由于服务端内存分配存在竞争，导致服务端无法及时响应客户端请求，客户端延时严重的问题。另外，第二模型响应客户端请求之前，第一模型始终能够正常响应客户端请求，保证了客户端的请求被服务端无缝衔接响应，减少了因服务端模型更新，导致客户端请求不能被及时响应的问题发生。及时响应的问题发生。及时响应的问题发生。

【技术实现步骤摘要】
服务端模型更新方法、系统、电子设备及可读存储介质


[0001]本专利技术涉及深度学习模型
，具体涉及一种服务端模型更新方法、系统、电子设备及可读存储介质。

技术介绍

[0002]CTR(Click
‑
Through
‑
Rate，即点击通过率)预估模型属于深度学习的推荐模型，该模型可以广泛应用于个性化推荐、信息检索、在线广告等领域，用来学习和预测用户的反馈，用户的反馈主要有点击、收藏、购买等。
[0003]CTR预估模型的训练数据都是由用户的行为不断产生的，因此对模型更新的实时性要求比较高。如果模型一天不更新，那么就捕捉不到这一天的用户行为。所以线上服务的模型通常至少是天级更新，或者小时级别甚至更小粒度的级别更新。
[0004]由于模型更新的频率比较高，通常这种线上服务的模型更新都是动态更新的。动态更新就是不重启当前线上服务的情况下，直接用新模型替换旧模型的方式，这个过程中线上服务不会重启，并且原有客户端请求的连接都不会断开，持续不断地请求模型服务。
[0005]同时在CTR预估模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务端模型更新方法，其特征在于，包括：将第一模型的模型参数加载到第一内存区域，将第一模型响应客户端请求时生成的中间数据存储在第二内存区域，所述第一内存区域和第二内存区域为相互独立的内存区域；当第一模型需要更新为第二模型时，将第二模型的模型参数加载到所述第一内存区域，第一内存区域中第二模型的模型参数占用的内存区域与第一模型的模型参数占用的内存区域相互独立；在第二模型的模型参数加载完毕后，将客户端请求切换到第二模型，同时，卸载第一内存区域中第一模型的模型参数。2.根据权利要求1所述的方法，其特征在于，还包括：当客户端请求切换到第二模型后，将第二模型响应客户端请求时生成的中间数据存储在所述第二内存区域。3.根据权利要求1所述的方法，其特征在于，所述卸载第一内存区域中第一模型的模型参数，具体为：将第一内存区域中第一模型的模型参数占用的内存区域标记为可用区域。4.根据权利要求3所述的方法，其特征在于，还包括：将第一内存区域划分为至少两个相互独立的子区域；若任一子区域未存储数据，或者，存储了数据但被标记为可用区域，将该子区域确定为第一内存区域的可用区域；所述将第一模型的模型参数加载到所述第一内存区域，具体为：将第一模型的模型参数加载到所述第一内存区域的可用区域；所述将第二模型的模型参数加载到所述第一内存区域中，具体为：将第二模型的模型参数加载到所述第一内存区域的其他可用区域。5.根据权利要求4所述的方法，其特征在于，还包括：将第一模型的模型参数加载到所述第一内存区域时，及，将第二模型的模型参数加载到所述第一内存区域时，根据所述模型参数的大小，为所述模型参数动态分配内存空间；和/或，将第一模型响应客户端请求时生成的中间数据存储在所述第二内存区域时，根据所述中间数据的大小，为所述中间数据动态分配内存空间。6.根据权利要求5所述的方法，其特征在于，所述根据所述模型参数的大小，为所述模型参数动态分配内存空间，包括：若所述模型参数存储在未存储数据的子区域，根据每个模型参数的大小，为所述模型参数动态分配内存空间；若所述模型参数存储在存储了数据但被标记为可用区域的子区域，仅当该子区域现有的内存空间不够存储所述模型参数时，根据剩余模型参数的大小，为所述模型参数动态分配内存空间；和/或，所述根...

【专利技术属性】
技术研发人员：张俊钦，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：