响应数据处理请求的方法、装置、设备以及存储介质制造方法及图纸

本申请实施例属于计算机技术领域，提供了一种响应数据处理请求的方法、装置、设备以及存储介质，旨在提高数据的处理效率、降低对模型的存储压力，所述方法包括：根据版本互不相同的多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系；其中，所述版本流量配比表征不同版本的模型各自所要处理的数据流的分配比例；响应于接收到的数据处理请求，在所述多个模型中，确定所述数据处理请求对应的目标版本；基于所述映射关系，确定属于所述目标版本的目标模型中多个分片各自所映射的候选存储设备；从各所述候选存储设备中确定目标存储设备，并将所述数据处理请求定向至所述目标存储设备。据处理请求定向至所述目标存储设备。据处理请求定向至所述目标存储设备。

【技术实现步骤摘要】
响应数据处理请求的方法、装置、设备以及存储介质


[0001]本申请涉及计算机
，特别是涉及一种响应数据处理请求的方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机技术的不断发展，出现了机器学习模型。机器学习模型是专门研究计算机怎样模拟或实现人类的学习行为，通过多次训练以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能的模型。
[0003]其中，对于处理同一个数据处理任务的模型，往往会有多个版本(version)，例如，随着时间的推移，会有1.0、2.0、3.0等版本的模型，这些不同版本的模型都可以用于进行同一个数据处理任务，以进行实验对比，因此，随着版本的不断更新，在服务器上存储的模型版本数据的量也越来越大。
[0004]相关技术中，是在一台存储设备上部署多个版本的模型，由这一台存储设备处理不同版本的模型所要处理的数据，但当所要的数据量较大或者模型本身较大时单机内存便无法满足模型的存储需求和数据的处理需求，如此，便导致了对数据处理的效率低、对模型的存储的压力高的问题。

技术实现思路

[0005]为了解决上述问题，本申请提供了一种响应数据处理请求的方法、装置、对话系统、设备及存储介质，旨在提高数据的处理效率、降低对模型的存储压力。
[0006]本公开实施例的第一方面，提供了一种响应数据处理请求的方法，所述方法包括：
[0007]根据版本互不相同的多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系；其中，所述版本流量配比表征不同版本的模型各自所要处理的数据流的分配比例；
[0008]响应于接收到的数据处理请求，在所述多个模型中，确定所述数据处理请求对应的目标版本；
[0009]基于所述映射关系，确定属于所述目标版本的目标模型中多个分片各自所映射的候选存储设备；
[0010]从各所述候选存储设备中确定目标存储设备，并将所述数据处理请求定向至所述目标存储设备。
[0011]可选地，根据多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系，包括：
[0012]获得所述多个模型的目标分片数量以及所述多个存储设备各自的标识；
[0013]基于所述版本流量配比、所述多个模型各自的分片数量以及存储集群中的多个存储设备各自的标识，确定所述多个模型与所述多个存储设备之间的映射关系。
[0014]可选地，基于所述版本流量配比、所述多个模型各自的分片数量以及存储集群中
的多个存储设备各自的标识，确定所述多个模型与所述多个存储设备之间的映射关系，包括：
[0015]根据所述版本流量配比，确定相应数量的多个虚拟存储节点；
[0016]根据所述多个模型各自的分片数量以及所述多个存储设备各自的标识，确定每个存储设备对应的分片标识，并建立每个分片标识与至少一个存储设备之间的第一映射关系；
[0017]根据所述多个虚拟存储节点的数量、所述多个存储设备各自的标识以及每个模型各自的分片数量，确定每个存储设备对应的虚拟节点标识，并建立每个虚拟存储节点与至少一个存储设备之间的第二映射关系；
[0018]基于所述版本流量配比、所述第一映射关系以及所述第二映射关系，确定所述多个模型中每个模型的每个分片所映射的存储设备。
[0019]可选地，根据所述多个模型各自的分片数量以及所述多个存储设备各自的标识，确定每个存储设备对应的分片标识，并建立每个分片标识与至少一个存储设备之间的第一映射关系，包括：
[0020]按照所述多个存储设备的预设先后顺序，对第i个存储设备的标识和所述分片数量进行取模运算，得到所述第i个存储设备对应的分片标识，并建立属于同一分片标识的存储设备与该分片标识之间的第一映射关系；
[0021]根据所述多个虚拟存储节点的数量、所述多个存储设备各自的标识以及每个模型各自的分片数量，确定每个存储设备对应的虚拟节点标识，并建立每个虚拟存储节点与至少一个存储设备之间的第二映射关系，包括：
[0022]按照所述多个存储设备的预设先后顺序，对所述第i个存储设备的标识、所述多个虚拟存储节点的数量、以及每个模型的分片数量进行混合运算，得到所述第i个存储设备所对应的虚拟节点标识，并建立属于同一虚拟节点标识的多个存储设备与该虚拟节点标识之间的第二映射关系；
[0023]其中，所述混合运算至少包括取模运算和取商运算。
[0024]可选地，基于所述版本流量配比、所述第一映射关系以及所述第二映射关系，确定所述多个模型中每个模型的每个分片所映射的存储设备，包括：
[0025]基于所述第二映射关系和所述第一映射关系，确定属于同一虚拟节点的多个存储设备各自分别所映射的分片；
[0026]按照所述多个模型各自所属的模型版本，对所述版本流量配比进行拼接，得到模型版本分布数列；
[0027]基于每个虚拟存储节点的虚拟节点标识在所述模型版本分布数列中的位置，确定每个虚拟存储节点所对应的版本；
[0028]将每个虚拟存储节点所映射的多个存储设备，分配给该虚拟存储节点对应的版本下的模型的各个分片。
[0029]可选地，所述方法还包括：
[0030]检测到对所述版本流量配比的更新时，获得更新后的版本流量配比；
[0031]按照所述多个模型各自所属的模型版本，对所述版本流量配比进行拼接，得到模型版本分布数列，包括：
[0032]获取更新版本流量配比前所述模型版本分布数列的拼接顺序；
[0033]按照所述拼接顺序，对所述版本流量配比进行拼接，得到所述模型版本分布数列。
[0034]可选地，所述方法还包括：
[0035]基于所述多个模型与所述多个存储设备之间的映射关系，生成每个模型中每个分片的至少一条数据处理路径；
[0036]将所述至少一条数据处理路径存储到本地路由表；
[0037]将所述数据处理请求定向至所述目标存储设备，包括：
[0038]从所述本地路由表中，获取所述目标存储设备对应的目标数据处理路径；
[0039]基于所述目标数据处理路径，将所述数据处理请求发送给所述目标存储设备。
[0040]可选地，从各所述候选存储设备中确定目标存储设备，包括：
[0041]确定各所述候选存储设备的可用存储空间，和/或当前未处理的数据处理请求的数量；
[0042]将所述可用存储空间大于预设存储空间，和/或当前未处理的数据处理请求的数量小于预设数量的候选存储设备，确定为所述目标存储设备。
[0043]本公开实施例的第二方面，提供了一种响应数据处理请求的装置，所述装置包括：
[0044]第一确定模块，用于根据版本互不相同的多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系；其中，所述版本流量配比表征不同版本的模型各自所要处理的数据流的分配比例；
[0045]第二确定模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种响应数据处理请求的方法，其特征在于，所述方法包括：根据版本互不相同的多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系；其中，所述版本流量配比表征不同版本的模型各自所要处理的数据流的分配比例；响应于接收到的数据处理请求，在所述多个模型中，确定所述数据处理请求对应的目标版本；基于所述映射关系，确定属于所述目标版本的目标模型中多个分片各自所映射的候选存储设备；从各所述候选存储设备中确定目标存储设备，并将所述数据处理请求定向至所述目标存储设备。2.根据权利要求1所述的方法，其特征在于，根据多个模型之间的版本流量配比，确定所述多个模型中各个分片与多个存储设备之间的映射关系，包括：获得所述多个模型对应的分片数量以及所述多个存储设备各自的标识；基于所述版本流量配比、所述分片数量以及所述多个存储设备各自的标识，确定所述多个模型中各个分片与所述多个存储设备之间的映射关系。3.根据权利要求2所述的方法，其特征在于，基于所述版本流量配比、所述分片数量以及所述多个存储设备各自的标识，确定所述多个模型中各个分片与所述多个存储设备之间的映射关系，包括：根据所述版本流量配比，确定相应数量的多个虚拟存储节点；根据所述分片数量以及所述多个存储设备各自的标识，确定每个存储设备对应的分片标识，并建立每个分片标识与至少一个存储设备之间的第一映射关系；根据所述多个虚拟存储节点的数量、所述多个存储设备各自的标识以及所述分片数量，确定每个存储设备对应的虚拟节点标识，并建立每个虚拟存储节点与至少一个存储设备之间的第二映射关系；基于所述版本流量配比、所述第一映射关系以及所述第二映射关系，确定每个模型的每个分片所映射的存储设备。4.根据权利要求3所述的方法，其特征在于，根据所述分片数量以及所述多个存储设备各自的标识，确定每个存储设备对应的分片标识，并建立每个分片标识与至少一个存储设备之间的第一映射关系，包括：按照所述多个存储设备的预设先后顺序，对第i个存储设备的标识和所述分片数量进行取模运算，得到所述第i个存储设备对应的分片标识，并建立属于同一分片标识的存储设备与该分片标识之间的第一映射关系；根据所述多个虚拟存储节点的数量、所述多个存储设备各自的标识以及所述分片数量，确定每个存储设备对应的虚拟节点标识，并建立每个虚拟存储节点与至少一个存储设备之间的第二映射关系，包括：按照所述多个存储设备的预设先后顺序，对所述第i个存储设备的标识、所述多个虚拟存储节点的数量、以及所述分片数量进行混合运算，得到所述第i个存储设备所对应的虚拟节点标识，并建立属于同一虚拟节点标识的多个存储设备与该虚拟节点标识之间的第二映射关系；
其中，所述混合运算至少包括取模运算和取商运算。5.根据权利要求2
‑
4任一所述的方法，其特征在于，基于所述版本流量配比、所述第一映射关系以及所述第二映射关系，确定所述...

【专利技术属性】
技术研发人员：张喆宁，林乐彬，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：