一种数据处理的方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：获取各待处理数据，判断数据处理模型在当前处理进程下是否能够处理不少于设定数量的待处理数据，若否，调取所述数据处理模型在不同配置组合下的数据处理时间，针对每种配置组合下的数据处理时间，确定所述数据处理模型在该数据处理时间内能够处理的数据量，作为目标数据量，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程对所述待处理数据进行数据处理。理数据进行数据处理。理数据进行数据处理。

【技术实现步骤摘要】
一种数据处理的方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种数据处理的方法、装置、存储介质及电子设备。

技术介绍

[0002]近年来，由于机器学习特别是深度学习算法的广泛应用，诸如物联网、移动应用后端等场景严重依赖于机器学习和深度学习模型的推理服务。而无服务器计算模式因其易用性，低成本，自动扩缩容等特点而被各大主流云服务提供商所支持并迅速推广。越来越多的工作开始构建基于无服务器平台的推理服务，由于目前的无服务器推理系统通常为内存密集型，其内存消耗的问题已经逐渐成为该项技术发展的瓶颈问题。
[0003]在数据处理的过程中，每有一个待处理数据，服务器就会生成相应的处理请求，对于每一个处理请求，服务器都会调用一个处理进程对其进行处理，而为了减少处理进程对服务器内存的占用，目前通常会对处理请求进行批处理，从而将多个请求合成一个较大的请求，以共享一个处理进程。然而，请求批处理会引入额外的请求排队时间，尤其是当服务器的配置较低时，往往无法进行请求的批处理，这种方法反而会提高数据处理过程的延时。
[0004]因此，如何在不增加数据处理过程的延时时间的前提下，减少对服务器内存资源的占用，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种数据处理的方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种数据处理的方法，包括：获取各待处理数据；判断数据处理模型在当前处理进程下是否能够处理不少于设定数量的待处理数据，若否，调取所述数据处理模型在不同配置组合下的数据处理时间；针对每种配置组合下的数据处理时间，确定所述数据处理模型在该数据处理时间内能够处理的数据量，作为目标数据量；以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程；根据创建的所述目标配置组合下的处理进程，对所述各待处理数据进行数据处理。
[0007]可选地，所述配置组合中包含有：中央处理器CPU个数、批处理大小、数据并行度以及各模型算子对应的参数张量的存储位置中的至少一种，所述参数张量的存储位置包括：本地内存节点以及远端内存节点。
[0008]可选地，调取所述数据处理模型在不同配置下的数据处理时间之前，所述方法还
包括：将不同的配置组合输入预设的性能预估模型，针对每种配置组合，通过所述性能预估模型确定所述数据处理模型中包含的各模型算子在该配置组合下对应的数据处理时间；根据每个模型算子在该配置下对应的数据处理时间，确定所述数据处理模型在该配置组合下对应的数据处理时间。
[0009]可选地，所述方法还包括：若所述数据处理模型包含有至少两个并行的线性网络，则确定每个线性网络在该配置组合下对应的数据处理时间；将各线性网络在该配置组合下对应的数据处理时间的最大值作为所述数据处理模型在该配置组合下对应的数据处理时间。
[0010]可选地，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程，具体包括：根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程；判断创建所述目标配置组合下的处理进程后，所述数据处理模型是否能够处理不少于所述设定数量的待处理数据；若否，则继续根据所述目标数据量，在除所述目标配置组合外的其他配置组合中，确定出下一目标配置组合，并创建所述下一目标配置组合下的处理进程，直至所述数据处理模型能够处理不少于所述设定数量的待处理数据。
[0011]可选地，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程，具体包括：针对每个目标配置组合，将该目标配置组合中各参数张量的存储位置均设为远端内存节点；根据所述处理模型的实际目标数据量，将多余的处理进程进行删除。
[0012]可选地，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，具体包括：针对每种配置组合，若该配置组合中各参数张量均存储在所述本地内存节点，确定该配置组合下所述数据处理模型对应的数据处理时间，作为第一处理时间；针对每个参数张量，确定将该参数张量存储在所述远端内存节点时，所述数据处理模型对应的数据处理时间，作为第二处理时间；根据所述第一处理时间以及所述第二处理时间，确定将该参数张量由存储在所述本地内存节点更改为存储在所述远点内存节点后，增加的数据处理时间，作为延迟上升时间；根据该参数张量所占内存大小以及该参数张量对应的延时上升时间，确定该参数张量对应的贪心系数，并将贪心系数最高的参数张量作为允许进行远端访问的目标参数张量；
确定将所述目标参数张量存储在所述远端内存后，所述数据处理模型对应的数据处理时间，并确定此时的数据处理时间是否大于预设的服务质量约束时长；若是，将所述目标参数张量存储在远端内存时的该配置组合作为目标配置组合。
[0013]可选地，所述延时上升时间与所述贪心系数呈负相关关系，该张量所占内存大小与所述贪心系数呈正相关关系。
[0014]可选地，所述方法还包括：若将所述目标参数张量存储在所述远端内存后，所述数据处理时间小于所述服务质量约束时长，则继续确定下一个目标参数张量，直至所述数据处理时间大于所述服务质量约束时长。
[0015]可选地，根据创建的所述目标配置组合下的处理进程对所述各待处理数据进行数据处理，具体包括：根据各处理进程对应的目标配置组合，确定每个处理进程对应的目标数据量；根据每个处理进程对应的目标数据量，对所述各处理进程所需处理的待处理数据进行分配。
[0016]可选地，根据创建的所述目标配置组合下的处理进程对所述各待处理数据进行数据处理，具体包括：确定所述数据处理模型需要加载的参数张量；针对每个参数张量，查询本地内存节点中是否存储有该参数张量；若是，以内存映射的方式映射所述本地内存节点中的参数张量内存并加载所述参数张量，否则确定当前配置下所述参数张量是否被允许存储在远端内存节点；若是，则当查询到所述远端内存节点中存储该参数张量后，以内存映射的方式映射所述远端内存节点中的参数张量内存并加载所述参数张量；根据创建的各目标配置组合下的处理进程以及加载的各参数张量，对所述待处理数据进行数据处理。
[0017]可选地，所述方法还包括：若当前配置组合下该参数张量不被允许存储在所述远端内存节点，则在本地内存中创建内存区域，并将该参数张量添加到所述内存区域对应的本地内存节点中。
[0018]可选地，所述方法还包括：若确定当前配置组合下该参数张量允许存储在所述远端内存节点，但所述远端内存节点中未存储该参数张量，则在本地内存中创建内存区域，并将该参数张量添加到所述内存区域对应的本地内存节点中。...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取各待处理数据；判断数据处理模型在当前处理进程下是否能够处理不少于设定数量的待处理数据，若否，调取所述数据处理模型在不同配置组合下的数据处理时间；针对每种配置组合下的数据处理时间，确定所述数据处理模型在该数据处理时间内能够处理的数据量，作为目标数据量；以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程；根据创建的所述目标配置组合下的处理进程，对所述各待处理数据进行数据处理。2.如权利要求1所述的方法，其特征在于，所述配置组合中包含有：中央处理器CPU个数、批处理大小、数据并行度以及各模型算子对应的参数张量的存储位置中的至少一种，所述参数张量的存储位置包括：本地内存节点以及远端内存节点。3.如权利要求2所述的方法，其特征在于，调取所述数据处理模型在不同配置下的数据处理时间之前，所述方法还包括：将不同的配置组合输入预设的性能预估模型，针对每种配置组合，通过所述性能预估模型确定所述数据处理模型中包含的各模型算子在该配置组合下对应的数据处理时间；根据每个模型算子在该配置下对应的数据处理时间，确定所述数据处理模型在该配置组合下对应的数据处理时间。4.如权利要求3所述的方法，其特征在于，所述方法还包括：若所述数据处理模型包含有至少两个并行的线性网络，则确定每个线性网络在该配置组合下对应的数据处理时间；将各线性网络在该配置组合下对应的数据处理时间的最大值作为所述数据处理模型在该配置组合下对应的数据处理时间。5.如权利要求1所述的方法，其特征在于，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程，具体包括：根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程；判断创建所述目标配置组合下的处理进程后，所述数据处理模型是否能够处理不少于所述设定数量的待处理数据；若否，则继续根据所述目标数据量，在除所述目标配置组合外的其他配置组合中，确定出下一目标配置组合，并创建所述下一目标配置组合下的处理进程，直至所述数据处理模型能够处理不少于所述设定数量的待处理数据。6.如权利要求2所述的方法，其特征在于，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程，具体包括：针对每个目标配置组合，将该目标配置组合中各参数张量的存储位置均设为远端内存节点；根据所述处理模型的实际目标数据量，将多余的处理进程进行删除。
7.如权利要求2所述的方法，其特征在于，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，具体包括：针对每种配置组合，若该配置组合中各参数张量均存储在所述本地内存节点，确定该配置组合下所述数据处理模型对应的数据处理时间，作为第一处理时间；针对每个参数张量，确定将该参数张量存储在所述远端内存节点时，所述数据处理模型对应的数据处理时间，作为第二处理时间；根据所述第一处理时间以及所述第二处理时间，确定将该参数张量由存储在所述本地内存节点更改为存储在所述远端内存节点后，增加的数据处理时间，作为延迟上升时间；根据该参数张量所占内存大小以及该参数张量对应的延时上升时间，确定该参数张量对应的贪心系数，并将贪心系数最高的参数张量作为允许进行远端访问的目标参数张量；确定将所述目标参数张量存储在所述远端内存后，所述数据处理模型对应的数据处理时间，并确定此时的数据处理时间是否大于预设的服务质量约束时长；若是，将所述目标参数张量存储在远端内存时的该配置组合作为目标配置组合。8.如权利要求7所述的方法，其特征在于，所述延时上升时间与所述贪心系数呈负相关关系，该张量所占内存大小与所述贪心系数呈正相关关系。9.如权利要求7所述的方法，其特征在于，所述方法还包括：若将所述目标参数张量存储在所述远端内存后，所述数据处理时间小于所述服务质...

【专利技术属性】
技术研发人员：李勇，赵来平，黎杰，程稳，陈光，曾令仿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：