用于优化操作系统的内核数据路径功能的机器学习系统技术方案

本申请涉及一种用于优化操作系统的内核数据路径功能的机器学习系统。机器学习系统包括：模型管理模块，包括多个机器学习模型，每一个对应内核数据路径功能并且配置为根据相关联的流数据包生成用于优化的输出结果；接收模块用于获取流数据包，其具有路径ID指示流数据包关联的内核数据路径功能；匹配模块配置为根据路径ID确定对应的机器学习模型。其中多个机器学习模型包括至少一个第一类机器学习模型，其每一个包括第一副本和第二副本，其中一个被指定为活跃副本而另一个被指定为待机副本，对第一类机器学习模型的更新是通过对被指定为待机副本的一方更新后指定该方为新的活跃副本并指定另一方为新的待机副本。如此提高推理和优化的效率。和优化的效率。和优化的效率。

【技术实现步骤摘要】
用于优化操作系统的内核数据路径功能的机器学习系统


[0001]本申请涉及机器学习和操作系统
，具体涉及一种用于优化操作系统的内核数据路径功能的机器学习系统。

技术介绍

[0002]操作系统(operational system，OS)的内核数据路径(kernel datapath)指的是位于高层面的应用和低层面的网络硬件之间的数据路径并且是部署在操作系统的内核空间。操作系统的内核数据路径通过调用相应的内核网络模块来实现特定的内核数据路径功能，如拥塞控制(congestion control，CC)、流量分配(flow scheduling)和负载均衡(load balancing)、包过滤(packet filtering)、调度(scheduling)、排队(queueing)。这些内核数据路径功能的运行表现是保证操作系统能适应变化的工作需求特别是变化的网络环境的关键。
[0003]为此，需要一种用于优化操作系统的内核数据路径功能的机器学习系统，能够结合机器学习技术或者机器学习算法来给出如何在变化的工作需求特别是变化的网络环境下保持内核数据路径功能的运行表现的有关提示。

技术实现思路

[0004]第一方面，本申请实施例提供了一种机器学习系统，用于优化操作系统的至少一种内核数据路径功能。所述机器学习系统包括：模型管理模块，包括多个机器学习模型，所述多个机器学习模型中的每一个机器学习模型对应所述至少一种内核数据路径功能中的一种或者多种内核数据路径功能，并且配置为根据该一种或者多种内核数据路径功能相关联的流数据包生成用于优化该一种或者多种内核数据路径功能的输出结果；接收模块，用于从所述操作系统的内核数据路径获取至少一个流数据包，其中所述至少一个流数据包中的每一个流数据包具有路径ID，该路径ID指示该流数据包关联的内核数据路径功能；匹配模块，配置为根据所述至少一个流数据包中的每一个流数据包的路径ID确定与该流数据包对应的机器学习模型。其中所述多个机器学习模型包括至少一个第一类机器学习模型，所述至少一个第一类机器学习模型中的每一个第一类机器学习模型包括该第一类机器学习模型的第一副本和第二副本，该第一副本和该第二副本中的其中一个被指定为活跃副本而另一个被指定为待机副本，对该第一类机器学习模型的更新是通过对该第一副本和该第二副本中被指定为待机副本的一方更新后指定该方为新的活跃副本并指定另一方为新的待机副本。
[0005]第一方面所描述的技术方案，利用机器学习模型来给出如何在变化的工作需求特别是变化的网络环境下保持内核数据路径功能的运行表现的有关提示，并且通过对第一类机器学习模型的更新实现了模型更新和推理上的解耦，从而不需要暂停或者锁定该第一类机器学习模型就能实现对第一类机器学习模型的更新，有效提高了推理和优化的效率，也避免了暂停推理或者说施加锁定以及由此导致的性能下降。
[0006]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，针对所述至少一个第一类机器学习模型中的每一个第一类机器学习模型，当对该第一类机器学习模型的更新在进行时，所述接收模块配置为保持获取与该第一类机器学习模型对应的流数据包，并且，该第一类机器学习模型的该第一副本和该第二副本中被指定为活跃副本的一方保持处理所获取的与该第一类机器学习模型对应的流数据包。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述至少一个流数据包中的每一个流数据包还具有流ID，该流ID指示该流数据包关联的流，其中，所述匹配模块还配置为：根据所述至少一个流数据包中的每一个流数据包的流ID确定该流数据包关联的流，以及确定与该流数据包对应的机器学习模型是否曾处理过该流数据包关联的流中不同于该流数据包的另一流数据包。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述匹配模块还配置为：当确定与该流数据包对应的机器学习模型曾处理过该另一流数据包并且与该流数据包对应的机器学习模型属于所述至少一个第一类机器学习模型时，根据该流ID选择性地将该流数据包发送给与该流数据包对应的机器学习模型的第一副本和第二副本中曾处理过该另一流数据包的一方。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述至少一个流数据包中的每一个流数据包还具有流ID，该流ID指示该流数据包关联的流，所述机器学习系统还包括：流缓存，所述流缓存的记录指示了所述多个机器学习模型各自曾处理过的流数据包的流ID和该机器学习模型之间的对应关系，并且所述流缓存的记录还指示了所述至少一个第一类机器学习模型各自的第一副本曾处理过的流数据包的流ID和该第一副本之间的对应关系，以及所述至少一个第一类机器学习模型各自的第二副本曾处理过的流数据包的流ID和该第二副本之间的对应关系。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述匹配模块还配置为：根据所述至少一个流数据包中的每一个流数据包的流ID查询所述流缓存的记录从而确定是否存在与该流ID匹配的记录，如果是，将该流数据包发送给与该流ID匹配的记录所对应的机器学习模型。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述匹配模块还配置为：如果与该流ID匹配的记录所对应的机器学习模型属于所述至少一个第一类机器学习模型，将该流数据包发送给与该流ID匹配的记录所对应的机器学习模型的第一副本和第二副本中存在和该流ID的对应关系的一方。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述匹配模块还配置为：如果不存在与该流ID匹配的记录，将该流数据包发送给与该流数据包对应的机器学习模型，并且添加指示了该流ID和与该流数据包对应的机器学习模型之间的对应关系的记录到所述流缓存。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述匹配模块还配置为：如果与该流数据包对应的机器学习模型属于所述至少一个第一类机器学习模型，将该流数据包发送给与该流数据包对应的机器学习模型的第一副本和第二副本中被指定为活跃副本的一方，并且添加指示了该流ID和该方之间的对应关系的记录到所述流缓存。
[0014]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述机器学习系统还配置为：响应于接收到特定流的结束标志，从所述流缓存的记录中删除所有包括了该特定流的流ID的记录。根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述特定流的结束标志包括以下至少一项：流控制结束信号，TCP FIN数据包。
[0015]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述机器学习系统还配置为：基于预设失效判定规则，从所述多个机器学习模型中筛选出符合所述预设失效判定规则的机器学习模型为失效机器学习模型，并且从所述流缓存的记录中删除所有包括了所述失效机器学习模型的记录，其中所述预设失效判定规则指示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习系统，用于优化操作系统的至少一种内核数据路径功能，其特征在于，所述机器学习系统包括：模型管理模块，包括多个机器学习模型，所述多个机器学习模型中的每一个机器学习模型对应所述至少一种内核数据路径功能中的一种或者多种内核数据路径功能，并且配置为根据该一种或者多种内核数据路径功能相关联的流数据包生成用于优化该一种或者多种内核数据路径功能的输出结果；接收模块，用于从所述操作系统的内核数据路径获取至少一个流数据包，其中所述至少一个流数据包中的每一个流数据包具有路径ID，该路径ID指示该流数据包关联的内核数据路径功能；匹配模块，配置为根据所述至少一个流数据包中的每一个流数据包的路径ID确定与该流数据包对应的机器学习模型，其中所述多个机器学习模型包括至少一个第一类机器学习模型，所述至少一个第一类机器学习模型中的每一个第一类机器学习模型包括该第一类机器学习模型的第一副本和第二副本，该第一副本和该第二副本中的其中一个被指定为活跃副本而另一个被指定为待机副本，对该第一类机器学习模型的更新是通过对该第一副本和该第二副本中被指定为待机副本的一方更新后指定该方为新的活跃副本并指定另一方为新的待机副本。2.根据权利要求1所述的机器学习系统，其特征在于，针对所述至少一个第一类机器学习模型中的每一个第一类机器学习模型，当对该第一类机器学习模型的更新在进行时，所述接收模块配置为保持获取与该第一类机器学习模型对应的流数据包，并且，该第一类机器学习模型的该第一副本和该第二副本中被指定为活跃副本的一方保持处理所获取的与该第一类机器学习模型对应的流数据包。3.根据权利要求2所述的机器学习系统，其特征在于，所述至少一个流数据包中的每一个流数据包还具有流ID，该流ID指示该流数据包关联的流，其中，所述匹配模块还配置为：根据所述至少一个流数据包中的每一个流数据包的流ID确定该流数据包关联的流，以及确定与该流数据包对应的机器学习模型是否曾处理过该流数据包关联的流中不同于该流数据包的另一流数据包。4.根据权利要求3所述的机器学习系统，其特征在于，所述匹配模块还配置为：当确定与该流数据包对应的机器学习模型曾处理过该另一流数据包并且与该流数据包对应的机器学习模型属于所述至少一个第一类机器学习模型时，根据该流ID选择性地将该流数据包发送给与该流数据包对应的机器学习模型的第一副本和第二副本中曾处理过该另一流数据包的一方。5.根据权利要求2所述的机器学习系统，其特征在于，所述至少一个流数据包中的每一个流数据包还具有流ID，该流ID指示该流数据包关联的流，所述机器学习系统还包括：流缓存，所述流缓存的记录指示了所述多个机器学习模型各自曾处理过的流数据包的流ID和该机器学习模型之间的对应关系，并且所述流缓存的记录还指示了所述至少一个第一类机器学习模型各自的第一副本曾处理过的流数据包的流ID和该第一副本之间的对应关系，以及所述至少一个第一类机器学习模型各自的第二副本曾处理过的流数据包的流ID和该第二副本之间的对应关系。6.根据权利要求5所述的机器学习系统，其特征在于，所述匹配模块还配置为：根据所
述至少一个流数据包中的每一个流数据包的流ID查询所述流缓存的记录从而确定是否存在与该流ID匹配的记录，如果是，将该流数...

【专利技术属性】
技术研发人员：孙军欢，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：