一种提高集群仿真效率的方法、集群仿真系统及相关设备技术方案

本申请公开了一种提高集群仿真效率的方法、集群仿真系统及相关设备，该方法包括：从节点任务队列中获取多个仿真任务，并基于每一仿真任务的关联信息，获取对应于仿真任务的依赖数据，依赖数据包括任务配置、数据包和语义地图；基于每一仿真任务的依赖数据，调用模型预测服务，得到仿真任务的计算结果，模型预测服务为预先生成的、具备模型预测能力的远程过程调用GRPC服务；对每一仿真任务的计算结果中的各指标值进行处理，得到仿真任务的仿真结果。由于模型预测服务可以同时接受多个调用，且在处理多个调用时，无需额外分配GPU资源，使得预留给所述模型预测服务的GPU资源可以得到高效的利用，有效地提高了仿真计算的并发度及吞吐量。量。量。

【技术实现步骤摘要】
一种提高集群仿真效率的方法、集群仿真系统及相关设备


[0001]本申请涉及集群仿真
，更具体地说，是涉及一种提高集群仿真效率的方法、集群仿真系统及相关设备。

技术介绍

[0002]仿真测试是自动驾驶技术研发中的重要环节，其中，一个测试任务会通常会涉及成千上百个场景(Scenario)的仿真测试，通常需要用到非常多的GPU计算资源，在云计算的背景下，通常由具备GPU计算资源的多台机器组成一个集群，然后以统一调度的形式来执行仿真运算。
[0003]每台机器的GPU计算资源是有限的，如何在有限的GPU计算资源下，提高仿真计算的吞吐量，成为亟待解决的技术问题。

技术实现思路

[0004]有鉴于此，本申请提供了一种提高集群仿真效率的方法、集群仿真系统及相关设备，以实现解决至少一个上面提出的技术问题。
[0005]为实现上述目的，本申请第一方面提供了一种提高集群仿真效率的方法，包括：
[0006]从节点任务队列中获取多个仿真任务，每一仿真任务的关联信息包括运行所述仿真任务时所需的信息；
[0007]基于每一仿真任务的关联信息，获取对应于所述仿真任务的依赖数据，所述依赖数据包括任务配置、数据包和语义地图；
[0008]基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果，所述模型预测服务为预先生成的、具备模型预测能力的远程过程调用GRPC服务；
[0009]对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果。
[0010]优选地，所述模型预测服务的生成过程，包括：
[0011]加载具有预设配置的至少一个预测模型；
[0012]将各预测模型封装到一GRPC服务中。
[0013]优选地，基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果的过程，包括：
[0014]对每一仿真任务的依赖数据进行对象序列化压缩，得到入口参数；
[0015]基于所述入口参数，通过预设的接口请求所述模型预测服务；
[0016]接收所述模型预测服务返回的响应结果，并对所述响应结果进行对象序列化解压缩，得到所述仿真任务的在JS对象简谱JSON格式的计算结果。
[0017]优选地，从节点任务队列中获取多个仿真任务的过程，包括：
[0018]基于仿真任务的优先级，从节点任务队列中获取多个仿真任务，所述多个仿真任务中每一仿真任务的优先级高于所述节点任务队列中剩下的仿真任务的优先级。
[0019]优选地，对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果的过程，包括：
[0020]基于预设的规则对对每一仿真任务的计算结果中的各指标值进行聚合，得到所述仿真任务的仿真结果。
[0021]本申请第二方面提供了一种集群仿真系统，包括调度中心以及与所述调度中心通信连接的多台仿真机器；
[0022]所述调度中心用于基于用户提交的仿真请求生成仿真任务，并将所述仿真任务分配到各仿真机器的节点任务队列中；
[0023]每一仿真机器包括多个工作节点，每一工作节点维护有一个节点任务队列，所述工作节点用于执行上述的提高集群仿真效率的方法。
[0024]优选地，每一工作节点设有任务预处理模块、多个任务处理模块、任务后处理模块以及模型预测服务；
[0025]所述任务预处理模块用于，从节点任务队列中获取多个仿真任务，以及基于每一仿真任务的关联信息，获取对应于所述仿真任务的依赖数据；
[0026]所述任务处理模块用于，基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果；
[0027]所述模型预测服务用于，响应所述任务处理模块的调用，返回仿真任务的计算结果；
[0028]所述任务后处理模块用于，对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果。
[0029]本申请第三方面提供了一种提高集群仿真效率的装置，包括：
[0030]任务拉取单元，用于从节点任务队列中获取多个仿真任务，每一仿真任务的关联信息包括运行所述仿真任务时所需的信息；
[0031]任务预热单元，用于基于每一仿真任务的关联信息，获取对应于所述仿真任务的依赖数据，所述依赖数据包括任务配置、数据包和语义地图；
[0032]任务处理单元，用于基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果，所述模型预测服务为预先生成的、具备模型预测能力的远程过程调用GRPC服务；
[0033]结果处理单元，用于对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果。
[0034]本申请第四方面提供了一种提高集群仿真效率的设备，包括：存储器和处理器；
[0035]所述存储器，用于存储程序；
[0036]所述处理器，用于执行所述程序，实现上述的提高集群仿真效率的方法的各个步骤。
[0037]本申请第五方面提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的提高集群仿真效率的方法的各个步骤。
[0038]经由上述的技术方案可知，本申请首先从节点任务队列中获取多个仿真任务，其中，每一仿真任务的关联信息包括运行所述仿真任务时所需的信息。然后，基于每一仿真任务的关联信息，获取对应于所述仿真任务的依赖数据，所述依赖数据包括任务配置、数据包
和语义地图。接着，基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果。其中，所述模型预测服务为预先生成的、具备模型预测能力的GRPC(Google Remote Procedure Call，远程服务调用)服务。最后，对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果。由于模型预测服务可以同时接受多个调用，且在处理多个调用时，无需额外分配GPU资源，使得预留给所述模型预测服务的GPU资源可以得到高效的利用，有效地提高了仿真计算的并发度及吞吐量。
附图说明
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0040]图1为本申请实施例公开的集群仿真系统的示意图；
[0041]图2为本申请实施例公开的提高集群仿真效率的方法的示意图；
[0042]图3示例了本申请实施例公开的多个仿真线程同时调用模型预测服务；
[0043]图4为本申请实施例公开的集群仿真系统中工作节点的架构示意图；
[0044]图5为本申请实施例公开的提高集群仿真效率的装置的示意图；
[0045]图6为本申请实施例公开的提高集群仿真效率的设备的示意图。
具体实施方式
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高集群仿真效率的方法，其特征在于，包括：从节点任务队列中获取多个仿真任务，每一仿真任务的关联信息包括运行所述仿真任务时所需的信息；基于每一仿真任务的关联信息，获取对应于所述仿真任务的依赖数据，所述依赖数据包括任务配置、数据包和语义地图；基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果，所述模型预测服务为预先生成的、具备模型预测能力的远程过程调用GRPC服务；对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果。2.根据权利要求1所述的方法，其特征在于，所述模型预测服务的生成过程，包括：加载具有预设配置的至少一个预测模型；将各预测模型封装到一GRPC服务中。3.根据权利要求1所述的方法，其特征在于，基于每一仿真任务的依赖数据，调用模型预测服务，得到所述仿真任务的计算结果的过程，包括：对每一仿真任务的依赖数据进行对象序列化压缩，得到入口参数；基于所述入口参数，通过预设的接口请求所述模型预测服务；接收所述模型预测服务返回的响应结果，并对所述响应结果进行对象序列化解压缩，得到所述仿真任务的在JS对象简谱JSON格式的计算结果。4.根据权利要求1所述的方法，其特征在于，从节点任务队列中获取多个仿真任务的过程，包括：基于仿真任务的优先级，从节点任务队列中获取多个仿真任务，所述多个仿真任务中每一仿真任务的优先级高于所述节点任务队列中剩下的仿真任务的优先级。5.根据权利要求1所述的方法，其特征在于，对每一仿真任务的计算结果中的各指标值进行处理，得到所述仿真任务的仿真结果的过程，包括：基于预设的规则对对每一仿真任务的计算结果中的各指标值进行聚合，得到所述仿真任务的仿真结果。6.一种集群仿真系统，其特征在于，包括调度中心以及与所述调度中心通信连接的多台仿真机器；所述调度中心用于基于用户提交的仿真请求生成仿真任务，并将所述仿真任务分配到...

【专利技术属性】
技术研发人员：林崇，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：