本发明涉及一种基于通过多重深度学习模型的预训练层和微调层的GPU独立分配的多节点集群的推理方法。根据本发明的实施例，包括如下步骤：推理服务器的端点部从客户端接收输入值；推理服务器的端点部对接收的输入值进行分布，从而向包括装载第一级的神经...