一种基于NAT和虚拟网桥的推理服务器制造技术

本发明专利技术公开了一种基于NAT和虚拟网桥的推理服务器，包括分析单元和管理单元，分析单元包括第一主控模块和多个AI模块，第一主控模块配置有虚拟网桥、NAT规则和路由转发功能，并设有外网网卡和用于与各AI模块连接的内网网卡，通过NAT规则获取外网网卡的IP地址，虚拟网桥用于实现各AI模块之间的通信，AI模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的IP地址和默认网关；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接。本申请采用双控架构，可实现大规模并行推理计算实时分析，具有高可靠性、高安全性、低延时、大容量存储性能，且易管理、易部署，适用于多场景下的应用开发。用于多场景下的应用开发。用于多场景下的应用开发。

【技术实现步骤摘要】
一种基于NAT和虚拟网桥的推理服务器


[0001]本专利技术属于服务器
，具体涉及一种基于NAT和虚拟网桥的推理服务器。

技术介绍

[0002]推理服务器指采用人工智能算法，具有强算力和高能效特点智能分析服务器，是计算机视觉领域的重要研究方向，广泛应用于安防监控、视频分析、医疗影像分析和文字识别等方向。AI芯片主要有训练和推理两个功能。其中，训练指的是从已有的数据集学习能力的过程，通过这些大量标记过的数据来训练系统，使其可以适应特定的功能，而推理则是使用经过训练的神经网络将学到的知识用于新的任务。训练和推理是神经网络的两个相对独立的应用。但由于推理模型通常需要巨大的计算与存储开销，现有技术中的推理服务器往往存储能力和分析能力有限，无法实现大规模并行推理计算实时分析，且与外部网络交互的安全性低，难以保证工作不间断运行，实现数据包的高效传输，且不便于管理和部署。因此，提出一种基于NAT和虚拟网桥的推理服务器。

技术实现思路

[0003]本专利技术的目的在于针对上述问题，提出一种基于NAT和虚拟网桥的推理服务器，采用双控架构，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NAT和虚拟网桥的推理服务器，用于与外网设备进行通信，其特征在于：所述基于NAT和虚拟网桥的推理服务器包括分析单元和管理单元，所述分析单元包括第一主控模块和多个AI模块，所述第一主控模块配置有虚拟网桥、NAT规则和路由转发功能，并设有用于与所述外网设备连接的外网网卡和用于与各所述AI模块连接的内网网卡，所述虚拟网桥用于实现各所述AI模块之间的通信，所述AI模块用于搭载预训练好的模型，并配置有与所述虚拟网桥同网段的IP地址和默认网关，所述默认网关为所述虚拟网桥的IP地址，所述第一主控模块通过NAT规则自动获取所述外网网卡的IP地址且其路由转发功能为开启状态；所述管理单元包括第二主控模块和多个硬盘，所述外网设备和各所述硬盘均与所述第二主控模块连接，并执行如下操作：所述第二主控模块下发目标分析任务和所需外网设备的配置信息至所述第一主控模块，所述第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定AI模块发起取流请求并将对应的数据包发放至所述虚拟网桥，所述第一主控模块通过路由转发功能将数据包由所述虚拟网桥转发至所述外网网卡，并通过NAT规则将所述外网网卡中的数据包的源IP地址转换为所述外网网卡的IP地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至所述外网网卡，所述第一主控模块通过NAT规则将所述外网网卡中的数据回包的目的IP地址转换为指定AI模块的IP地址，并通过路由转发功能将转换后的数据回包由所述外网网卡转发至所述虚拟网桥后，再将数据回包由所述虚拟网桥发送至指定AI模块，所述AI模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，所述第一主控模块将检测结果发送至所述第二主控模块并存储至对应的硬盘。2.如权利要求1所述的基于NAT和虚拟网桥的推理服务器，其特征在于：所述第一主控模块...

【专利技术属性】
技术研发人员：宋全恒，荣明双，邵绵欢，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：