一种数据处理方法及装置制造方法及图纸

本申请提供了一种数据处理方法及装置。该方法包括：在预设周期内，在目标网络中执行测试任务过程中，获取所述目标网络中的访问数据；根据所述访问数据和采集到的所述目标网络的网络拓扑信息，确定所述目标网络的路径信息；根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。由此，实现了快速且准确地获取网络的网络模型数据，避免人工过多参与所造成的网络初始参数配置的复杂度及难度高的问题。难度高的问题。难度高的问题。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本申请涉及通信
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]在AI、分布式存储等需要大量数据传输领域中，低成本场景下存在使用RoCE(RDMA over Converged Ethernet，以太网承载RDMA)网络替代IB(InfinitBand，无限带宽)网络的需求，连接计算节点实现计算节点之间的数据传输和同步。以太网的网络和网卡的参数设置对网络传输效率影响非常大。而实际业务运行过程中，业务类型、网络拓扑、计算节点分布、计算节点间数据同步方向和路径千差万别，不会有一组网络参数能够满足所有业务和组网。虽然一般可以通过在计算任务执行过程中，对任务执行情况、占用资源、网络状态等进行实时监控，以根据监控结果对参数进行调整，但是如果初始参数与合理参数偏差较大，则会拉长参数调整的收敛过程，进而影响计算任务的执行效率，极端情况下还可能会造成调整无法达到收敛。因此如何选择网络的初始参数，对后续计算起着非常重要的作用。
[0003]而网络初始参数的选择，需要有计算任务的连接拓扑、网络模型、流量模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在预设周期内，在目标网络中执行测试任务过程中，获得所述目标网络中的访问数据；根据所述访问数据和采集到的所述目标网络的网络拓扑信息，确定所述目标网络的路径信息；根据所述访问数据、所述路径信息对所述目标网络的初始参数进行配置。2.根据权利要求1所述的方法，其特征在于，所述访问数据包括所述目标网络中服务器之间的访问关系；则获取所述目标网络中的访问数据，包括：接收所述目标网络中服务器的接入设备采集到的所述目标网络中服务器的特征流量；根据所述特征流量，确定所述目标网络中服务器之间的访问关系。3.根据权利要求2所述的方法，其特征在于，所述访问数据还包括流量统计特征；则获得所述目标网络中的访问数据，包括：根据确定出的服务器之间的访问关系，向所述接入设备发送与所述访问关系对应的流量统计表项；接收所述接入设备上报的基于所述流量统计表项获得的流量统计结果；根据所述流量统计结果，确定流量统计特征。4.根据权利要求2所述的方法，其特征在于，根据所述访问数据和采集到的所述目标网络的网络拓扑信息，确定所述目标网络的路径信息，包括：根据服务器之间的访问关系和所述网络拓扑信息，确定所述目标网络中服务器之间进行交互所要经过的中间设备、流量进入中间设备的入接口和流量流出所述中间设备的出接口；基于确定出的中间设备、入接口和出接口，确定所述服务器之间交互的路径信息。5.根据权利要求2所述的方法，其特征在于，所述服务器的特征流量为基于采集到的控制报文或采集到的服务器发送的首个访问报...

【专利技术属性】
技术研发人员：郑上闽，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：