一种数据处理方法及装置制造方法及图纸
Data processing method and device
The present invention provides a data processing method and device, the method comprises the following steps: control equipment to obtain data processing request, according to the characteristics of each computing node load information, the data processing request to the corresponding computing nodes; the computing node of the data processing request processing. The technical scheme, the node load is calculated according to the characteristics of information data processing request distribution to achieve load balancing between each computing node, system equipment utilization rate is high, and the different node does not wait for each other, the system does not appear idle computing node state, the system will achieve efficient operation.
【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术属于高性能计算领域，尤其涉及一种数据处理方法及装置。
技术介绍
随着人工智能技术不断发展，相继出现了caffe、tensorflow、cntk等深度学习框架，但是在扩展性方面，有的不支持多机、有的扩展性很差，但是越来越大的数据量与越来越复杂的深度学习网络对深度学习框架的扩展性提出越来越高的要求。基于caffe的深度学习框架，存在当前服务器计算机系统计算网络带宽不足、内存带宽和容量小等问题，无法对较大规模数据进行处理。
技术实现思路
本专利技术提供一种数据处理方法及装置，以解决上述问题。本专利技术提供一种数据处理方法，包括以下步骤：控制设备获取数据处理请求后，根据各个计算节点负载特征信息，将所述数据处理请求分配至对应的计算节点；所述计算节点对所述数据处理请求进行处理。本专利技术提供一种数据处理装置，包括：控制设备、多个计算节点；其中，所述控制设备与所述多个计算节点连接；控制设备，用于获取数据处理请求后，根据各个计算节点负载特征信息，将所述数据处理请求分配至对应的计算节点；所述计算节点，用于对所述数据处理请求进行处理。本专利技术实施例提供...
【技术保护点】
一种数据处理方法，其特征在于，包括以下步骤：控制设备获取数据处理请求后，根据各个计算节点负载特征信息，将所述数据处理请求分配至对应的计算节点；所述计算节点对所述数据处理请求进行处理。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括以下步骤：控制设备获取数据处理请求后，根据各个计算节点负载特征信息，将所述数据处理请求分配至对应的计算节点；所述计算节点对所述数据处理请求进行处理。2.根据权利要求1所述的方法，其特征在于，负载特征信息包括：预设时段内存平均利用率、预设时段CPU平均利用率。3.根据权利要求2所述的方法，其特征在于，控制设备获取数据处理请求后，选择所述预设时段内存平均利用率小于第一预设值的计算节点，将所述数据处理请求分配至选择的计算节点；所述选择的计算节点对所述数据处理请求进行处理。4.根据权利要求2所述的方法，其特征在于，控制设备获取数据处理请求后，选择所述预设时段CPU平均利用率小于第二预设值的计算节点，将所述数据处理请求分配至选择的计算节点；所述选择的计算节点对所述数据处理请求进行处理。5.根据权利要求1所述的方法，其特征在于，所述计算节点对所述数据处理请求进行处理后，将处理结果传输至所述控制设备或存储设备。6.根据权利要求5所述的方法，其特征在于，所述...
【专利技术属性】
技术研发人员：宋书涛，吴韶华，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。