【技术实现步骤摘要】
微集群大数据传输优化的方法、装置及存储介质
[0001]本申请涉及领域服务器大数据传输领域，特别是涉及一种微集群大数据传输优化的方法、装置及存储介质。
技术介绍
[0002]集群通过将集成的计算机软件或硬件紧密的连接起来，从而共同协作完成计算机工作。集群中单个计算机称为节点。集群可用于改进单个计算机的运算速度以及系统可靠性。微集群由少量服务器构成。鉴于微集群拥有的服务器资源数量有限，故在长期使用的过程中在进行大规模的数据传入、传出以及删除操作的过程中性能表现较差。其原因在于微集群同一时刻只有一个节点提供服务，该单节点的计算方式会导致大数据传输过程的卡顿，进一步导致微集群服务器中的其他资源等待严重，IOWAIT数值升高，严重时甚至导致微集群系统的瘫痪。尤其对于拥有微集群的队列的系统，生产进度更易在大数据传输过程中受到系统卡顿的影响。
[0003]为解决上述微集群数据传输中的卡顿问题，常用的技术手段为增加服务器数量的方式，该方法虽然能一定程度上缓解卡顿问题，但是成本较高且应用的场景受限，且微集群中的服务器的利用较低。尤其...
【技术保护点】
【技术特征摘要】
1.一种微集群大数据传输优化方法，其特征在于，应用于设计集群服务器，所述设计集群服务器分别与客户端和微集群服务器组之间建立通信连接，所述微集群服务器组包括落入映射列表中的映射集群服务器；所述方法包括：接收客户端下发的任务数据包；在判断当前的设计集群服务器落于所述映射列表中的情况下，根据所述映射列表将所述任务数据包发送至对应的映射集群服务器，以供所述映射集群服务器按照预设任务目标对所述任务数据包进行相应运算；其中，所述映射列表用以表征所述设计集群服务器与各个映射集群服务器之间的映射关系；从所述映射集群服务器接收运算结果，并将包含有所述运算结果的日志文件发回至所述设计集群服务器。2.根据权利要求1中所述的一种微集群大数据传输优化方法，其特征在于，所述微集群服务器组还包括未落入映射列表中的非映射集群服务器；所述方法还包括：在判断当前的设计集群服务器未落入所述映射列表中的情况下，将所述任务数据包发送至非映射集群服务器，以供所述非映射集群服务器判断是否有对应的可执行工具；在所述非映射集群服务器有所述可执行工具的情况下，按照预设任务目标对所述任务数据包进行相应运算，并将包含有所述运算结果的日志文件发回至所述设计集群服务器；否则，不对所述任务数据包进行相应运算，并将不包含有运算结果的日志文件发回至所述客户端。3.根据权利要求1中所述的一种微集群大数据传输优化方法，其特征在于，所述映射集群服务器或非映射集群服务器对所述任务数据包进行相应运算的过程包括：寻找芯片开发相关的可执行工具，在使用所述可执行工具得到运算结果并发送至设计集群服务器后，删除所述任务数据包。4.一种微集群大数据传输优化方法，其特征在于，应用于微集群服务器组，所述微集群服务器与设计集群服务器之间建立通信连接，所述微集群服务器组包括落入映射列表中的映射集群服务器；所述映射集群服务器用于执行如下步骤：接收由所述设计集群服务器发送的任务数据包；寻找芯片开发相关的可执行工具，在使用所述可执行工具得到运算结果并发送至设计集群服务器后，删除所述任务数据包。5.根据权利要求4中所述的一种微集群大数据传输优化方法，其特征在于，所述微集群服务器组还包括未落入映射列表中的非映射集群服务器，所述方法包括：所述微集群服务器组还包括未落入映射列表中的非映射集群服务器；所述非映射集群服务器用于执行如下步骤：接收任务数据包；寻找是否有与所述任务数据包相对应的可执行工具；若存在可执行工具，使用所述可执行工具按照预设任务目标对所述任务数据包进行相应运算，并将包含有所述运算结果的日志文件发回至所述设计集群服务器；若不存在可执行工具，则将不包含有运算结果的日志文件发回至所述设计集群服务器。6.根据权利要求4中所述的一种微集群大数据传输优化方法，其特征在于，所述映射列
表用以表征所述设计集群服务器与各个映射集群服务器之间的映射关系。7.一种微集群大数据传输优化系统，其...
【专利技术属性】
技术研发人员：李克兵，蔡振江，杨天波，顾凯宏，
申请(专利权)人：合芯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。