【技术实现步骤摘要】
分布式文件传输服务系统及其文件传输方法、装置、介质
[0001]本专利技术属于大文件传输
，具体涉及一种分布式文件传输服务系统及其文件传输方法、装置、介质。
技术介绍
[0002]AI，是Applications of artificial intelligence的简称，人工智能，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0003]大数据，又称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
[0004]大文件，是指文件大小超过一定阈值，例如几百兆字节或几十兆字节以上的文件，大文件处理涉及效率问题。
[0005]针对大数据和人工智能的快速发展，AI应用的业务系统需要收集大量的基础数据，使用这些基础数据创建模型以及对模型进行训练学习，再使用学习后模型进行业务处理。模型训练学习过程中涉及的数据量巨大，例如涉及后台服务器及存储设备的运行日志信息，由于人工智能的...
【技术保护点】
【技术特征摘要】
1.一种分布式文件传输服务系统，其特征在于，包括：注册中心，用于文件传输服务的注册和调度；业务网关，用于文件传输服务的接口转发、流量控制；文件传输服务，用于文件传输提供文件接口、断点续传以及大文件组装；业务数据库，用于存储文件信息；分布式缓存，用于通过文件标识存储分片文件传输状态；共享文件存储系统，用于存储文件并接收分布式缓存的文件写入；通知服务，用于根据业务网关当前流量访问情况进行扩缩容通知。2.一种分布式文件传输服务系统的文件传输方法，其特征在于，包括如下步骤：S1.根据单个文件传输服务的业务处理能力设置令牌桶参数基准，并根据注册的文件传输服务个数动态调整令牌桶参数；S2.为客户端的文件传输请求从令牌桶申请令牌，并为申请到令牌的文件传输请求分配文件传输服务，同时根据未申请到令牌的文件传输请求数及令牌桶容量进行文件传输服务的扩缩容；S3.为申请到令牌的客户端的文件传输请求推荐分片，并令文件传输服务使用推荐的分片向服务端进行文件传输。3.如权利要求2所述的分布式文件传输服务系统的文件传输方法，其特征在于，步骤S1具体步骤如下：S11.业务网关根据单个文件传输服务的业务处理能力设置令牌桶参数基准；所述令牌桶参数包括令牌桶容量以及令牌发放速率；S12.业务网关获取向注册中心申请注册的文件传输服务个数；S13.业务网关定时获取文件传输服务的CPU负载情况动态调整令牌发放速率及令牌发放个数。4.如权利要求3所述的分布式文件传输服务系统的文件传输方法，其特征在于，步骤S13具体步骤如下：S131.业务网关判断文件传输服务的CPU使用率是否高于设定阈值；若否，进入步骤S12；若是，进入步骤S132；S132.业务网关根据各文件传输服务的使用率计算令牌发放间隔，进而得到令牌发放速率；S133.业务网关将各文件传输服务能够提供的单位时间内处理量求和，得到令牌桶单位时间内的令牌发放个数。5.如权利要求2所述的分布式文件传输服务系统的文件传输方法，其特征在于，步骤S2具体步骤如下：S21.业务网关接收到文件传输请求后向令牌桶申请令牌，并判断是否申请到令牌；若是，进入步骤S22；若否，进入步骤S23；S22.业务网关获取各文件传输服务的负载情况，对申请到令牌的文件传输请求选择CPU使用率低于设定阈值的文件传输服务进行分配，进入步骤S27；
S23.业务网关设置未申请到令牌的文件传输请求，进入等待状态，并记录等待请求个数到分布式缓存；S24.业务网关判断分布式缓存中等待请求是否达到预设阈值个数；若是，进入步骤S25；若否，返回步骤S21；S25.业务网关判断分布式缓存中等待请求达到预设阈值个数持续时间是否高于第一设定时长；若是，进入步骤S26；若否，返回步骤S24；S26.业务网关通过通知服务进行文件传输服务的扩容；S27.业务网关判断令牌桶是否处于满容量状态；若是，进入步骤S28；若否，进入步骤S3；S28.业务网关判断令牌桶处于满容量状态持续时间是否达到第二设定时长；若是，进入步骤S29；若否，进入步骤...
【专利技术属性】
技术研发人员：陈春风，王晓通，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。