一种基于微服务的高并发云平台文件传输优化方法技术

本发明专利技术涉及一种基于微服务的高并发云平台文件传输优化方法，属于计算机技术领域。该方法包括：S1：搭建基于微服务架构的云平台文件传输系统，在微服务架构中使用微服务网关和服务注册中心；S2：上传文件请求至微服务网关，服务注册中心使用基于服务器负载率的动态路由自适应算法分发负载，进行服务调用；S3：在基于微服务架构的云平台文件传输系统中，将上传微服务分为使用磁盘存储上传临时文件的普通上传微服务和使用TMPFS存储上传临时文件的优化上传微服务；S4：对系统的内存使用情况进行实时监控，在新的上传请求到达网关时根据内存余量情况决定上传请求转发的具体微服务。本方法能有效降低响应时间，提升吞吐率。

【技术实现步骤摘要】
一种基于微服务的高并发云平台文件传输优化方法
本专利技术属于计算机
，涉及一种基于微服务的高并发云平台文件传输优化方法。
技术介绍
相较于传统的互联网基础设施，云平台具备更多优势，包括减少成本、即时更新、高可靠性、高可扩展性等。目前，大多数云平台都采用的单体架构开发，该架构是三级架构，即前端界面、业务逻辑层以及后端数据库层，一个项目工程中包含了单体架构所有业务功能。单体有开发部署简单和成本低的特点，但随着用户量的增长以及业务量不断扩大，在高并发场景下，以往的单体架构难以满足如今不断变化的业务需求，因此，微服务架构是解决这些问题的好方法。微服务架构将单体架构按功能划分为一系列微服务，每个微服务都能轻松部署并发布到生产环境并且不影响整个系统的可用性。因此，微服务架构可以轻松替换和扩展。不同的微服务，可以使用不同的编程语言和开发工具。在云平台中，文档、图片、视频等非结构化数据的比例较高，云平台文件存储的基本要求包括低成本、大容量、高可靠性和高可用性。用户应当可以通过网络访问云平台文件，但是高并发场景下，远程访问会涉及不可预测的延迟，因此保证云平台在高并发下的访问性能至关重要，尤其是上传和下载速度决定用户的使用体验。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于微服务的高并发云平台文件传输优化方法。实现了根据系统内存情况实现在服务器内存存有余量时通过空闲内存来加速上传处理速度，同时不影响系统的正常运行，从而保证系统运行的可用性与可靠性，加速文件上传的速率。为达到上述目的，本专利技术提供如下技术方案：一种基于微服务的高并发云平台文件传输优化方法，该方法包括以下步骤：S1：搭建基于微服务架构的云平台文件传输系统，在微服务架构中使用微服务网关和服务注册中心；S2：通过客户端提交上传文件请求至微服务网关，服务注册中心使用基于服务器负载率的动态路由自适应算法分发负载，微服务网关向服务注册中心进行服务拉取后进行服务调用；S3：在基于微服务架构的云平台文件传输系统中，将上传微服务分为使用磁盘存储上传临时文件的普通上传微服务和使用TMPFS存储上传临时文件的优化上传微服务；S4：在运行过程中，对系统的内存使用情况进行实时监控，在新的上传请求到达网关时根据内存余量情况决定上传请求转发的具体微服务。可选的，所述步骤S2中，动态路由自适应算法具体包括以下步骤：S21：获取CPU利用率、内存利用率、磁盘使用率和当前服务器连接数作为评估服务器负载的参数；S22：间隔两秒后再次获取上述参数的值；S23：在两秒钟内计算每个参数的权重，作为计算服务器负载时每个参数的权重；S24：根据参数的重要性，对不同服务器负载参数赋予不同权重值，生成每台服务器的负载值；S25：通过负载值计算出每台服务器的得分，通过得分对服务器进行排序，选择最优的服务器进行文件传输。可选的，在所述步骤S3中，使用TMPFS存储上传临时文件的优化上传微服务，具体包括以下步骤：S31：使用基于内存的临时文件系统TMPFS用于存放上传的临时文件，设置TMPFS阈值，并记录使用情况；S32：使用基于数据块使用模式的文件动态分片算法，在上传发起的请求端先将文件切分成多个文件分片，然后对每一块文件分片调用分片上传接口，上传完成后再将文件分片融合恢复成一个完整的文件；S33：在运行过程中，对系统的TMPFS内存使用情况进行实时监控，在新的上传请求到达网关时根据内存余量情况决定上传请求转发的具体服务。可选的，在所述步骤S32中，基于数据块使用模式的文件动态分片算法具体包括以下步骤：S321：将文件数据块的使用情况分为左数据块使用量和右数据块使用量，使用情况由整数值表示，该整数值指示该部分中的客户端实际使用了多少个字节，同时指定阈值，以限制数据块大小；S322：通过将当前数据块使用量与先前数据块使用量相加，更新相应的使用量信息，使用量受数据块阈值的限制；S323：使用拆分和合并公式计算出数值，和拆分和合并阈值比较，确定文件块是合并更好还是拆分更好，阈值为实数，范围为0到1。可选的，所述动态路由自适应算法计算各节点的权值并按升序排序，然后计算每个服务节点的权值区间R；之后客户端对于每一个请求，都会产生一个随机数r，根据r落在权值区间R中的位置选择服务节点；为避免新增服务节点后，所有客户端同时访问新节点，每个客户端更新本地缓存的服务节点负载信息时，会随机产生下次访问的间隔时间Δt。本专利技术的有益效果在于：本方法在微服务环境中，使用TMPFS存储文件分片，通过对服务器的运行负载进行监控和上传服务的内存进行设置，设计并实现了双重保证的动态路由自适应上传处理策略，与普通文件传输方案相比能有效降低响应时间，提升吞吐率。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为基于微服务的高并发云平台文件传输优化方法的整体流程图；图2为动态路由自适应策略的流程图；图3为使用TMPFS的分片上传微服务处理流程图；图4为文件动态分片方法示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。如图1所示为本专利技术基于微服务的高并发云平台文件传输优化方法的整体流程图，包括：步骤S101：搭建基于SpringCloud本文档来自技高网...

【技术保护点】
1.一种基于微服务的高并发云平台文件传输优化方法，其特征在于：该方法包括以下步骤：/nS1：搭建基于微服务架构的云平台文件传输系统，在微服务架构中使用微服务网关和服务注册中心；/nS2：通过客户端提交上传文件请求至微服务网关，服务注册中心使用基于服务器负载率的动态路由自适应算法分发负载，微服务网关向服务注册中心进行服务拉取后进行服务调用；/nS3：在基于微服务架构的云平台文件传输系统中，将上传微服务分为使用磁盘存储上传临时文件的普通上传微服务和使用临时文件系统TMPFS存储上传临时文件的优化上传微服务；/nS4：在运行过程中，对系统的内存使用情况进行实时监控，在新的上传请求到达网关时根据内存余量情况决定上传请求转发的具体微服务。/n

【技术特征摘要】
1.一种基于微服务的高并发云平台文件传输优化方法，其特征在于：该方法包括以下步骤：
S1：搭建基于微服务架构的云平台文件传输系统，在微服务架构中使用微服务网关和服务注册中心；
S2：通过客户端提交上传文件请求至微服务网关，服务注册中心使用基于服务器负载率的动态路由自适应算法分发负载，微服务网关向服务注册中心进行服务拉取后进行服务调用；
S3：在基于微服务架构的云平台文件传输系统中，将上传微服务分为使用磁盘存储上传临时文件的普通上传微服务和使用临时文件系统TMPFS存储上传临时文件的优化上传微服务；
S4：在运行过程中，对系统的内存使用情况进行实时监控，在新的上传请求到达网关时根据内存余量情况决定上传请求转发的具体微服务。


2.根据权利要求1所述的一种基于微服务的高并发云平台文件传输优化方法，其特征在于：所述步骤S2中，动态路由自适应算法具体包括以下步骤：
S21：获取CPU利用率、内存利用率、磁盘使用率和当前服务器连接数作为评估服务器负载的参数；
S22：间隔两秒后再次获取上述参数的值；
S23：在两秒钟内计算每个参数的权重，作为计算服务器负载时每个参数的权重；
S24：根据参数的重要性，对不同服务器负载参数赋予不同权重值，生成每台服务器的负载值；
S25：通过负载值计算出每台服务器的得分，通过得分对服务器进行排序，选择最优的服务器进行文件传输。


3.根据权利要求1所述的一种基于微服务的高并发云平台文件传输优化方法，其特征在于：在所述步骤S3中，使用TMPFS存储上传临时文件的优化上传微服务，具体包括以下步骤：
S31：使用...

【专利技术属性】
技术研发人员：付蔚，刘奔，王浩，宾茂离，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50