一种支持多云存储服务的文件上传方法及系统技术方案

本发明专利技术公开了一种支持多云存储服务的文件上传方法及系统，包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元。本发明专利技术所述的一种支持多云存储服务的文件上传方法及系统，考虑到了云存储异常情况的处理，实现多云存储的切换，针对上传可能产生失败，给出制提高成功传输效率，对非法文件进行过滤，保障内容安全，考虑配置的多样性和负载不稳定等情况，实现系统的高可用性，而且能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，带来更好的使用前景。

A File Upload Method and System Supporting Multi-Cloud Storage Services

【技术实现步骤摘要】
一种支持多云存储服务的文件上传方法及系统
本专利技术涉及云存储领域，特别涉及一种支持多云存储服务的文件上传方法及系统。
技术介绍
云存储系统是随着社会的发展应运而生的,在人们的生活中发挥着越来越重要的作用，网络技术的发展使利用网络进行文件存储和共享逐渐成为一种重要的网络应用模式，云存储因其使用便捷、灵活、性价比高、扩展性强等特点而得到了广泛的应用,越来越多的企业及机构将数据从本地转移到某个云存储服务中,但单云存储因云故障而无法保证数据的高可用性要求,同时当用户需要迁移数据时,也会产生昂贵的成本，企业的发展，也伴随着业务种类的增多，同时存储容量成本剧增，也意味着在云服务提供商的选择上会进行最优选择，如何在网络上存储文件并实现安全有效的共享和切换成为一个必须解决的问题，为此，我们提出一种支持多云存储服务的文件上传方法及系统。
技术实现思路
本专利技术的主要目的在于提供一种支持多云存储服务的文件上传方法及系统，可以有效解决
技术介绍
中的问题。为实现上述目的，本专利技术采取的技术方案为：一种支持多云存储服务的文件上传系统，包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，所述文件上传单元与负载均衡单元和文件配置单元连接，所述负载均衡单元与文件过滤单元连接，所述文件过滤单元和文件配置单元均与文件转存单元连接；所述文件上传单元，用于上传需要储存的文件；所述负载均衡单元，用于平衡各个服务器的压力；所述文件过滤单元，用于过滤掉上传文件中的违规图片和视频；所述文件配置单元，用于针对不同的业务生成不同的配置项；所述文件转存单元，用于将上传文件储存到数据库中。一种支持多云存储服务的文件上传方法，包括以下步骤：(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传；(2)、将用户上传文件的流量分配到不同的应用服务器上；(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项；(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件；(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中。优选的，所述步骤(1)中，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点。优选的，所述步骤(1)中，判断文件大小的标准为文件是否大于100MB，上传文件大于100MB时选择分片上传，上传文件小于100MB时选择一次性上传。优选的，所述步骤(2)中，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除。优选的，所述步骤(3)中，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务。优选的，所述步骤(4)中，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频。优选的，所述步骤(5)中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统。优选的，所述步骤(5)中，上传文件时开启断点续传功能，上传文件时将第三方URL保存到数据库，供前端展示使用。与现有技术相比，该一种支持多云存储服务的文件上传方法及系统具有如下有益效果：1、考虑到了云存储异常情况的处理，能够实现多云存储的切换；2、针对上传可能产生的失败给出了处理机制，提高成功传输效率；3、对非法文件进行了过滤，保障内容安全；4、考虑了配置的多样性和负载不稳定等情况，实现了系统的高可用性；5、能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，而且整个多云存储服务的文件上传方法及系统比较简单，操作方便，使用效果相对于传统方式更好，满足人们的使用要求，较为实用。附图说明图1为本专利技术一种支持多云存储服务的文件上传方法的整体流程图；图2为本专利技术一种支持多云存储服务的文件上传系统的整体结构示意图。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。实施例一种支持多云存储服务的文件上传系统，如图2所示，包括文件上传子系统和文件配置子系统，文件上传子系统包括文件上传单元，文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，文件上传单元与负载均衡单元和文件配置单元连接，负载均衡单元与文件过滤单元连接，文件过滤单元和文件配置单元均与文件转存单元连接；文件上传单元，用于上传需要储存的文件；负载均衡单元，用于平衡各个服务器的压力，能有效地解决数据流量过大、网络负荷过重的问题；文件过滤单元，用于过滤掉上传文件中的违规图片和视频；文件配置单元，用于针对不同的业务生成不同的配置项；文件转存单元，用于将上传文件储存到数据库中。一种支持多云存储服务的文件上传方法，如图1所示，包括以下步骤：(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点，判断文件大小的标准为文件是否大于100MB，上传文件大于100MB时选择分片上传，上传文件小于100MB时选择一次性上传；(2)、将用户上传文件的流量分配到不同的应用服务器上，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除，以此来保证应用的高可用；(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，保证配置单元的高可用，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务；(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频，保障图片和视频内容安全；(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统，上传文件时开启断点续传功能，上传文件时将第三方URL保存到数据库，供前端展示使用。上传时，可以将文件配置单元、文件上传单元和文件过滤单元实现在设备端，将负载均衡单元和文件转存单元设置在储存端，使用时文件先经过文件上传单元上传，然后经过文件过滤单元过滤后发送给文件配置单元和负载均衡单元，文件转存单元根据负载均衡单元输送的文件和文件配置单元生本文档来自技高网...

【技术保护点】
1.一种支持多云存储服务的文件上传系统，其特征在于：包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，所述文件上传单元与负载均衡单元和文件配置单元连接，所述负载均衡单元与文件过滤单元连接，所述文件过滤单元和文件配置单元均与文件转存单元连接；所述文件上传单元，用于上传需要储存的文件；所述负载均衡单元，用于平衡各个服务器的压力；所述文件过滤单元，用于过滤掉上传文件中的违规图片和视频；所述文件配置单元，用于针对不同的业务生成不同的配置项；所述文件转存单元，用于将上传文件储存到数据库中。

【技术特征摘要】
1.一种支持多云存储服务的文件上传系统，其特征在于：包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，所述文件上传单元与负载均衡单元和文件配置单元连接，所述负载均衡单元与文件过滤单元连接，所述文件过滤单元和文件配置单元均与文件转存单元连接；所述文件上传单元，用于上传需要储存的文件；所述负载均衡单元，用于平衡各个服务器的压力；所述文件过滤单元，用于过滤掉上传文件中的违规图片和视频；所述文件配置单元，用于针对不同的业务生成不同的配置项；所述文件转存单元，用于将上传文件储存到数据库中。2.根据权利要求1所述的一种支持多云存储服务的文件上传方法，其特征在于：包括以下步骤：(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传；(2)、将用户上传文件的流量分配到不同的应用服务器上；(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项；(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件；(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中。3.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(1)中，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点。4.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(1)中，判...

【专利技术属性】
技术研发人员：周志文，朱宇翔，付相海，纪向晴，苏晗，
申请(专利权)人：深圳市麦谷科技有限公司，
类型：发明
国别省市：广东,44