一种基于微服务的数据传输存储方法技术

本发明专利技术提供了一种基于微服务的数据传输存储方法，该方法包括：定义事件，接受接口服务启动请求；识别文件数据源网络协议，区分数据协议模式；根据协议模式，触发对应协议解析方法，建立数据传输渠道；识别文件后缀，确定数据传输存储方式，解析数据，更新数据库状态；启动异步接口任务，将启动任务信号，发送给消息列队；通过消息列队中接收的信息，进行文件下载；将数据文件转换为数据流形式存储到内存，通过内存流数据形式，转换并上传到目标服务器；释放内存数据，流程结束。本发明专利技术利用自动化配置和内存流传输存储模式，有效释放了存储空间，提高数据传输存储效率，降低系统故障风险。降低系统故障风险。降低系统故障风险。

【技术实现步骤摘要】
一种基于微服务的数据传输存储方法


[0001]本专利技术涉及数据传输存储领域，尤其涉及一种基于微服务的数据传输存储方法。

技术介绍

[0002]在现有的微服务业务流程中，数据文件的传输存储方法通常为将数据文件下载并保存到本地磁盘，在本地磁盘将文件解压后再进行传输。由于数据文件通常数量庞大、操作频繁，而磁盘的空间是有限的，这样的传输存储模式，在时间和数据集的影响下，很难达到良好的均衡，极易造成短时间内系统磁盘IO大幅上升，甚至磁盘使用率满载、存储溢出的情况，从而引起系统崩溃或吞吐量下降。
[0003]因此，亟需一种能够解决微服务业务流程中数据传输存储问题的方法。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于微服务的数据传输存储方法，用于解决现有技术中“磁盘模式”下数据传输难，磁盘存储空间有限，导致业务流程中系统故障频发的问题。本方法利用自动化配置和内存流传输存储模式，有效释放了存储空间，提高传输存储效率，降低系统故障风险。同时，本方法操作简单，可以降低人力成本和时间成本。
[0005]本专利技术提供了一种基于微服务的数据传输存储方法，该方法包括：
[0006]定义事件，接受接口服务启动请求；
[0007]识别文件数据源网络协议，区分数据协议模式；
[0008]根据协议模式，触发对应协议解析方法，建立数据传输渠道；
[0009]识别文件后缀，确定数据传输存储方式，解析数据，更新数据库状态；
[0010]启动异步接口任务，将启动任务信号，发送给消息列队；
[0011]通过消息列队中接收的信息，进行文件下载；
[0012]将数据文件转换为数据流形式存储到内存，通过内存流数据形式，转换并上传到目标服务器；
[0013]释放内存数据，流程结束。
[0014]可选地，所述一种基于微服务的数据传输存储方法，还包括：
[0015]数据传输过程中，同步更新数据库中对应任务状态，当任务状态出现异常时，启动异常自动恢复流程；
[0016]所述异常自动恢复流程是指在数据传输过程中出现任务状态异常时，自动进行流程保护及任务恢复。
[0017]可选地，所述异常自动恢复，具体包括：
[0018]异常自动恢复方式包括在线恢复和离线恢复；所述在线恢复是指发生异常，实时重试，进行任务恢复；
[0019]所述离线恢复是指发生异常，通过定时任务形式，批量统一进行任务恢复；
[0020]恢复方式的选择依据数据文件重要程度优先级。
附图说明
[0021]构成本申请的一部分附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定，显而易见地，下面描述中的附图仅仅是本申请中记载的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术说明书摘要附图。
[0023]图2为本专利技术实施例提供的一种基于微服务的数据传输存储方法的流程示意图。
具体实施方式
[0024]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他所有实施例，都应当属于本专利技术保护的范围。
[0025]在本实施例中提供了一种基于微服务的数据传输存储方法，图2是本专利技术实施例的一种基于微服务的数据传输存储方法的流程示意图，如图2所示，在本实施例中，所述方法例如可以包括以下步骤：
[0026]S001：定义事件开始，通过接受其他接口服务的启动请求，开启整体数据传输存储服务流程。
[0027]S002：识别文件数据源网络协议，将数据协议分为Http协议和Sftp协议模式；根据协议模式，触发对应协议解析方法，建立数据传输渠道。
[0028]S003：当S002确定协议模式后，通过识别文件后缀，例如jpg、png、txt、pdf、tar等，确定数据传输存储方式，解析数据，更新数据库状态。
[0029]S004：根据S002和S003的解析结果，启动异步接口任务，开启数据下载认为，将启动任务信号，发送给消息列队做统一处理；
[0030]S005：如S005所示，本专利技术实施例所述数据传输存储方法，设计使用了异常自动恢复的流程，数据传输过程中，同步更新数据库中对应任务状态，当任务状态出现异常时，启动异常自动恢复流程；所述异常自动恢复流程是指在数据传输过程中出现任务状态异常时，自动进行流程保护及任务恢复。
[0031]S006：异常自动恢复流程，通过识别服务的恢复方式，将服务恢复分为异步任务和定时任务两种模式，即在线恢复和离线恢复。所述在线恢复是指发生异常，实时重试，进行任务恢复；所述离线恢复是指发生异常，通过定时任务形式，批量统一进行任务恢复；恢复方式的选择依据数据文件重要程度优先级。
[0032]S007：通过消息列队中接收的信息，进行文件下载；将数据文件转换为数据流形式存储到内存，通过内存流数据形式，转换并上传到目标服务器；
[0033]释放内存数据，流程结束。
[0034]需要说明的是，本专利技术实施例只是使用了Http协议和Sftp协议模式作为举例，根
据本专利技术所述方法，所述Http协议和Sftp协议模式也可以为其他协议模式或更多协议模式，只要是采用了本专利技术中所述的设计方法，都应当属于本专利技术保护的范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微服务的数据传输存储方法，其特征在于，包括：定义事件，接受接口服务启动请求；识别文件数据源网络协议，区分数据协议模式；根据协议模式，触发对应协议解析方法，建立数据传输渠道；识别文件后缀，确定数据传输存储方式，解析数据，更新数据库状态；启动异步接口任务，将启动任务信号，发送给消息列队；通过消息列队中接收的信息，进行文件下载；将数据文件转换为数据流形式存储到内存，通过内存流数据形式，转换并上传到目标服务器；释放内存数据，流程结束。2.根据权利要求1中所述一种基于微服务的数据传输存储方法，其特...

【专利技术属性】
技术研发人员：曹天佑，
申请(专利权)人：微神马科技大连有限公司，
类型：发明
国别省市：