基于任务数据配置的数据传输方法及装置制造方法及图纸

本申请提供了一种基于任务数据配置的数据传输方案，通过获取任务配置数据并上传至

【技术实现步骤摘要】
基于任务数据配置的数据传输方法及装置


[0001]本申请涉及医疗数据处理
，尤其涉及一种基于任务数据配置的数据传输技术
。

技术介绍

[0002]在大数据数据库建设过程中，需要汇集各业务数据所产生的业务数据，定期或不定期抽取到大数据数据库中，进行进一步的清洗
、
分析处理
。
在此过程中，需要先将数据抽取到
Redis
内存数据库中进行缓存，然后再通过自动或者人工方式将
redis
数据库中的数据，存入大数据数据库中指定路径下的新建文件中，以供进一步清洗和分析处理
。
[0003]现有技术中将
redis
内存数据库中的数据存入大数据数据库中指定路径下的新建文件中的具体步骤为：首先从
redis
内存数据库中获取数据，并在指定路径下新建文件，最后将数据导入新建文件
。
但现有技术中，如果新建文件失败，或者手动新建文件时出现名称或路径错误都会导致数据导入新建文件失败，而
Redis
为存储在内存中的数据库，因此，在从
redis
内存数据库中获取数据后，
Redis
中的数据消失，一旦导入新建文件失败，则会彻底损失该批次的数据，造成数据丢失
。
同时，现有技术中对于新建文件失败或者新建文件错误导致数据损失的问题也缺乏发现和解决机制，需要人工实时关注数据抽取情况，一旦数据导入新建文件失败，需要重新抽取到
Redis
内存数据库，排除问题后重新导入新建文件，费时费力，数据抽取效率低
。

技术实现思路

[0004]为了解决上述技术问题，本申请旨在提供一种基于任务数据配置的数据传输方法及装置，使数据抽取传输导出流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据并浪费数据导入导出的时间，并通过并行执行多个数据导出任务提高数据抽取导出效率
。
[0005]为实现上述目的，本申请的一些实施例提供了一种基于任务数据配置的数据传输方法，其方法包括：获取任务配置数据并上传至
Redis
的任务队列，所述任务配置数据对应一个或多个数据传输任务；其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径
、
传输文件名和对应的
Redis
数据列名称；根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；根据所述
Redis
数据列名称，从
Redis
中指定数据列获取目标数据；将所述目标数据传输至相应数据传输任务对应的目标文件中
。
[0006]可选地，所述方法还包括：针对各
Redis
数据列，预设文件导出路径生成规则和
/
或导出文件名生成规则；基于对应的
redis
数据列，以及预设的所述文件导出路径生成规则和
/
或所述导出文件名生成规则，生成任务配置数据
。
[0007]可选地，针对各
Redis
数据列，预设文件导出路径生成规则，包括：根据不同的业务数据设置与数据生成时间和
/
或数据抽取时间和
/
或数据抽取任务请求人相关的文件导出路径生成规则
。
[0008]可选地，针对各
Redis
数据列，预设导出文件名生成规则，包括：根据不同的业务数据设置与数据抽取时间和
/
或数据抽取次数和
/
或单次任务标识相关的导出文件名生成规则
。
[0009]可选地，所述方法还包括：基于所述任务配置数据，逐级检查任务配置数据中的文件传输路径是否存在；若文件传输路径不存在，则根据所述任务配置数据逐级新建文件传输路径；若存在，则根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件
。
[0010]可选地，在获取任务配置数据并上传至
Redis
的任务队列之前，所述方法还包括：基于用户数据抽取请求或者预设数据抽取任务配置，生成数据抽取任务，将目标数据从各数据库抽取至相应的
Redis
数据列
。
[0011]可选地，所述将所述目标数据传输至所述目标文件，包括：获取传输结果；若传输发生错误，则将所述目标数据重新写入
Redis
数据列，并将相应的发生错误的任务配置数据放入
Redis
错误列进行排查
。
[0012]根据本申请的另一方面，本申请的一些实施例还提供了一种基于任务数据配置的数据传输装置，包括：任务配置模块，用于获取任务配置数据并上传至
Redis
的任务队列，所述任务配置数据对应一个或多个数据传输任务；其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径
、
传输文件名和对应的
Redis
数据列名称；数据处理模块，用于根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；数据获取模块，用于根据所述
Redis
数据列名称，从
Redis
中指定数据列获取目标数据；数据传输模块，用于将所述目标数据传输至相应数据传输任务对应的目标文件中
。
[0013]根据本申请的另一方面，本申请的一些实施例还提供了一种计算机设备，所述计算机设备包括：通信接口
、
处理器
、
存储器和总线，所述通信接口
、
所述处理器和所述存储器之间通过总线相互连接；所述存储器存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行基于任务数据配置的数据传输方法
。
[0014]根据本申请的另一方面，本申请的一些实施例还提供了一种计算机可读介质，其特征在于，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现基于任务数据配置的数据传输方法
。
[0015]本申请的上述技术方案，通过获取任务配置数据并上传至
Redis
的任务队列，并通过任务配置数据对应一个或多个数据传输任务实现一次执行多个数据传输或导出任务，批量完成不同路径的数据传输或导出任务；然后通过各任务配置数据中的传输文件名在所述文件传输路径上的指定位置新建目标文件，实现文件导出路径的建立，并根据各任务配置数据中的
Redis
数据列名称，从
Redis
中指定数据列获取目标数据，并直接将所述目标数据传输至相应数据传输任务对应的目标文件中，可以提高新建导出文件的成功率，保证数据能正常传输和导出，不需要中断数据抽取程序进行文件检查，使数据传输
、
抽取或导出流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据，浪费数据传输及导入导出的时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于任务数据配置的数据传输方法，其特征在于，所述方法包括：获取任务配置数据并上传至
Redis
的任务队列，所述任务配置数据对应一个或多个数据传输任务；其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径
、
传输文件名和对应的
Redis
数据列名称；根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；根据所述
Redis
数据列名称，从
Redis
中指定数据列获取目标数据；将所述目标数据传输至相应数据传输任务对应的目标文件中
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：针对各
Redis
数据列，预设文件导出路径生成规则和
/
或导出文件名生成规则；基于对应的
redis
数据列，以及预设的所述文件导出路径生成规则和
/
或所述导出文件名生成规则，生成任务配置数据
。3.
根据权利要求2所述的方法，其特征在于，针对各
Redis
数据列，预设文件导出路径生成规则，包括：根据不同的业务数据设置与数据生成时间和
/
或数据抽取时间和
/
或数据抽取任务请求人相关的文件导出路径生成规则
。4.
根据权利要求2所述的方法，其特征在于，针对各
Redis
数据列，预设导出文件名生成规则，包括：根据不同的业务数据设置与数据抽取时间和
/
或数据抽取次数和
/
或单次任务标识相关的导出文件名生成规则
。5.
根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述任务配置数据，逐级检查任务配置数据中的文件传输路径是否存在；若文件传输路径不存在，则根据所述任务配置数据逐级新建文件传输路径；若存在，则根据所述传输文件名，在所述文件传输路径上的指定位...

【专利技术属性】
技术研发人员：陆佳洋，喻明韬，彭胜寒，
申请(专利权)人：上海柯林布瑞信息技术有限公司，
类型：发明
国别省市：