一种动态类型数据传输、保存、应用的方法技术

本发明专利技术公开了一种动态类型数据传输、保存、应用的方法，包括步骤1:读取文件，校验文件格式及内容是否符合规则，例如内容缺失；步骤2:根据用户是否含有个性化数据输出需求，可以配置虚字段以及计算字段；步骤3:判断是否含有虚字段，如果配置了虚字段，根据计算字段配置的指令生成数据，填充虚拟列到文件数据中。本发明专利技术的有益效果是，本发明专利技术提供了一种在不需要数据模型的场景下(上传解析、格式验证、数据导出等)，支持根据动态规则直接做数据导出，且兼容常见的数据文件存储格式(xlsx、csv)。csv)。csv)。

【技术实现步骤摘要】
一种动态类型数据传输、保存、应用的方法


[0001]本专利技术涉及领域，特别是一种动态类型数据传输、保存、应用的方法。

技术介绍

[0002]现有技术中，通常经常需要采集或人工上传数据文件，进而进行解析、保存等操作。但是当前的技术中都是需要提供固定的文件模板，进而达到解析的目的，对数据的格式要求严格，不具备灵活性。遇到一些个性化数据输出时，通常需要修改源码进行开发工作；
[0003]在现有的技术中，存在灵活性不足，对模板强依赖的问题，采集上传的文件必须严格遵照格式上传。对文件的解析和输出也存在强规则的问题。个性化输出需要是哦诶开发，实现成本较高。

技术实现思路

[0004]本专利技术的目的是为了解决上述问题，设计了一种动态类型数据传输、保存、应用的方法。
[0005]实现上述目的本专利技术的技术方案为，一种动态类型数据传输、保存、应用的方法，包括以下步骤：
[0006]步骤1:读取文件，校验文件格式及内容是否符合规则，例如内容缺失；
[0007]步骤2:根据用户是否含有个性化数据输出需求，可以配置虚字段以及计算字段；
[0008]步骤3:判断是否含有虚字段，如果配置了虚字段，根据计算字段配置的指令生成数据，填充虚拟列到文件数据中；
[0009]步骤4:拿到文件的所有原始列头，遍历查看列头是否已经存在，已存在跳过，如果不存在，构建模型并保存。对文件的数据内容处理后上传至OSS。
[0010]步骤5:运营人员可自由修改每个原始字段的数据别名以及数据类型；
[0011]步骤6:输出时首先需要选择采集的文件，可以按采集时间及其他条件筛选。接着从已采集到的所有原始列头中动态勾选要输出的列头生成模板，提交后创建分布式任务；
[0012]步骤7:通过给定的条件拿到原始文件和动态模板后，开始处理数据，首先判断字段是否存在输出别名，存在的话使用别名输出。接着根据字段配置的数据类型，对该列的每一行数据进行数据类型的转换。用处理好的列头和数据生成新的文件，并进行输出，兼容常见的数据文件存储格式。
[0013]利用本专利技术的技术方案制作的一种动态类型数据传输、保存、应用的方法，本专利技术提供了一种在不需要数据模型的场景下(上传解析、格式验证、数据导出等)，支持根据动态规则直接做数据导出，且兼容常见的数据文件存储格式(xlsx、csv)。
[0014]本专利技术主要利用对采集上传的文件自动解析时，将采集到的列头按照模型自动保存，通过模型的输出一种动态类型数据传输、保存、应用的方法和数据类型达到动态的数据导出和类型转换。也可动态的配置虚字段和计算字段，在不需要对源码进行改动的条件下，对选定的字段进行特定的处理生成新的数据填充数据模型，执行相应的业务场景。
附图说明
[0015]图1是本专利技术所述一种动态类型数据传输、保存、应用的方法的结构示意图；
具体实施方式
[0016]实施例1
[0017]下面结合附图对本专利技术进行具体描述，如图1所示，一种动态类型数据传输、保存、应用的方法。
[0018]步骤1:读取文件，校验文件格式及内容是否符合规则，例如内容缺失；
[0019]步骤2:根据用户是否含有个性化数据输出需求，可以配置虚字段以及计算字段；
[0020]步骤3:判断是否含有虚字段，如果配置了虚字段，根据计算字段配置的指令生成数据，填充虚拟列到文件数据中；
[0021]步骤4:拿到文件的所有原始列头，遍历查看列头是否已经存在，已存在跳过，如果不存在，构建模型并保存。对文件的数据内容处理后上传至OSS。
[0022]步骤5:运营人员可自由修改每个原始字段的数据别名以及数据类型；
[0023]步骤6:输出时首先需要选择采集的文件，可以按采集时间及其他条件筛选。接着从已采集到的所有原始列头中动态勾选要输出的列头生成模板，提交后创建分布式任务；
[0024]步骤7:通过给定的条件拿到原始文件和动态模板后，开始处理数据，首先判断字段是否存在输出别名，存在的话使用别名输出。接着根据字段配置的数据类型，对该列的每一行数据进行数据类型的转换。用处理好的列头和数据生成新的文件，并进行输出，兼容常见的数据文件存储格式。
[0025]实施例2
[0026]实施例1中的对文件处理后的保存可以自由指定，亦可保存至本地或其他存储，由于不依赖文件模板，输出可自动选择生成动态模板，因次大大提高了解析和输出文件的灵活性。通过虚字段的配置，可自由的定制个性化输出内容，学习成本低，兼容性强。
[0027]上述技术方案仅体现了本专利技术技术方案的优选技术方案，本
的技术人员对其中某些部分所可能做出的一些变动均体现了本专利技术的原理，属于本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态类型数据传输、保存、应用的方法，其特征在于：包括以下步骤：步骤1:读取文件，校验文件格式及内容是否符合规则，例如内容缺失；步骤2:根据用户是否含有个性化数据输出需求，可以配置虚字段以及计算字段；步骤3:判断是否含有虚字段，如果配置了虚字段，根据计算字段配置的指令生成数据，填充虚拟列到文件数据中；步骤4:拿到文件的所有原始列头，遍历查看列头是否已经存在，已存在跳过，如果不存在，构建模型并保存。对文件的数据内容处理后上传至OSS。步骤5:运营人员可自由修改每个原始字段的数据别名以及数据类型；步骤6:输出时首先需要选择采...

【专利技术属性】
技术研发人员：邹晓亮，
申请(专利权)人：未名企鹅北京科技有限公司，
类型：发明
国别省市：