多源数据存储方法、系统、设备及计算机可读存储介质技术方案

技术编号:44710366 阅读:22 留言:0更新日期:2025-03-21 17:42
一种多源数据存储方法、系统、设备及计算机可读存储介质,属于大数据存储领域,包括预先配置多种数据处理策略,其用于将至少一个具有源格式的源文件分别进行数据提取后,进行数据关联和数据格式转换,以得到具有目标格式的目标文件;数据提取包括提取至少一个数据项及其数据内容;数据关联包括基于相同的数据项,将与之关联的数据项及数据内容关联在一起;数据格式转换包括在进行数据关联时,将数据项的名称进行统一、将数据内容的数据单位进行统一、和/或对数据内容进行自定义填充;从多个数据源接收到源文件后,根据数据处理策略对其处理后再存储。本申请通过配置数据处理策略,对多源数据进行格式统一,提高数据存储效率。

【技术实现步骤摘要】

本申请涉及大数据存储领域,具体涉及一种多源数据存储方法、系统、设备及计算机可读存储介质


技术介绍

1、目前的大数据存储面临数据源的种类越来越多,不同数据源产生的数据格式也越来越多,导致数据格式难以统一,无法全部、快速、以及准确存至大数据平台的问题。另外,对于一些数据源产生的数据,在存储时还需要将一些参考数据与其一并存至大数据平台。

2、目前在将多源数据存储至大数据平台前,一般依赖人工,将数据格式转换为指定格式,如果数据量较小,还可以采用手动方式,对各个数据源的数据格式进行调整并提取有用信息存储,一旦数据量较大,就会出现问题。


技术实现思路

1、本申请提供一种多源数据存储方法、系统、设备及计算机可读存储介质,可以解决现有技术中存在的多源数据格式不一带来的存储效率低下的技术问题。

2、第一方面,本申请实施例提供多源数据存储方法,所述方法包括:

3、预先配置多种数据处理策略,所述数据处理策略用于将至少一个具有源格式的源文件分别进行数据提取后,进行数据关联和数据格式转换,以得到具本文档来自技高网...

【技术保护点】

1.一种多源数据存储方法,其特征在于,所述方法包括:

2.如权利要求1所述的多源数据存储方法,其特征在于,所述源格式包括xlsx格式、json格式、csv格式、txt格式、以及xlsx格式。

3.如权利要求1所述的多源数据存储方法,其特征在于,所述方法包括:

4.如权利要求1所述的多源数据存储方法,其特征在于,所述方法包括:

5.如权利要求1所述的多源数据存储方法,其特征在于,所述数据项按照种类分为数据源身份数据项和数据源运行数据项。

6.如权利要求5所述的多源数据存储方法,其特征在于,所述数据关联包括基于相同的数据源身份数据项...

【技术特征摘要】

1.一种多源数据存储方法,其特征在于,所述方法包括:

2.如权利要求1所述的多源数据存储方法,其特征在于,所述源格式包括xlsx格式、json格式、csv格式、txt格式、以及xlsx格式。

3.如权利要求1所述的多源数据存储方法,其特征在于,所述方法包括:

4.如权利要求1所述的多源数据存储方法,其特征在于,所述方法包括:

5.如权利要求1所述的多源数据存储方法,其特征在于,所述数据项按照种类分为数据源身份数据项和数据源运行数据项。

6.如权利要求5所述的多源数据存储方法,其特征在于,所述数据关联包括基于相同的数据源身份数据项,将该数据源身份数据项的数据内容、以及与该数据源身份数据项关联的数据源运行数据项...

【专利技术属性】
技术研发人员:孟圆刘远航
申请(专利权)人:东风商用车有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1