一种配置化读取采集数据的方法及装置制造方法及图纸

本发明专利技术公开了一种配置化读取采集数据的方法及装置，涉及数据读取技术领域。配置化读取采集数据的方法包括：获取数据存储参数、数据导入参数和配置文件，利用数据存储参数读取到指定存储路径的采集数据，将读取到的采集数据映射成临时表，以便于后续对采集数据进行读取和处理。根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后根据数据导入参数，将目标数据导入相应的Doris表中。如此，可实现同类程序归一化处理，只需输入数据存储参数、数据导入参数和配置文件即可在计算存储引擎中读取出需要的Doris表，无需根据不同的读取需求编写不同的Spark程序，大大减少工作量和减少后面维护成本。量和减少后面维护成本。量和减少后面维护成本。

【技术实现步骤摘要】
一种配置化读取采集数据的方法及装置


[0001]本专利技术涉及数据读取
，特别是一种配置化读取采集数据的方法及装置。

技术介绍

[0002]陶瓷产业工厂在数字化转型过程中，采集设备数据时是将整条数据采集上来，数据字段非常多。采集到的数据是以Json的形式存放于Hadoop上，目前针对读取Hadoop的Json文件抽取解析的方法如图1所示，每次有需求读取时都需要编写一个Spark程序并且进行打包，这样会大大增加了开发工作量。

技术实现思路

[0003]针对上述缺陷，本专利技术的目的在于提出一种配置化读取采集数据的方法及装置。
[0004]为达此目的，本专利技术采用以下技术方案：
[0005]本专利技术第一方面公开了一种配置化读取采集数据的方法，所述方法包括如下步骤：
[0006]输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
[0007]根据所述数据存储参数读取到指定存储路径的采集数据；
[0008]将读取到的采集数据映射成临时表；
[0009]根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
[0010]根据数据导入参数，将目标数据导入到相应的Doris表中。
[0011]进一步，采集数据以Json文件加时间的形式存储在Hadoop的HDFS上，所述数据存储参数包括存储路径参数和时间参数。
[0012]进一步，所述临时表以所述存储路径参数命名。
[0013]进一步，所述数据导入参数包括库名参数和表名参数。
[0014]进一步，所述步骤S4中，处理指定字段包括对相同字段进行合并处理。
[0015]进一步，通过Spark程序执行上述步骤。
[0016]本专利技术第二方面公开了一种配置化读取采集数据的装置，应用在本专利技术第一方面公开的方法，包括输入模块、读取模块、映射模块、目标数据获取模块和导入模块；
[0017]所述输入模块用于输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
[0018]所述读取模块用于根据所述数据存储参数读取到指定存储路径的采集数据；
[0019]所述映射模块用于将读取到的采集数据映射成临时表；
[0020]所述目标数据获取模块用于根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
[0021]所述导入模块用于根据数据导入参数，将目标数据导入到相应的Doris表中。
[0022]本专利技术第三方面公开了一种电子设备，包括存储器、处理器及存储在存储器上并
可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本专利技术第一方面公开的方法。
[0023]本专利技术第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面公开的方法。
[0024]本专利技术提供的技术方案可以包括以下有益效果：
[0025]在本专利技术的实施例中，先获取数据存储参数、数据导入参数和配置文件，利用数据存储参数读取到指定存储路径的采集数据，将读取到的采集数据映射成临时表，以便于后续对采集数据进行读取和处理。根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后根据数据导入参数，将目标数据导入相应的Doris表中。如此，可实现同类程序归一化处理，只需输入数据存储参数、数据导入参数和配置文件即可在计算存储引擎中读取出需要的Doris表，无需根据不同的读取需求编写不同的Spark程序，大大减少工作量和减少后面维护成本。
附图说明
[0026]图1是现有技术读取采集数据的示意图；
[0027]图2是本申请实施例的配置化读取采集数据的方法的示意图；
[0028]图3是本申请实施例的配置化读取采集数据的方法的流程示意图；
[0029]图4是本申请实施例的配置化读取采集数据的装置的结构示意图；
[0030]图5是本申请实施例的电子设备的基本结构示意图。
具体实施方式
[0031]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
[0032]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0033]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0034]下面以具体地实施例对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
[0035]本申请一个实施例提供了一种配置化读取采集数据的方法，该方法由计算机设备执行，该计算机设备可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可
以是独立的物理服务器、物理服务器集群或者虚拟服务器。
[0036]如图2所示，该方法包括如下步骤：
[0037]S1：输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；
[0038]S2：根据所述数据存储参数读取到指定存储路径的采集数据；
[0039]S3：将读取到的采集数据映射成临时表；
[0040]S4：根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；
[0041]S5：根据数据导入参数，将目标数据导入到相应的Doris表中。
[0042]在本专利技术的实施例中，先获取数据存储参数、数据导入参数和配置文件，利用数据存储参数读取到指定存储路径的采集数据，将读取到的采集数据映射成临时表，以便于后续对采集数据进行读取和处理。根据配置文件，在临时表中读取和处理指定字段，得到目标数据；最后根据数据导入参数，将目标数据导入相应的Doris表中。
[0043]具体地，在实际的应用中，技术人员可以通过编写出归一化读取的Spark程序完成上述步骤S1
‑
S5。编写出归一化读取的Spark程序后，在归一化读取的Spark程序中输入数据存储参数、数据导入参数和配置文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配置化读取采集数据的方法，其特征在于，所述方法包括如下步骤：输入数据存储参数、数据导入参数和配置文件，所述配置文件存储有需要读取和处理的指定字段；根据所述数据存储参数读取到指定存储路径的采集数据；将读取到的采集数据映射成临时表；根据配置文件在所述临时表中读取和处理指定字段，得到目标数据；根据数据导入参数，将目标数据导入到相应的Doris表中。2.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于，采集数据以Json文件加时间的形式存储在Hadoop的HDFS上，所述数据存储参数包括存储路径参数和时间参数。3.根据权利要求2所述的一种配置化读取采集数据的方法，其特征在于：所述临时表以所述存储路径参数命名。4.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于：所述数据导入参数包括库名参数和表名参数。5.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于：所述步骤S4中，处理指定字段包括对相同字段进行合并处理。6.根据权利要求1所述的一种配置化读取采集数据的方法，其特征在于：通过Spark程序执行上述步...

【专利技术属性】
技术研发人员：梁英林，孔令超，林国友，吕火生，
申请(专利权)人：西藏众陶联供应链服务有限公司林周佳住家网络科技有限公司林周利利佳供应链服务有限公司共青城市众陶联供应链服务有限公司，
类型：发明
国别省市：