【技术实现步骤摘要】
本专利技术涉及数据存储，具体涉及一种数据解析方法、装置、计算机设备及存储介质。
技术介绍
1、本专利技术涉及到数据中心对于数据进行管理的领域。随着移动互联网和智能终端的普及，信息技术与经济社会的融合，引发了数据迅猛增长。面对海量的数据，数据中心如何高效地对数据进行管理显得尤为重要。
2、当前，数据中心接收到客户端采集的数据后，通过解析数据提取相应的数据标签，例如数据大小、数据类型以及数据特有的信息存入到数据库中，当数据的使用方需要数据时，通过数据标签请求自己想要的数据类型，再由数据中心将数据传送给使用方。然而，随着数据的增长，会增加新的数据源类型，每次增加新的数据源类型时，都需要对数据中心解析流程重新进行适配，不易于维护和扩展。当接收到不同数据源类型的数据时，将数据放到单一的解析队列中顺序执行解析，解析效率很低。
3、因此，相关技术存在接收到不同数据源类型的数据时，将数据放到单一的解析队列中顺序执行解析，解析效率很低的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种数据解析方法、装置、计算机设备及存储介质，以解决接收到不同数据源类型的数据时，将数据放到单一的解析队列中顺序执行解析，解析效率很低的问题。
2、第一方面，本专利技术提供了一种数据解析方法，该方法包括：
3、获取待解析文件和待解析文件的数据源类型；
4、根据数据源类型，将待解析文件放入解析队列；
5、根据解析队列，确定待解析文件对应的处理器组合
6、根据处理器组合，调用处理器解析待解析文件，得到待解析文件的数据标签。
7、本实施例提供的数据解析方法，数据接收模块接收客户端传输过来的待解析文件和数据源类型，根据数据源类型将待解析文件放到数据源类型对应的解析队列中，等待数据解析。数据预解析模块会监听解析队列，当有解析任务时，从解析队列中获取到待解析文件，匹配处理器组合并调用处理器对待解析文件进行解析，从待解析文件中提取相应的数据标签。以达到将不同数据源类型的文件放到不同的解析队列中，并交由不同的处理器组合进行解析，提高解析效率的效果。解决了相关技术存在接收到不同数据源类型的数据时，将数据放到单一的解析队列中顺序执行解析，解析效率很低的问题。
8、在一种可选的实施方式中，根据数据源类型，将待解析文件放入解析队列，包括：
9、获取数据库中每个数据源类型对应的解析队列，其中，每个解析队列对应一组用于解析文件的处理器；
10、将待解析文件的数据源类型与解析队列进行匹配，得到待解析文件对应的目标解析队列；
11、将待解析文件放入目标解析队列。
12、在本实施方式中，数据接收模块获取数据库中每个数据源类型对应的解析队列，将待解析文件的数据源类型与解析队列进行匹配，得到待解析文件对应的目标解析队列。使得数据预解析模块通过解析队列就能确定待解析文件的数据源类型，便于后续调用处理器。
13、在一种可选的实施方式中，方法还包括：
14、获取新增数据源类型，并确定已启用处理器；
15、判断已启用处理器能否解析新增数据源类型的文件；
16、如果已启用处理器能解析新增数据源类型的文件，则根据已启用处理器，生成新增数据源类型对应的新增处理器组合，并将新增处理器组合保存至数据中心的数据库；
17、如果已启用处理器不能解析新增数据源类型的文件，则获取新增处理器，并将新增处理器和已启用处理器组合，得到当前已启用处理器，其中，新增处理器用于解析新增数据源类型的文件；
18、根据当前已启用处理器，生成新增处理器组合，并将新增处理器组合保存至数据库。
19、在本实施方式中，当需要解析新增数据源类型的文件时，只需要将新增数据源类型和解析新增数据源类型文件所需要的解析器维护到数据库中。所需要的解析器如果已启用处理器中不存在，还可以新增处理器。便于后续对本专利技术进行维护和扩展，实现高效地管理数据：接收数据、解析数据、共享数据。
20、在一种可选的实施方式中，根据解析队列，确定待解析文件对应的处理器组合，包括：
21、根据解析队列对应的数据源类型和数据中心的数据库，确定数据源类型对应的处理器组合字符；
22、根据处理器组合字符、第一分隔符号以及第二分隔符号，得到处理器组合，其中，第一分隔符号用于确定处理器组合中处理器的并行关系，第二分隔符号用于确定处理器组合中处理器的串行关系。
23、在本实施方式中，先确定数据源类型对应的处理器组合字符；再根据处理器组合字符、第一分隔符号以及第二分隔符号，得到处理器组合中的处理器和处理器之间的并行、串行关系。便于后续调用处理器对待解析文件进行解析。
24、在一种可选的实施方式中，根据处理器组合，调用处理器解析待解析文件，得到待解析文件的数据标签，包括：
25、在数据源类型为第一类型的情况下，根据处理器组合字符和第一分隔符号，确定第一标签数据解析处理器和第二标签数据解析处理器；
26、将待解析文件加入第一标签数据解析处理器的第一任务队列和第二标签数据解析处理器的第二任务队列中；
27、基于第一任务队列，利用第一标签数据解析处理器对待解析文件进行解析，得到第一标签数据；
28、基于第二任务队列，利用第二标签数据解析处理器对待解析文件进行解析，得到第二标签数据；
29、将第一标签数据和第二标签数据进行标签组合，得到数据标签，并将数据标签保存至数据中心；
30、在数据源类型为第二类型的情况下，根据处理器组合字符、第一分隔符号以及第二分隔符号，确定第二标签数据解析处理器、第三标签数据解析处理器以及解压缩处理器；
31、将待解析文件加入解压缩处理器的第三任务队列和第二标签数据解析处理器的第二任务队列中；
32、基于第二任务队列，利用第二标签数据解析处理器对待解析文件进行解析，得到第四标签数据；
33、基于第三任务队列，利用解压缩处理器对待解析文件进行解压，得到解压后文件；
34、将解压后文件加入第三标签数据解析处理器的第四任务队列中；
35、基于第四任务队列，利用第三标签数据解析处理器对解压后文件进行解析，得到第三标签数据；
36、将第三标签数据和第四标签数据进行标签组合，得到数据标签，并将数据标签保存至数据中心。
37、在本实施方式中，先判断数据源类型为第一类型还是第二类型，针对不同类型调用不同的处理器，将待解析文件放到处理器的任务队列，交由不同的处理器组合进行解析，提高解析效率的效果。对不同处理器得到的解析结果进行标签组合，得到标签数据，完成对待解析文件进行解析。
38、在一种可选的实施方式中，在根据处理器组合，调用处理器解析待解析文件之后，方法还包括：
39、获取对待解析文件进行解析过程的参数，其中，参数包括利本文档来自技高网...
【技术保护点】
1.一种数据解析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据源类型，将所述待解析文件放入解析队列，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述解析队列，确定所述待解析文件对应的处理器组合，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述处理器组合，调用处理器解析所述待解析文件，得到所述待解析文件的数据标签，包括：
6.根据权利要求5所述的方法，其特征在于，在所述根据所述处理器组合，调用处理器解析所述待解析文件之后，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，在所述根据所述处理器组合，调用处理器解析所述待解析文件，得到所述待解析文件的数据标签之后，所述方法还包括：
8.一种数据解析装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储
...【技术特征摘要】
1.一种数据解析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据源类型，将所述待解析文件放入解析队列，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述解析队列，确定所述待解析文件对应的处理器组合，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述处理器组合，调用处理器解析所述待解析文件，得到所述待解析文件的数据标签，包括：
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员：张国辉，葛国周，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。