一种数据处理方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及介质，包括：获取用户对flumeagent进行配置后得到的配置文件；对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；将所述nifi模板提交到nifi集群中进行数据处理。这样，利用flumeagent的配置文件生成nifi模板，并将得到的所述nifi模板提交到nifi集群中进行数据处理，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。

A data processing method, device, equipment and medium

【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质
本申请涉及数据处理
，特别涉及一种数据处理方法、装置、设备及介质。
技术介绍
flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方的能力，因此被广泛应用。nifi是一个开源的数据处理工具，可以通过processor对数据流进行处理，并且，nifi具有可以处理任何大小的消息，以及可视化的优势，但是目前存在用户不会利用nifi处理数据的问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种数据处理方法、装置、设备及介质，能够让用户只需要配置flume，便可以利用nifi进行数据处理，从而降低了用户进行数据处理时的学习成本。其具体方案如下：第一方面，本申请公开了一种数据处理方法，包括：获取用户对flumeagent进行配置后得到的配置文件；对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取用户对flumeagent进行配置后得到的配置文件；/n对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；/n利用所述第一processor、所述...

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取用户对flumeagent进行配置后得到的配置文件；
对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
将所述nifi模板提交到nifi集群中进行数据处理。


2.根据权利要求1所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。


3.根据权利要求1所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。


4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor，包括：
利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括...

【专利技术属性】
技术研发人员：刘松伟，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：山东;37