数据处理方法、装置及计算机设备制造方法及图纸

本申请公开了一种数据处理方法、装置，属于数据处理技术领域。该方法包括：获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。本申请可以提高数据采集组件的可扩展性。的可扩展性。的可扩展性。

【技术实现步骤摘要】
数据处理方法、装置及计算机设备


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及计算机设备。

技术介绍

[0002]数据采集组件作为一个独立的进程运行于服务器上，用于对服务器上数据进行采集、解析与发送。然而，现有技术中单个数据采集组件往往只能针对单一的数据采集场景进行数据处理，当开发人员如果想增加额外的功能，往往面临着复杂的代码改动，即现有的数据采集组件的可扩展性较差。

技术实现思路

[0003]有鉴于此，现提供一种数据处理方法、装置、算机设备及计算机可读存储介质，以解决现有的数据采集组件的可扩展性较差的问题。
[0004]本申请提供了一种数据处理方法，包括：
[0005]获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；
[0006]对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；
[0007]根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取配置文件，所述配置文件包括数据采集层的第一配置信息，数据解析层的第二配置信息以及数据发送层的第三配置信息；对所述配置文件进行解析，以得到所述第一配置信息，所述第二配置信息以及所述第三配置信息；根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务；将所述第一事务发送给所述数据解析层，以使所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务；将所述第二事务发送给数据发送层，以使所述数据发送层根据所述第三配置信息将所述第二事务发送给预设的数据网关。2.根据权利要求1所述的数据处理方法，其特征在于，所述第一配置信息包括数据采集插件的第一标识信息以及采集所述文件的路径信息，所述根据所述第一配置信息采集预设路径下的文件，并根据所述文件生成第一事务包括：根据所述第一标识信息启动与所述第一标识信息对应的数据采集插件，以使所述数据采集插件根据所述路径信息采集所述文件，并对采集到的文件进行封装生成所述第一事务。3.根据权利要求1所述的数据处理方法，其特征在于，所述数据解析层包括数据解析插件，所述第二配置信息包括所述数据解析插件的第二标识信息以及所述数据解析插件对应的解析类型信息，所述数据解析层根据所述第二配置信息对所述第一事务进行解析，得到第二事务包括：根据所述第二标识信息启动与所述第二标识信息对应的数据解析插件；所述数据解析插件根据所述解析类型信息对所述第一事务进行解析，得到所述第二事务。4.根据权利要求3所述的数据处理方法，其特征在于，所述数据解析层包括至少两个数据解析插件，所述第二配置信息还包括所述数据解析插件的层级信息，所述根据所述第二标识信息启动与所述第二标识信息对应的数据解析插件包括：根据所述层级信息与所述第二标识信息依次启动与所述第二标识信息对应的数据解析插件。5.根据权利要求1所述的数据处理方法，其特征在于，所述数据发送...

【专利技术属性】
技术研发人员：王翔宇，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：