数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请为数据处理技术领域，提供了一种数据处理方法、装置、计算机设备及存储介质，其中，所述方法包括：每隔预设时间段从数据源获取数据流，对数据流中的数据进行解析，得到多个指定结构的目标数据，确定数据流的多个数据处理节点和数据流流经多个数据处理节点的流经顺序；按照流经顺序将多个数据处理节点进行连接得到数据处理通道，将多个目标数据导入数据处理通道进行数据处理，在数据处理通道中，分别对每个目标数据进行分析处理，得到每个目标数据对应的处理结果，以对不断流入的数据流在进行解析处理后得到指定结构的目标数据，并在数据处理通道中分别对每个目标数据进行自动分析处理，提高数据处理效率。提高数据处理效率。提高数据处理效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本申请涉及数据处理
，具体而言，本申请涉及一种数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互联网的业务线都在不断地产生新的数据，对产生的数据进行进一步地处理以对互联网业务的运行进行反馈是相当重要的工作之一。
[0003]现有技术中，当用户希望对某一数据源输出的数据流进行处理时，需要根据相应的处理需求手动编写数据处理程序，不同的数据处理需求需要重新编写不同的程序，十分费时费力，使得数据处理效率低下，不符合大数据发展趋势。

技术实现思路

[0004]本申请的主要目的为提供一种数据处理方法、装置、计算机设备及存储介质，以提高数据处理效率。
[0005]为了实现上述专利技术目的，本申请提供一种数据处理方法，其包括：
[0006]每隔预设时间段从数据源获取数据流；
[0007]对所述数据流中的数据进行解析，得到多个指定结构的目标数据；
[0008]确定所述数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：每隔预设时间段从数据源获取数据流；对所述数据流中的数据进行解析，得到多个指定结构的目标数据；确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序；按照所述流经顺序将所述多个数据处理节点进行连接得到数据处理通道，将多个所述目标数据导入所述数据处理通道进行数据处理；在所述数据处理通道中，分别对每个所述目标数据进行分析处理，得到每个所述目标数据对应的处理结果。2.根据权利要求1所述的方法，其特征在于，所述确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序，包括：为多个所述目标数据设定缓存时间节点，按照相应的所述缓存时间节点将多个所述目标数据分别缓存至数据库中；当到达预设统计周期时，判断所述数据库中的所述目标数据的数据量是否大于预设数据量阈值；若是，则确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序。3.根据权利要求1所述的方法，其特征在于，所述对所述数据流中的数据进行解析，得到多个指定结构的目标数据，包括：对所述数据流中的数据进行解析，得到多个数据；确定每个所述数据的字段，得到多个字段；统计每个字段在所述数据流中出现的次数，从所述多个字段中筛选出排在前N位的字段，得到多个目标字段；其中，所述N>2；确定每个所述目标字段的数据，得到多个指定结构的目标数据。4.根据权利要求3所述的方法，其特征在于，所述确定每个所述数据的字段，得到多个字段，包括：从所述数据流中提取携带有字段相关信息的特征值；根据所述特征值确定每个所述数据的字段，得到多个字段。5.根据权利要求1所述的方法，其特征在于，所述分别对每个所述目标数据进行分析处理，得到每个所述目标数据对应的处理结果，包括：当确定所述目标...

【专利技术属性】
技术研发人员：沈卫，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：