一种分布式流数据的处理方法及系统技术方案

本发明专利技术公开了一种分布式流数据的处理方法，包括：当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；判断所述数据量是否达到预设的数据量阈值；若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。上述的处理方法，将目标流数据分配给各个目标执行任务进行分布式处理，针对同一数据量的目标流数据，处理速度快，风险侦测迟滞降低，同时采用多个目标执行任务进行并行处理，提高了处理的目标流数据的数据量，可以处理长周期的历史数据。

【技术实现步骤摘要】
一种分布式流数据的处理方法及系统
本专利技术涉及数据处理
，尤其涉及一种分布式流数据的处理方法及系统。
技术介绍
在互联网/移动互联网、物联网等应用场景中，个性化服务、用户体验提升、智能分析、事中决策等复杂的业务需求对大数据处理技术提出了更高的要求。以Hadoop为代表的批处理大数据系统需先将数据汇聚成批，当数据量达到预设的数量时，集中将批量数据加载至分析型数据仓库中，以进行高性能实时查询。专利技术人对现有的大数据批处理方法进行研究发现，集中处理的方式经批量数据传递给一个执行任务(TaskManagers)进行处理，存在风险侦测迟滞高、处理时间长、无法处理长周期历史数据等问题。
技术实现思路
有鉴于此，本专利技术提供了一种分布式流数据的处理方法及系统，用以解决现有技术中集中处理的方式经批量数据传递给一个执行任务(TaskManagers)进行处理，存在风险侦测迟滞高、处理时间长、无法处理长周期历史数据等问题。具体方案如下：一种分布式流数据的处理方法，包括：当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；判断所述数据量是否达到预本文档来自技高网...

【技术保护点】
1.一种分布式流数据的处理方法，其特征在于，包括：当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；判断所述数据量是否达到预设的数据量阈值；若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。

【技术特征摘要】
1.一种分布式流数据的处理方法，其特征在于，包括：当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；判断所述数据量是否达到预设的数据量阈值；若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。2.根据权利要求1所述的方法，其特征在于，还包括：当接收到处理完成指令时，将对应的数据转发至数据库进行存储。3.根据权利要求1所述的方法，其特征在于，还包括：统计与每一个目标执行任务对应的流数据的处理时间；当任意一个处理时间大于预设的处理时长时，将其对应的流数据作为第一流数据，停止对所述第一流数据进行处理。4.根据权利要求3所述的方法，其特征在于，还包括：当接收到第二流数据处理请求时，对所述第二流数据进行处理，其中，所述第二流数据在所述目标流数据中的排序在所述第一流数据之后，所述第二流数据和所述第一流数据属于所述目标流数据。5.根据权利要求1所述的方法，其特征在于，将所述目标流数据分配给各个目标执行任务进行分布式处理，包括：解析所述目标流数据中包含的各个流数据对应的业务类型；依据每一个业务类型，查找与其对应的目标执行任务；将与其对应的流数据发送给对应的目标执行任务进行处理。6.根据权利要求5所述的方法，其特征在于，将与其对应的流数...

【专利技术属性】
技术研发人员：李卫华，张浩海，刘迪，丁学英，郭文静，王昊，韩大为，范利刚，周巍，杨甲明，
申请(专利权)人：北京中电普华信息技术有限公司，国网信息通信产业集团有限公司，国家电网有限公司，
类型：发明
国别省市：北京,11