【技术实现步骤摘要】
本申请涉及数据处理领域，具体而言，涉及一种多数据流并行处理方法、装置及非易失性存储介质。
技术介绍
1、相关技术中在对数据流进行关联时，通常是在计算层来对实时数据流进行关联，并且在关联时需要引入外部存储系统，导致存储和网络传输压力大，容易形成性能瓶颈，并且计算任务的缓存数据量极大。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种多数据流并行处理方法、装置及非易失性存储介质，以至少解决相关技术中在对数据流进行关联时在计算层进行实时数据流关联造成的计算任务缓存量数据极大的技术问题。
2、根据本申请实施例的一个方面，提供了一种多数据流并行处理方法，包括：确定目标任务流的任务配置信息，其中，目标任务流包括至少一个数据流，任务配置信息包括目标任务流中的数据流之间的关联方式，目标任务流中的各个数据流的数据特征信息，以及数据流的数据表类型；在目标任务流的预写入攒批阶段，依据任务配置信息对目标任务流中的数据流执行第一类操作，其中，第一类操...
【技术保护点】
1.一种多数据流并行处理方法，其特征在于，包括：
2.根据权利要求1所述的多数据流并行处理方法，其特征在于，所述关联方式包括以下之一：普通写入模式、宽表连接模式、数据流JOIN模式。
3.根据权利要求2所述的多数据流并行处理方法，其特征在于，在所述关联方式为所述宽表连接模式的情况下，所述依据所述任务配置信息对所述目标任务流中的数据流执行第一类操作的步骤包括：
4.根据权利要求2所述的多数据流并行处理方法，其特征在于，在所述关联方式为所述数据流JOIN模式的情况下，所述依据所述任务配置信息对所述目标任务流中的数据流执行第一类操作的步骤
...
【技术特征摘要】
1.一种多数据流并行处理方法，其特征在于，包括：
2.根据权利要求1所述的多数据流并行处理方法，其特征在于，所述关联方式包括以下之一：普通写入模式、宽表连接模式、数据流join模式。
3.根据权利要求2所述的多数据流并行处理方法，其特征在于，在所述关联方式为所述宽表连接模式的情况下，所述依据所述任务配置信息对所述目标任务流中的数据流执行第一类操作的步骤包括：
4.根据权利要求2所述的多数据流并行处理方法，其特征在于，在所述关联方式为所述数据流join模式的情况下，所述依据所述任务配置信息对所述目标任务流中的数据流执行第一类操作的步骤包括：
5.根据权利要求4所述的多数据流并行处理方法，其特征在于，所述对所述数据对应的数据流进行数据流join处理的步骤包括：
6.根据权利要求5所述的多数据流并行处理方法，其特征在于，在所述关联方式为所述数据流join模式的情况下，所述依据所述任务配置信息对所述目标任务流中的数据流进行持久化落盘处理的步骤包括：
7.根据权利要求...
【专利技术属性】
技术研发人员：王鹏哲，阮宜龙，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。