【技术实现步骤摘要】
本专利技术属于数据处理，具体涉及一种批流一体化数据处理系统及方法。
技术介绍
1、随着信息化技术的飞速发展，数据处理的需求日益复杂且多样化，尤其是在大数据和实时数据分析场景下，传统的数据处理方式往往难以同时满足批处理(batchprocessing)和流处理(stream processing)的需求。批处理主要关注大量数据的离线处理，适用于对时效性要求不高但数据规模庞大的场景；而流处理则侧重于实时数据的在线处理，强调数据的即时性和动态性。然而，在许多实际应用中，这两种数据处理方式常常需要协同工作，以实现数据的全面、高效处理。
2、现有技术中，批流一体化数据处理系统通常采用独立设计或简单集成的策略，这导致系统在处理复杂任务时效率低下，资源分配不均，容易同时出现部分资源过剩，以及部分资源不足的情况，这无疑会导致系统整体性能下降，无法充分发挥数据处理的优势，为了解决这一问题，本专利技术提出了一种创新的批流一体化数据处理系统及方法，通过智能资源调度的方式，实现批处理与流处理的相互协同。
技术实现思路b>
1本文档来自技高网...
【技术保护点】
1.一种批流一体化数据处理方法，其特征在于：包括：
2.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述根据获取的原始数据的数据量以及输出延迟需求，对所述原始数据进行分类，得到批处理数据和流处理数据的步骤，包括：
3.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述匹配所述批处理数据和所述流处理数据的任务执行方式包括：
4.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述依据所述任务执行方式，对所述批处理数据和所述流处理数据分配执行资源配额的步骤，包括：
5.根据权利要求1...
【技术特征摘要】
1.一种批流一体化数据处理方法，其特征在于：包括：
2.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述根据获取的原始数据的数据量以及输出延迟需求，对所述原始数据进行分类，得到批处理数据和流处理数据的步骤，包括：
3.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述匹配所述批处理数据和所述流处理数据的任务执行方式包括：
4.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述依据所述任务执行方式，对所述批处理数据和所述流处理数据分配执行资源配额的步骤，包括：
5.根据权利要求1所述的一种批流一体化数据处理方法，其特征在于：所述独立任务队列包括单线程队列...
【专利技术属性】
技术研发人员：陈秋石，
申请(专利权)人：上海旭荣网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。