【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其是涉及一种基于不同存储媒介的通用流批一体处理方法和系统。
技术介绍
1、随着信息技术的发展，各类信息化、数字化系统快速普及，产生和处理的数据类型也愈加丰富，使得数据存储技术快速发展，出现了各类存储媒介。如何实现不同存储媒介在流处理和批处理下的自适应及高效协同，来满足各种业务场景下的时效性和吞吐量要求，已成为不同存储媒介在数据处理过程中存在的主要制约因素。
2、现有技术中对于流处理和批处理的一体化处理方式中需要依托相应的计算引擎，实际场景中需要用户逐个对接适配，技术复杂度高，研发效率低，且在流批处理过程中还存在着存储方式单一，处理效率差的问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于不同存储媒介的通用流批一体处理方法和系统，该方法能充分利用不同存储媒介在其特有场景下的优势，实现对不同存储媒介中数据的流批一体处理，满足业务对数据存、算、取、用的时延、吞吐量、性能等技术性要求。同时，在简化数据处理相关架构的前提下、提升数据处理效率...
【技术保护点】
1.一种基于不同存储媒介的通用流批一体处理方法，其特征在于，所述方法应用于不同类型存储媒介中存储数据的流处理和批处理过程，所述方法包括：
2.根据权利要求1所述的基于不同存储媒介的通用流批一体处理方法，其特征在于，所述根据所述存储媒介的类型参数构建所述存储媒介对应的数据连接通道的步骤，包括：
3.根据权利要求2所述的基于不同存储媒介的通用流批一体处理方法，其特征在于，所述基于所述计算任务确定所述存储媒介对应的类型参数，并根据所述类型参数构建所述存储媒介对应的数据连接通道的步骤，包括：
4.根据权利要求1所述的基于不同存储媒介的通用流...
【技术特征摘要】
1.一种基于不同存储媒介的通用流批一体处理方法，其特征在于，所述方法应用于不同类型存储媒介中存储数据的流处理和批处理过程，所述方法包括：
2.根据权利要求1所述的基于不同存储媒介的通用流批一体处理方法，其特征在于，所述根据所述存储媒介的类型参数构建所述存储媒介对应的数据连接通道的步骤，包括：
3.根据权利要求2所述的基于不同存储媒介的通用流批一体处理方法，其特征在于，所述基于所述计算任务确定所述存储媒介对应的类型参数，并根据所述类型参数构建所述存储媒介对应的数据连接通道的步骤，包括：
4.根据权利要求1所述的基于不同存储媒介的通用流批一体处理方法，其特征在于，所述基于所述存储媒介的读取参数生成所述存储数据对应的流批语义读取策略，并按照所述流批语义读取策略读取所述数据连接通道中对应的存储数据的步骤，包括：
5.根据权利要求1所述的基于不同存储媒介的通用流批一体处理方法，其特征在于，所述利用所述存...
【专利技术属性】
技术研发人员：刘震，吴春辉，郭永刚，
申请(专利权)人：安徽数智建材研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。