基于流计算的维表关联方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种基于流计算的维表关联方法、装置、设备及计算机可读存储介质，属于大数据技术领域。所述方法包括：根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；将所述语法树转换为可执行的分布式流处理代码；根据所述分布式流处理代码逻辑执行维表关联操作。本发明专利技术提供的基于流计算的维表关联方案兼具高效性、良好性能、操作便捷性和实用性，可应用涉及维表关联的多种大数据应用场景。

Dimension table Association method, device, device and readable storage medium based on stream computing

【技术实现步骤摘要】
基于流计算的维表关联方法、装置、设备及可读存储介质
本专利技术涉及大数据
，特别涉及一种基于流计算的维表关联方法、装置、设备及可读存储介质。
技术介绍
流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点，流计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。流处理作为一种重要的大数据处理手段，其主要特点是其处理的数据是源源不断且实时到来的。分布式流处理是一种面向动态数据的细粒度处理模式，基于分布式内存，对不断产生的动态数据进行处理。其对数据处理的快速，高效，低延迟等特性，在大数据处理中发挥越来越重要的作用。维表可以理解成业务表的辅助数据表，数据处理过程中常常需要业务数据关联维表，例如查看某个门店的库存就需要商品表关联门店表，在这个例子里，商品表就是业务表，门店表就是维表，同时维表数据具备会随时间缓慢变化的特性，如数据仓库数据每天更新一次，更新开张新的门店信息。目前常规使用流计算处理业务表关联维表的做法是：编写代码，在流计算业务处本文档来自技高网...

【技术保护点】
1.一种基于流计算的维表关联方法，其特征在于，所述方法包括：根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；将所述语法树转换为可执行的分布式流处理代码；根据所述分布式流处理代码逻辑执行维表关联操作。

【技术特征摘要】
1.一种基于流计算的维表关联方法，其特征在于，所述方法包括：根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；将所述语法树转换为可执行的分布式流处理代码；根据所述分布式流处理代码逻辑执行维表关联操作。2.根据权利要求1所述的方法，其特征在于，根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树，包括：根据业务表的流数据、维表数据源及维表关联逻辑通过预设优化规则进行SQL解析，转移、合并、变换SQL语法树上维表关联的逻辑节点，生成优化的SQL语法树。3.根据权利要求1所述的方法，其特征在于，将所述语法树转化为可执行的分布式流处理代码，包括：将所述语法树的SQL语句翻译成可执行的分布式流处理代码。4.根据权利要求1所述的方法，其特征在于，根据所述分布式流处理代码逻辑执行维表关联操作，包括：引入所述业务表的流数据，同时加载所述维表数据源的维表数据，根据所述分布式流处理代码逻辑执行维表关联操作。5.根据权利要求4所述的方法，其特征在于，根据所述分布式流处理代码逻辑执行维表关联操作，包括：根据关联语句，将所述业务表的流数据的每条数据与所述维表数据进行关联，如果命中则进行计算输出，如果未命中，则异步去所述维表数据源继续加载数据。6.根据权利要求1至5任一项所述的方法，其特征在于，通过DB连接池从数据库拉取数据，再利用LRU式、ALL模式或NONE模式实现维表数据源的数据缓存，并将cache分区。7.一种基于流计算的维表关联装置，其特征在于，包括：语法解析模块，用于根据业务表的流数据、维表数据源及维表关联逻辑进行语法解析，生成优化的语法树；语法树转换模块...

【专利技术属性】
技术研发人员：陈丰，齐权，孙迁，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏,32