一种实时数据流的统计方法和装置制造方法及图纸

本发明专利技术公开了一种实时数据流的统计方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据读取的数据流，注册所述数据流的虚拟表；在所述数据流的虚拟表上加载运行预置的SQL语句文件；将运行后得到的实时统计结果进行存储。该实施方式克服了数据流计算框架基于各种API算子对多个数据流进行处理时处理过程复杂的技术问题，进而达到通过编写SQL语句就可以替换复杂的转换计算函数，来实现业务场景下对实时数据流的统计的技术效果。

【技术实现步骤摘要】
一种实时数据流的统计方法和装置
本专利技术涉及计算机
，尤其涉及一种实时数据流的统计方法和装置。
技术介绍
目前的大数据实时处理技术发展迅速，而将实时处理引擎运用于有丰富用户数据的生产环境也越来越普遍，既适应了精细化商家运营的趋势，同时也帮助商家提高了决策的准确性。在业务处理中，经常需要将多个数据流接入到流数据计算框架中，根据不同的业务逻辑场景，对数据流进行过滤、字段转换、不同维度的聚合统计及输出统计结果等。为了在实时统计的过程中保证数据的不丢失和不重复，流数据计算框架自身的检查点机制，在发生故障并重启后可以从上次检查点恢复，保证了数据的不会丢失。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：1.实际业务中需要对多个数据流进行各种业务逻辑的同时处理，但是目前的流数据计算框架提供的是基于各种API算子的分步处理，处理过程较为复杂。2.检查点机制保证了发生故障时数据不丢失，但是保证不了数据接入时的不重复。
技术实现思路
有鉴于此，本专利技术实施例提供一种实时数据流的统计方法和装置，能够解本文档来自技高网...

【技术保护点】
1.一种实时数据流的统计方法，其特征在于，包括：/n根据读取的数据流，注册所述数据流的虚拟表；/n在所述数据流的虚拟表上加载运行预置的SQL语句文件；/n将运行后得到的实时统计结果进行存储。/n

【技术特征摘要】
1.一种实时数据流的统计方法，其特征在于，包括：
根据读取的数据流，注册所述数据流的虚拟表；
在所述数据流的虚拟表上加载运行预置的SQL语句文件；
将运行后得到的实时统计结果进行存储。


2.根据权利要求1所述的方法，其特征在于，在根据读取的数据流注册所述数据流的虚拟表之前，所述方法还包括：
将生成时间最晚且携带设定标识的检查点文件存储路径作为第一路径，将生成时间最晚且携带所述设定标识的结果数据文件存储路径作为第二路径；
根据所述第一路径的生成时间和所述第二路径的生成时间，确定最新的检查点文件；
从所述最新的检查点文件读取数据流。


3.根据权利要求2所述的方法，其特征在于，根据所述第一路径的生成时间和所述第二路径的生成时间，确定最新的检查点文件，包括：
若所述第二路径的生成时间晚于所述第一路径的生成时间，则删除生成时间晚于所述第一路径的生成时间的结果数据文件存储路径，并将所述第一路径的检查点文件作为最新的检查点文件；
若所述第二路径的生成时间早于所述第一路径的生成时间，则删除生成时间晚于所述第二路径的生成时间的检查点文件存储路径，并将余下的生成时间最晚的检查点文件存储路径对应的检查点文件，作为最新的检查点文件；
若所述第二路径的生成时间等于所述第一路径的生成时间，则将所述第一路径的检查点文件作为最新的检查点文件。


4.根据权利要求1所述的方法，其特征在于，根据读取的数据流注册所述数据流的虚拟表，包括：
在配置文件中根据业务逻辑预先设置SQL语句文件；
根据读取的数据流的类别和数量，确定所述数据流的虚拟表的数量和名称，并注册所述数据流的虚拟表。


5.根据权利要求1所述的方法，其特征在于，将运行后得到的实时统计结果进行存储，包括：
加载运行预置的SQL语句文件后得到的实时统计结果包括结果数据和偏移量数据；
将所述结果数据进行存储并生成结果数据文件，判断是否存储成功，若成功则在所述结果数据文件的存储路径中设置设定标识，若未成功则流程异常结束；
将所述偏移量数据进行存储并生成检查点文件，判断是否存储成功，若成功则在所述检查点文件的存储路径中设置所述设定标识，若未成功则流程异常结束。


6.根据权利要求1所述的方法，其特征在于，在将运行后得到的实时统计结果进行存储之后，所述方法还包括：
根据离线环境数据，修改所述预置的SQL语句文件中的表名和/或日期转换函数；
利用修改后的SQL语句文件，基于离线环境数据生成离线指标结果；
将所述实时统计结果与所述离线指标结果进行数据对比验证，以确定实时统计结果的准确性。


7.一种实时数据流的统计装置，其特征在于，包括：
注册虚拟表模块，用于：根据读取的数据流，注册所述数据流的虚拟表；
执行语...

【专利技术属性】
技术研发人员：韩路，
申请(专利权)人：西安京迅递供应链科技有限公司，
类型：发明
国别省市：陕西;61