【技术实现步骤摘要】
本专利技术属于数据处理，更具体的说，尤其涉及一种实时流数据拼接方法和系统、电子设备、存储介质。
技术介绍
1、随着大数据技术的发展，企业对数据处理时效性要求越来越高，越来越多的场景采用实时流处理方式来提高数据处理时效。由于上游系统业务交易等特点，完整的交易要素往往会记录不同的库表当中，因此获取的实时流数据通常也是分散在不同的数据流中，后续对该业务行为进行实时分析时，首先需要把这些分散的数据元素聚合拼接成完整的交易宽表，下游再基于该交易宽表进行加工和分析处理。由于实时流数据存在乱序、并发度高等特点，加之各数据源流速不一致等原因，无法保证数据时刻同步，因此要把多个数据流中的数据进行拼接是比较困难，而基于实时流作业进行直接拼接的方法，存在需要维护待拼接数据的前后状态，技术架构复杂，不利于多个大规模数据流的实时拼接。
2、当前对实时流数据的拼接方法，通常包括2类：一种基于实时流框架的状态管理机制，将待拼接的数据流通过一定的缓存，当所有拼接数据到齐的情况下，输出拼接结果；另一类是基于关系存储引擎，将某些待拼接数据放入到数据库hbase...
【技术保护点】
1.一种实时流数据拼接方法，其特征在于，包括：
2.根据权利要求1所述的实时流数据拼接方法，其特征在于，在所述从上游数据源中接入实时流数据之前，还包括：
3.根据权利要求1所述的实时流数据拼接方法，其特征在于，所述按照拼接规则填充所述宽表的相应拼接结果字段，包括：
4.根据权利要求1所述的实时流数据拼接方法，其特征在于，所述当所述实时流数据完成拼接后，输出所述拼接键对应的拼接结果，包括：
5.根据权利要求4所述的实时流数据拼接方法，其特征在于，所述当所述实时流数据完成拼接后，输出所述拼接键对应的拼接结果，包括：
<...【技术特征摘要】
1.一种实时流数据拼接方法，其特征在于，包括：
2.根据权利要求1所述的实时流数据拼接方法，其特征在于，在所述从上游数据源中接入实时流数据之前，还包括：
3.根据权利要求1所述的实时流数据拼接方法，其特征在于，所述按照拼接规则填充所述宽表的相应拼接结果字段，包括：
4.根据权利要求1所述的实时流数据拼接方法，其特征在于，所述当所述实时流数据完成拼接后，输出所述拼接键对应的拼接结果，包括：
5.根据权利要求4所述的实时流数据拼接方法，其特征在于，所述当所述实时流数据完成拼接后，输出所...
【专利技术属性】
技术研发人员：钟新斌，李志伟，李萌，刘一阳，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。