【技术实现步骤摘要】
基于流窗口实现的实时流数据处理方法及装置
本专利技术涉及数据处理
，具体涉及一种基于流窗口实现的实时流数据处理方法及装置。
技术介绍
运单在进行配送过程中，可能会由于各种原因导致供需失衡，例如，由于天气原因导致配送慢、高峰单量激增导致运力不足、线上促销导致运力压力等等。因此需要一种自动化压力平衡调控手段，能对运单进行缩小配送范围、增加配送设施配送时间等操作，保证运单的及时履约，减少商户、运力的经济损失。表征压力平衡的数据称为单量指标数据，例如：不同运单状态下的单量、配送设施拒单量、配送设施接单时长、配送中配送设施数量等等。这些单量指标数据对时间的定义不同，现有技术针对不同的单量指标数据需要单独设计数据处理流程，非常繁琐，因此，如何能在数据的数据量级别很大的情况下，做到个性化计算是亟待解决的问题。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的基于流窗口实现的实时流数据处理方法及装置。根据本专利技术实施例的一个方面，提供了一种基于流窗口实...
【技术保护点】
1.一种基于流窗口实现的实时流数据处理方法，包括：/n从至少一个数据源获取实时流数据，所述实时流数据包含运单流数据及配送设施流数据；/n对所述运单流数据及所述配送设施流数据进行数据联接处理，得到数据宽表；/n接收用于表征压力平衡状态的单量指标数据的计算任务，根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述数据宽表内的数据进行聚合计算，得到对应的单量指标数据。/n
【技术特征摘要】
1.一种基于流窗口实现的实时流数据处理方法，包括：
从至少一个数据源获取实时流数据，所述实时流数据包含运单流数据及配送设施流数据；
对所述运单流数据及所述配送设施流数据进行数据联接处理，得到数据宽表；
接收用于表征压力平衡状态的单量指标数据的计算任务，根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述数据宽表内的数据进行聚合计算，得到对应的单量指标数据。
2.根据权利要求1所述的方法，其中，所述方法还包括：预先部署多个流窗口的处理进程，其中，各个流窗口分别对应于具有各种数据特性的单量指标数据。
3.根据权利要求1或2所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述数据宽表内的数据进行聚合计算，得到对应的单量指标数据进一步包括：
建立单量指标数据坐标系，并将所述数据宽表内的数据映射到单量指标数据坐标系中，其中，坐标系的各坐标轴的坐标参数分别为：时间、单量指标数据、地理空间信息；
根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据。
4.根据权利要求3所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据进一步包括：
根据所述单量指标数据的实时特性调用全局窗口的处理进程，由所述全局窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到各时刻的单量指标数据，其中，所述单量指标数据坐标系中的数据处于同一全局窗口中。
5.根据权利要求3所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据进一步包括：
根据所述单量指标数据的累计同比特性调用全局窗口的处理进程，由所述全局窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算；
调用滚动...
【专利技术属性】
技术研发人员：夏志富，许巧生，孔垂建，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。