【技术实现步骤摘要】
本说明书实施例属于计算机，尤其涉及一种有序提供数据的方法和装置。
技术介绍
1、在例如分布式数据系统或多进程系统中，通常存在多个数据生产者。该多个数据生产者可并行生成多个数据，并行地向数据消费者提供数据。然而，该多个数据生产者在向数据消费者提供数据时，不能保证数据的全局有序性，因此，上述系统不能适用于需要将数据有序输入给数据消费者的使用场景(如对数据顺序有需求的模型训练任务)。
技术实现思路
1、本专利技术的目的在于提供一种有序提供数据的方案。
2、本说明书第一方面提供一种有序提供数据的方法，由中间单元执行，所述方法包括：
3、从多个数据生产单元中的任一数据生产单元接收第一数据块及其第一序号，所述第一序号为多个连续序号中的一个序号，所述多个连续序号与由所述多个数据生产单元生成的多个数据块分别对应；
4、关联存储所述第一数据块及其第一序号；
5、根据所述第一序号在所述多个连续序号中的排列位置，将所述第一数据块提供给数据消费单元。
6...
【技术保护点】
1.一种有序提供数据的方法，由中间单元执行，所述方法包括：
2.根据权利要求1所述的方法，所述中间单元设置有滑窗、所述滑窗的窗口大小、以及所述滑窗的当前的最小窗口号，所述滑窗中包括所述中间单元当前存储的至少一个数据块的序号，
3.根据权利要求2所述的方法，所述方法还包括：
4.根据权利要求2所述的方法，所述最小窗口号为所述第一序号，所述方法还包括：在确定所述数据消费单元已获取所述第一数据块之后，在所述中间单元删除所述第一数据块，在所述滑窗中删除所述第一序号，更新所述最小窗口号。
5.根据权利要求4所述的方法，所述中间单元...
【技术特征摘要】
1.一种有序提供数据的方法，由中间单元执行，所述方法包括：
2.根据权利要求1所述的方法，所述中间单元设置有滑窗、所述滑窗的窗口大小、以及所述滑窗的当前的最小窗口号，所述滑窗中包括所述中间单元当前存储的至少一个数据块的序号，
3.根据权利要求2所述的方法，所述方法还包括：
4.根据权利要求2所述的方法，所述最小窗口号为所述第一序号，所述方法还包括：在确定所述数据消费单元已获取所述第一数据块之后，在所述中间单元删除所述第一数据块，在所述滑窗中删除所述第一序号，更新所述最小窗口号。
5.根据权利要求4所述的方法，所述中间单元与多个所述数据消费单元连接，所述在确定所述数据消费单元已获取所述第一数据块之后，在所述中间单元删除所述第一数据块，在所述滑窗中删除所述第一序号，更新所述最小窗口号，包括：在确定所述多个数据消费单元都已获取所述第一数据块之后，在所述中间单元删除所述第一数据块，在所述滑窗中删除所述第一序号，更新所述最小窗口号。
6.根据权利要求4所述的方法，所述中间单元中存储有与所述数据消费单元对应的消...
【专利技术属性】
技术研发人员：金星宇，武斌，王天雨，孙善禄，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。