用于服务器和用于消费者的数据槽数据处理方法和装置制造方法及图纸

本申请提供一种用于服务器的数据槽数据处理方法，包括：接收消费者发送的汇报信息；所述汇报信息，至少包括心跳信息；所述心跳信息，至少包括：所述消费者当前持有的数据槽的标识；根据接收的所述汇报信息以及维护的消费者和数据槽状态数据库的相关信息，执行服务器的数据槽数据处理逻辑，以更新所述消费者和数据槽状态数据库并向所述消费者返回对应于所述汇报信息的响应信息；其中，所述数据槽数据处理逻辑，至少包括：返回希望所述消费者持有的数据槽的标识。配套与所述用于服务器的数据槽数据处理方法，本申请还提供一种用于消费者的数据槽数据处理方法。本申请可以解决在存在祖先关系的数据槽上自动处理数据按序消费的问题。

Data processing methods and devices used for server and consumer data grooves

The present invention provides a data processing method for data slot, the server includes: receiving the information sent from the consumer report; the report information, including at least a heartbeat information; the heartbeat information includes at least a data slot currently held by the consumer identification; according to the relevant information of the information receiving and maintenance report the consumer and the data slot state database, data processing logic slot data execution server, the response information to update the consumer and data slot state database and to the consumer returns corresponding to the reporting information; among them, the data channel data processing logic, including at least: the return of the data channel consumers hope hold the logo. A data processing method for data grooves used for the server, and a data processing method for the consumer's data slot is also provided. This application can solve the problem of automatic processing of data in order of data in a data slot with an ancestral relationship.

【技术实现步骤摘要】
用于服务器和用于消费者的数据槽数据处理方法和装置
本申请涉及数据处理
，具体涉及用于服务器的数据槽数据处理方法和装置以及用于消费者的数据槽数据处理方法和装置。
技术介绍
一个数据槽数据处理的典型应用场景就是有一个数据仓库，在数据仓库里面有若干供数据生产者和消费者使用的数据槽。每个数据槽均具备以下特征：1)数据槽有只读和读写两种状态。只读表示数据槽不接收写入数据，但可以从数据槽中读取数据；读写表示数据槽可读可写；2)每个数据槽均关联一个哈希值集合。初始时，所有数据槽都是读写状态，并且任意数据槽的哈希值集合不相交；3)数据槽可以发生合并动作。例如，合并(数据槽1，数据槽2)表示新建一个读写状态的数据槽，新建的槽关联的哈希值集合是数据槽1和数据槽2的并集；在合并完成之后，数据槽1和数据槽2将变成只读状态；4)数据槽可以发生分割动作。例如，分割(数据槽1)，表示将数据槽1分割成两个读写状态的数据槽；第一个新分割的数据槽从数据槽1关联的哈希值集合中切一部分作为自己的哈希值集合，剩下的哈希值集合会被分配给另一个新分割的数据槽，而且数据槽1将变成只读状态。在实际应用中，数据槽的上游是数据生产本文档来自技高网...

【技术保护点】
一种用于服务器的数据槽数据处理方法，其特征在于，包括：接收消费者发送的汇报信息；所述汇报信息，至少包括心跳信息；所述心跳信息，至少包括：所述消费者当前持有的数据槽的标识；根据接收的所述汇报信息以及维护的消费者和数据槽状态数据库的相关信息，执行服务器的数据槽数据处理逻辑，以更新所述消费者和数据槽状态数据库并向所述消费者返回对应于所述汇报信息的响应信息；其中，所述数据槽数据处理逻辑，至少包括：返回希望所述消费者持有的数据槽的标识。

【技术特征摘要】
1.一种用于服务器的数据槽数据处理方法，其特征在于，包括：接收消费者发送的汇报信息；所述汇报信息，至少包括心跳信息；所述心跳信息，至少包括：所述消费者当前持有的数据槽的标识；根据接收的所述汇报信息以及维护的消费者和数据槽状态数据库的相关信息，执行服务器的数据槽数据处理逻辑，以更新所述消费者和数据槽状态数据库并向所述消费者返回对应于所述汇报信息的响应信息；其中，所述数据槽数据处理逻辑，至少包括：返回希望所述消费者持有的数据槽的标识。2.根据权利要求1所述的用于服务器的数据槽数据处理方法，其特征在于，所述汇报信息，还包括：消费断点更新信息和消费断点获取信息；所述消费断点更新信息，包括：数据仓库的标识，数据槽的标识和消费断点位置信息；所述消费断点获取信息，包括：数据仓库的标识和数据槽的标识。3.根据权利要求1所述的用于服务器的数据槽数据处理方法，其特征在于，所述心跳信息，是以固定时间间隔接收的。4.根据权利要求1所述的用于服务器的数据槽数据处理方法，其特征在于，所述心跳信息，还包括所述消费者持有的数据槽所属的数据仓库的标识。5.根据权利要求1所述的用于服务器的数据槽数据处理方法，其特征在于，所述消费者和数据槽状态数据库，包括：消费者的信息，数据槽的物理信息，数据槽祖先关系信息，数据槽的数据状态信息，数据槽的消费断点位置信息和消费者与数据槽和数据槽的数据状态的关联信息。6.根据权利要求1所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若所述汇报信息包括所述消费断点更新信息，则在所述消费者和数据槽状态数据库中按照所述消费断点更新信息更新所述数据槽的消费断点位置信息，并返回更新消费断点位置信息是否成功的信息；若所述汇报信息包括所述消费断点获取信息，则返回从所述消费者和数据槽状态数据库中读取的所述数据槽的消费断点位置信息。7.根据权利要求5或6所述的用于服务器的数据槽数据处理方法，其特征在于，所述数据槽的数据状态信息，包括：未分配、已分配、等待、转移和完毕状态；其中，所述未分配状态，表示数据槽未被消费者持有并在等待分配；所述已分配状态，表示数据槽已经被消费者持有并消费；所述等待状态，表示数据槽当前不能消费，等待数据槽的祖先数据槽消费完毕；所述转移状态，表示数据槽处于转移给另一消费者消费的过度状态；所述完毕状态，表示数据槽的数据已经消费完毕并且未被消费者持有。8.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若出现新加入的数据槽，则判断所述数据槽与处于同一数据仓库的各个数据槽是否存在祖先关系；若否，则将所述数据槽的数据状态信息设置为未分配状态；若是，则判断所述数据槽的数据是否被消费完；若是，则将所述数据槽的数据状态信息设置为未分配状态；若否，则将所述数据槽的数据状态信息设置为等待状态。9.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若等待状态的数据槽的祖先数据槽的数据已经被消费完，则将所述数据槽的数据状态信息变更为未分配状态。10.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若未分配状态的数据槽被分配给了一个消费者，则将所述数据槽的数据状态信息变更为已分配状态，并将所述消费者和所述数据槽相关联。11.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若已分配状态的消费者上一次接收到心跳信息的时间和当前时间的差值大于预设的阈值，则回收所述消费者持有的数据槽，将所述数据槽的数据状态信息变更为未分配状态，并取消所述消费者与所述数据槽的关联。12.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若持有数据槽最多的消费者所持有的数据槽数目与持有数据槽最少的消费者所持有的数据槽数目的差值大于1，则将所述持有数据槽最多的消费者所持有的一个数据槽的数据状态信息从已分配变更为转移状态，从向所述持有数据槽最多的消费者返回的数据槽的标识中移除变更为转移状态的数据槽，以及将变更为转移状态的数据槽与所述持有数据槽最少的消费者相关联。13.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若收到的心跳信息表明消费者放弃持有的转移状态的数据槽，则在返回给所述关联的消费者的数据槽的标识中加入所述数据槽，并将所述数据槽的数据状态信息从转移变更为已分配状态。14.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若转移状态的数据槽所关联的消费者上一次接收到心跳信息的时间和当前时间的差值大于预设的阈值，则持有所述数据槽的消费者继续持有所述数据槽，将所述数据槽的数据状态变更为已分配状态，并将所述数据槽与持有所述数据槽的消费者相关联。15.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若收到完毕状态的数据槽的消费断点更新信息表明更新的消费断点位置比上一次消费结束位置更靠前，则将所述数据槽的数据状态信息变更为未分配状态。16.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若只读属性的数据槽的数据已经被消费完，则将所述数据槽的数据状态信息变更为完毕状态，并取消所述数据槽与持有所述数据槽的消费者的关联。17.根据权利要求7所述的用于服务器的数据槽数据处理方法，其特征在于，所述服务器的数据槽数据处理逻辑，还包括：若持有转移状态的数据槽的消费者上一次接收到心跳信息的时间和当前时间的差值大于预设的阈值，则取消所述数据槽和所述消费者的关联，并变更所述数据槽的数据状态信息为未分配状态。18.一种用于服务器的数据槽数据处理装置，其特征在于，包括：接收汇报信息单元，用于接收消费者发送的汇报信息；所述汇报信息，至少包括心跳信息；所述心跳信息，至少包括：所述消费者当前持有的数据槽的标识；执行数据处理单元，用于根据接收的所述汇报信息以及维护的消费者和数据槽状态数据库的相关信息，触发服务器的数据槽数据处理逻辑单元，以更新所述消费者和数据槽状态数据库并向所述消费者返回对应于所述汇报信息的响应信息；其中，所述服务器的数据槽数据处理逻辑单元，至少包括：返回心跳单元，用于返回希望所述消费者持有的数据槽的标识。19.根据权利要求18所述的用于服务器的数据槽数据处理装置，其特征在于，所述服务器的数据槽数据处理逻辑单元，还包括：返回消费断点更新信息单元，用于若所述汇报信息包括所述消费断点更新信息，则在所述消费者和数据槽状态数据库中按照所述消费断点更新信息更新所述数据槽的消费断点位置信息，并返回更新消费断点位置信息是否成功的信息；返回消费断点获取信息单元，用于若所述汇报信息包括所述消费断点获取信息，则返回从所述消费者和数据槽状态数据库中读取的所述数据槽的消费断点位置信息。20.根据权利要求19所述的用于服务器的数据槽数据处理装置，其特征在于，所述服务器的数据槽数据处理逻辑单元，还包括：引入新数据槽单元，用于若出现新加入的数据槽，则判断所述数据槽与处于同一数据仓库的各个数据槽是否存在祖先关系；若否，则将所述数据槽的数据状态信息设置为未分配状态；若是，则判断所述数据槽的数据是否被消费完；若是，则将所述数据槽的数据状态信息设置为未分配状态；若否，则将所述数据槽的数据状态信息设置为等待状态。21.根据权利要求19所述的用于服务器的数据槽数据处理装置，其特征在于，所述服务器的数据槽数据处理逻辑单元，还包括：等待变更未分配单元，用于若等待状态的数据槽的祖先数据槽的数据已经被消费完，则将所述数据槽的数据状态信息变更为未分配状态。22.根据权利要求19所述的用于服务器的数据槽数据处理装置，其特征在于，所述服务器的数据槽数据处理逻辑单元，还包括：未分配变更已分配单元，用于若未分配状态的数据槽被分配给了一个消费者，则将所述数据槽的数据状态信息变更为已分配状态，并将所述消费者和所述数据槽相关联。23.根据权利要求19所述的用于服务器的数据槽数据处理装置，其特征在于，所述服务器的数据槽数据处理逻辑单元，还包括：已分配变更未分配单元，用于若已分配状态的消费者上一次接收到心跳信息的时间和当前时间的差值大于预设的阈值，则回...

【专利技术属性】
技术研发人员：周洲，孙廷韬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY