分布式数据存储方法和装置制造方法及图纸

本发明专利技术提供一种分布式数据存储方法和装置，该方法包括：获取存储的数据的上一次处理时间；根据数据的上一次处理时间确定数据是否达到预设的数据向下迁移条件；若是，将数据发送至下一级存储系统，由下一级存储系统存储。或接收上一级存储系统发送的处理请求，处理请求携带有数据的主键；当存储有主键对应的数据时，根据处理请求，对数据进行处理，并记录数据的处理时间；根据记录的数据的处理时间确定数据是否达到预设的数据向上迁移条件；若是，将数据发送至上一级存储系统存储。上述的分布式数据存储方法，通过预设设置数据向上迁移条件或数据向下迁移条件，实现数据自动向上一级存储系统迁移，或自动向上一级存储系统迁移，处理效率高。

Distributed data storage methods and devices

The present invention provides a distributed data storage method and device. The method includes: obtaining the last processing time of the stored data; determining whether the data is up to the predetermined data downward migration condition according to the last processing time of the data; if, the data is sent to the next level storage system, and the next level storage system is made. Storage. Or receive a processing request sent by the upper level storage system to handle the primary key that carries the data; when the data is stored with the primary key corresponding to the data, the data is processed according to the processing request and the processing time of the data is recorded; the data is determined to migrate upwards according to the processing time of the recorded data. Condition; if so, send data to the first level storage system. The distributed data storage method described above can migrate data automatically to the upper level storage system by setting data upward migration conditions or data downward migration conditions, or automatically migrate to the upper level storage system, and the processing efficiency is high.

【技术实现步骤摘要】
分布式数据存储方法和装置
本专利技术涉及计算机
，特别是涉及一种分布式数据存储方法和装置。
技术介绍
对于计算机设备，通常配备了内部存储器和外部存储器。内部存储器的存取速度大、容量小、价格贵，外部存储器的存取速度慢、容量大，价格低。内部存储器和外部存储器是独立的，考虑到性能与成本，在接入存储系统之前，需要先评估业务的数据容量和负载情况，提供给运维人员以选择合适的存储介质。一个业务的数据只能存储在内部存储器或者外部存储器中，运维人员根据线上业务的数据容量和负载，手动的将业务在内部存储器或外部存储器之间进行迁移，以便达到优化成本的目的。例如，在线上业务的数据容量和负载较大时，将一些数据存储在外部存储器中；在线上业务的数据容量和负载较小时，将外部存储器的数据迁移至内部存储器中。手动地进行数据迁移的方式处理效率低。
技术实现思路
基于此，本专利技术提供一种高效的分布式存储方法和装置。为达到上述目的，本专利技术实施例采用以下技术方案：一种分布式数据存储方法，包括：获取存储的数据的上一次处理时间；根据所述数据的上一次处理时间确定所述数据是否达到预设的数据向下迁移条件；若是，将所述数据发送至下一本文档来自技高网...

【技术保护点】
一种分布式数据存储方法，其特征在于，包括：获取存储的数据的上一次处理时间；根据所述数据的上一次处理时间确定所述数据是否达到预设的数据向下迁移条件；若是，将所述数据发送至下一级存储系统，由下一级存储系统存储；或接收上一级存储系统发送的处理请求，所述处理请求携带有所述数据的主键；所述处理请求包括数据读写和数据更新的任意一种；当存储有所述主键对应的数据时，根据所述处理请求，对所述数据进行处理，并记录所述数据的处理时间；根据记录的所述数据的处理时间确定所述数据是否达到预设的数据向上迁移条件；若是，将所述数据发送至所述上一级存储系统存储。

【技术特征摘要】
1.一种分布式数据存储方法，其特征在于，包括：获取存储的数据的上一次处理时间；根据所述数据的上一次处理时间确定所述数据是否达到预设的数据向下迁移条件；若是，将所述数据发送至下一级存储系统，由下一级存储系统存储；或接收上一级存储系统发送的处理请求，所述处理请求携带有所述数据的主键；所述处理请求包括数据读写和数据更新的任意一种；当存储有所述主键对应的数据时，根据所述处理请求，对所述数据进行处理，并记录所述数据的处理时间；根据记录的所述数据的处理时间确定所述数据是否达到预设的数据向上迁移条件；若是，将所述数据发送至所述上一级存储系统存储。2.根据权利要求1所述的方法，其特征在于，在所述将所述数据发送至下一级存储系统，由下一级存储系统存储的步骤之后，还包括：接收所述下一级存储系统发送的第一删除指令；所述第一删除指令携带有所述数据的主键；根据所述第一删除指令，判断迁移前的数据和迁移后的数据是否一致；若不一致，则向所述下一级存储系统发送第二删除指令，所述第二删除指令携带有所述数据的主键，由所述下一级存储系统根据所述第二删除指令，删除所述主键对应的数据；若一致，则根据所述第一删除指令，删除所述主键对应的数据。3.根据权利要求2所述的方法，其特征在于：在所述将所述数据发送至下一级存储系统，由下一级存储系统存储的步骤之前，还包括：计算所述数据迁移前的摘要；所述根据所述第一删除指令，判断迁移前的数据和迁移后的数据是否一致的步骤包括：根据所述第一删除指令，计算所述主键对应的数据迁移后的摘要；判断所述数据的迁移前的摘要和迁移后的摘要是否一致。4.根据权利要求1所述的方法，其特征在于，所述预设的数据向下迁移条件包括：所述数据的上一次处理时间与当前时间的时间差超过预设值。5.根据权利要求1所述的方法，其特征在于，还包括：接收所述下一级存储系统发送的升热请求，所述升热请求携带有所述数据的主键；根据所述升热请求，将所述数据的主键加锁；向所述下一级存储系统发送数据迁移请求，所述数据迁移请求携带有所述数据的主键；接收并存储所述下一级存储系统根据所述数据迁移请求发送的与所述主键对应的数据，并将所述数据的主键解锁；向所述下一级存储系统发送第三删除指令；所述第三删除指令携带有所述数据的主键，由所述下一级存储系统根据所述第三删除指令，删除所述主键对应的所述数据。6.根据权利要求5所述的方法，其特征在于，还包括：接收请求端或上一级存储系统发送的处理请求；所述处理请求携带有所述数据的主键；所述处理请求包括数据读写请求和数据更新请求的任意一种；当未存储有与所述主键对应的数据时，判断所述数据的主键是否加锁；若是，则将所述处理请求加入到待处理队列，并返回所述判断所述数据的主键是否加锁的步骤；若否，则将所述处理请求发送至所述下一级存储系统。7.根据权利要求1所述的方法，其特征在于，还包括：接收请求端或上一级存储系统发送的新增数据请求，并将所述新增数据请求发送至下一级存储系统，在下一级存储系统为最后一级存储系统时，由所述下一级存储系统根据所述新增数据请求，对所述数据进行写入处理生成对应的主键并保存。8.根据权利要求1所述的方法，其特征在于，所述将所述数据发送至所述上一级存储系统存储的步骤包括：向所述上一级存储系统发送升热请求，所述升热请求携带有所述数据的主键，由所述上一级存储系统根据所述升热请求，将所述数据的主键加锁；接收所述上一级存储系统发送的数据迁移请求，所述数据迁移请求携带有所述数据的主键；根据所述数据迁移请求，将所述主键对应的所述数据发送至上一级存储系统，由所述上一级存储系统存储所述数据，将所述数据的主键解锁；接收所述上一级存储系统发送的第四删除指令；根据所述第四删除指令，删除所述主键对应的所述数据。9.根据权利要求1所述的方法，其特征在于，还包括：接收所述上一级存储系统发送的数据，所述数据由所述上一级存储系统扫描到所述数据达到预设的数据向下迁移条件后发送；存储所述数据；向所述上一级存储系统发送第五删除指令；所述第五删除指令携带有所述数据的主键；根据所述上一级存储系统根据所述第五删除指令判断迁移前的数据和迁移后的数据不一致时发送的第六删除指令，删除所述主键对应的数据。10.根据权利要求1所述的方法，其特征在于，还包括：当未存储有所述主键对应的数据时，将所述处理请求发送至下一级存储系统。11.一种分布式数据存储装置，其特征在于，包括：获取模块、第一判断模块和第一处理模块；所述获取模块，用于获取存储的数据的上一次处理时间；所述第一判断模块，根据所述数据的上一次处理时间确定所述数据是否达到预设的数据向下迁移条件；所述第一处理模块，用于在所述第一判断模块的判断结果为是时，将所述数据发送至下一级存储系统，由下一级存储系统存储；和/或包括：第一接收模块、请求处理模块、第二判断模块和第二处理...

【专利技术属性】
技术研发人员：郑斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44