冷数据的迁移方法技术

本公开是关于一种冷数据的迁移方法

【技术实现步骤摘要】
冷数据的迁移方法、获取方法、装置、介质及电子设备


[0001]本公开实施例涉及大数据处理
，具体而言，涉及一种冷数据的迁移方法
、
冷数据的迁移装置
、
冷数据的获取方法
、
冷数据的获取装置
、
计算机可读存储介质以及电子设备
。

技术介绍

[0002]现有的方案中，消息数据是保存在消息队列中的，而与消息数据对应的数据文件，均保存在本地磁盘中
。
但是，碍于本地磁盘的存储空间的限制，需要对存储空间中的冷数据文件进行删除，进而破坏了数据文件的完整性
。
[0003]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息
。

技术实现思路

[0004]本公开的目的在于提供一种冷数据的迁移方法
、
冷数据的迁移装置
、
冷数据的获取方法
、
冷数据的获取装置
、
计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据文件不完整的问题
。
[0005]根据本公开的一个方面，提供一种冷数据的迁移方法，包括：
[0006]获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；
[0007]根据所述数据生成时间确定所述消息数据是否属于冷数据；
[0008]在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；
[0009]将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中
。
[0010]在本公开的一种示例性实施例中，根据所述数据生成时间确定所述消息数据是否属于冷数据，包括：
[0011]获取所述消息队列中的当前时间节点，并计算所述当前时间节点与所述数据生成时间之间的时间差值；
[0012]判断所述时间差值是否大于预设时间阈值，并在确定所述时间差值大于等于预设时间阈值时，确定所述消息数据属于冷数据
。
[0013]在本公开的一种示例性实施例中，所述消息偏移量包括起始消息偏移量以及结束消息偏移量；
[0014]其中，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件，包括：
[0015]基于所述起始消息偏移量以及结束消息偏移量确定与所述消息数据关联的数据文件的文件名称；
[0016]基于所述文件名称从所述消息队列中的消息数据所在的本地磁盘中获取与所述消息数据对应的数据文件
。
[0017]在本公开的一种示例性实施例中，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，包括：
[0018]为所述对象存储服务配置接口地址以及访问密钥，并根据所述访问密钥以及与所述消息数据对应的数据文件生成待迁移数据包；
[0019]将所述待迁移数据包发送至对象存储服务，所述对象存储服务根据所述待迁移数据包中的访问密钥对待迁移数据包的合法性进行验证；
[0020]所述对象存储服务在确定所述待迁移数据包的合法性验证通过时，将所述待迁移数据包中与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在所述对象存储服务中的数据存储桶中
。
[0021]在本公开的一种示例性实施例中，所述冷数据的迁移方法还包括：
[0022]所述对象存储服务在检测到与所述消息数据对应的数据文件迁移完成时，根据所述存储桶名称以及消息数据所属的消息主题生成与所述消息数据对应的对象唯一标识符；
[0023]建立所述对象唯一标识符以及消息数据的数据目录之间的映射关系，并基于所述映射关系将所述对象唯一标识符存储至预设的元数据库中
。
[0024]在本公开的一种示例性实施例中，所述数据目录是通过如下方式生成的：
[0025]检测所述消息队列中是否存在新增消息数据，并在检测到所述消息队列中存在新增消息数据时，获取所述新增消息数据的数据生成时间以及所述新增消息数据所属的消息主题；
[0026]根据所述新增消息数据的数据量确定所述新增消息数据在所述消息主题下所具有的数据文件个数，并根据所述数据文件个数确定所述新增消息数据的起始消息偏移量以及结束消息偏移量；
[0027]根据所述数据生成时间
、
起始消息偏移量以及结束消息偏移量生成所述新增数据消息的数据目录，并将所述数据目录写入预设的元数据库中
。
[0028]在本公开的一种示例性实施例中，获取消息队列中的消息数据的数据目录，包括：
[0029]为所述预设的元数据库配置数据库地址，并基于所述数据库地址建立与所述预设的元数据库之间的通信链路；
[0030]基于所述通信链路从所述预设的元数据库中获取所述消息队列中的消息数据的数据目录
。
[0031]根据本公开的一个方面，提供一种冷数据的获取方法，包括：
[0032]响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；
[0033]在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；
[0034]基于所述数据生成时间
、
起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；
[0035]基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过上述任意一项所述的冷数据的迁移方法存储至所述数据存储桶中的
。
[0036]在本公开的一种示例性实施例中，基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，包括：
[0037]基于所述起始消费位置，依次遍历预设的元数据库，基于所述待查询数据的数据目录，确定待查询数据在设置于对象存储服务中的数据存储桶中的对象唯一标识符；
[0038]基于对象存储服务的接口地址以及访问密钥，从与所述对象唯一标识符对应的数据存储桶中获取所述待查询数据的数据文件
。
[0039]在本公开的一种示例性实施例中，将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费，包括：
[0040]将所述待查询数据的数据文件复制到消息队列所在的本地磁盘，并将待查询数据加载到消息队列中，以使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种冷数据的迁移方法，其特征在于，包括：获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；根据所述数据生成时间确定所述消息数据是否属于冷数据；在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中
。2.
根据权利要求1所述的冷数据的迁移方法，其特征在于，根据所述数据生成时间确定所述消息数据是否属于冷数据，包括：获取所述消息队列中的当前时间节点，并计算所述当前时间节点与所述数据生成时间之间的时间差值；判断所述时间差值是否大于预设时间阈值，并在确定所述时间差值大于等于预设时间阈值时，确定所述消息数据属于冷数据
。3.
根据权利要求1所述的冷数据的迁移方法，其特征在于，所述消息偏移量包括起始消息偏移量以及结束消息偏移量；其中，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件，包括：基于所述起始消息偏移量以及结束消息偏移量确定与所述消息数据关联的数据文件的文件名称；基于所述文件名称从所述消息队列中的消息数据所在的本地磁盘中获取与所述消息数据对应的数据文件
。4.
根据权利要求1所述的冷数据的迁移方法，其特征在于，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，包括：为所述对象存储服务配置接口地址以及访问密钥，并根据所述访问密钥以及与所述消息数据对应的数据文件生成待迁移数据包；将所述待迁移数据包发送至对象存储服务，所述对象存储服务根据所述待迁移数据包中的访问密钥对待迁移数据包的合法性进行验证；所述对象存储服务在确定所述待迁移数据包的合法性验证通过时，将所述待迁移数据包中与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在所述对象存储服务中的数据存储桶中
。5.
根据权利要求4所述的冷数据的迁移方法，其特征在于，所述冷数据的迁移方法还包括：所述对象存储服务在检测到与所述消息数据对应的数据文件迁移完成时，根据所述存储桶名称以及消息数据所属的消息主题生成与所述消息数据对应的对象唯一标识符；建立所述对象唯一标识符以及消息数据的数据目录之间的映射关系，并基于所述映射关系将所述对象唯一标识符存储至预设的元数据库中
。6.
根据权利要求1所述的冷数据的迁移方法，其特征在于，所述数据目录是通过如下方式生成的：
检测所述消息队列中是否存在新增消息数据，并在检测到所述消息队列中存在新增消息数据时，获取所述新增消息数据的数据生成时间以及所述新增消息数据所属的消息主题；根据所述新增消息数据的数据量确定所述新增消息数据在所述消息主题下所具有的数据文件个数，并根据所述数据文件个数确定所述新增消息数据的起始消息偏移量以及结束消息偏移量；根据所述数据生成时间
、
起始消息偏移量以及结束消息偏移量生成所述新增数据消息的数据目录，并将所述数据目录写入预设的元数据库中
。7.
根据权利要求6所述的冷数据的迁移方法，其特征在于，获取消息队列中的消息数据的数据目录，包括：为所述预设的元数据库配置数据库地址，并基于所述数据库地址建立与所述预设的元数据库之间的通信链路；基于所述通信链路从所述预设的元数据库中获取所述消息队列中的消息数据的数据目录
。8.
一种冷数据的获取方法，其特征在于，包括：响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；在所述预设的元数据...

【专利技术属性】
技术研发人员：夏震，
申请(专利权)人：杭州博盾习言科技有限公司，
类型：发明
国别省市：