一种冷热数据分类的方法、装置、设备及可读存储介质制造方法及图纸

技术编号:34356908 阅读:67 留言:0更新日期:2022-07-31 06:46
本发明专利技术提供了一种冷热数据分类的方法、装置、设备及可读存储介质,涉及数据存储技术领域。本申请中通过统计入库数据的访问特性以及入库数据本身所具有的价值大小,基于数据价值的改进的牛顿冷却定律的冷热数据分类模型计算入库数据在当前时刻下的温度,从而可以在任意时刻根据入库数据温度值的大小进行划分,将入库数据实时的划分为热数据、温数据、冷数据,基于冷热特性为数据的分层存储提供坚实的基础,有助于将数据价值高、访问频率高的数据放在高速存储设备中,将数据价值低、访问频率低的数据放在低速存储设备中,通过这种方式能够有效降低数据管理终端中海量数据的存储成本。有效降低数据管理终端中海量数据的存储成本。有效降低数据管理终端中海量数据的存储成本。

【技术实现步骤摘要】
一种冷热数据分类的方法、装置、设备及可读存储介质


[0001]本专利技术涉及数据存储
,具体而言,涉及一种冷热数据分类的方法、装置、设备及可读存储介质。

技术介绍

[0002]随着交通构筑物监测场景下长期的数据积累,传统的解决方案是不断扩容机器的存储容量或者增加更高性能的存储设备,然而这种方式伴随着严重的存储资源浪费、能耗上升。针对目前的现状,众多专家学者按照访问频度划分监测数据冷热特性,并基于数据冷热特性分类存储。但目前众多的冷热数据判定模F型更多考虑的是数据的访问特性,依据数据的访问特性来计算数据的温度,没有考虑数据本身的价值大小。

技术实现思路

[0003]本专利技术的目的在于提供一种冷热数据分类的方法、装置、设备及可读存储介质,以改善上述问题。为了实现上述目的,本专利技术采取的技术方案如下:第一方面,本申请提供了一种冷热数据分类的方法,包括:获取至少两个数据流信息,每个所述数据流信息包括入库数据以及所述入库数据对应的温度参数和第一时刻。
[0004]判断所述入库数据是否被访问,若所述入库数据被访问,则获取第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冷热数据分类的方法,其特征在于,包括:获取至少两个数据流信息,每个所述数据流信息包括入库数据以及所述入库数据对应的温度参数和第一时刻;判断所述入库数据是否被访问,若所述入库数据被访问,则获取第二时刻以及所述入库数据在所述第一时刻下对应的所述温度参数、数据价值增量、数据温度增量和数据价值权重;并根据所述温度参数、所述数据价值增量、所述数据温度增量和所述数据价值权重更新所述入库数据在所述第二时刻下对应的所述温度参数;所述第二时刻为所述入库数据被访问时的时间参数;基于所述入库数据对应的更新后的所述温度参数,对所述数据流信息进行冷热数据的分类。2.根据权利要求1所述的冷热数据分类的方法,其特征在于,在判断所述入库数据是否被访问之前还需要对所有的所述入库数据进行预处理,所述预处理包括:分别判断每个所述数据流信息是否在预设的归类条件内,若所述数据流信息在所述预设的归类条件内,则得到至少一个子数据库,所述子数据库为所述数据流信息进行聚类处理划分后的具有同一属性的数据集合;所述归类条件为划分同一属性数据的信息;基于所述第一时刻,判断每个所述子数据库中是否存在缺失数据,若不存在缺失数据,则分别对每个所述子数据库进行剔除,并更新每个所述子数据库为剔除后的子数据库;若存在缺失数据,则对每个所述子数据库进行补全,并更新所述子数据库为补全后的子数据库。3.根据权利要求2所述的冷热数据分类的方法,其特征在于,对所述子数据库进行补全,包括:基于所述第一时刻,获取所述子数据库中的缺失段信息;根据所述缺失段信息,获取所述缺失段信息首尾两端的数据参数,所述数据参数包括所述入库数据和所述第一时刻;根据所述缺失段信息首尾两端的所述数据参数计算得到插值系数;根据所述数据参数和所述插值系数,对所述缺失段信息进行填充。4.根据权利要求2所述的冷热数据分类的方法,其特征在于,所述数据价值权重的确定方法包括:获取第一参数、第二参数和研究集合信息,所述第一参数为访问所述子数据库的用户数量;所述第二参数为对所述子数据库对应的数据应用价值的评估值;所述研究集合信息为不同属性的所述子数据库构成的数据集合;根据所述第一参数和所述第二参数计算,得到第一数据价值,所述第一数据价值为所述子数据库对应的所述第一参数和第二参数之和;根据所述第一数据价值和所述研究集合信息计算,得到第二数据价值,所述第二数据价值为所述研究集合信息中所有所述子数据库的所述第一数据价值之和;根据所述第一数据价值和所述第二数据价值计算,得到所述子数据库对应的数据价值权重。5.一种冷热数据分类的装置,其特征在于,包括:获取模块:用于获取至少两个数据流信息,每个所述数据流信息包括入库数据以及所
述入库数据对应的温度参数和第一时刻;判断模块:用于判断所述入库数据是否被访问,若所述入库数据被访问,则获取第...

【专利技术属性】
技术研发人员:李小军杨柳吴壮壮张学刚任双宏刘恒
申请(专利权)人:西南交通大学中铁建安工程设计院有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1