【技术实现步骤摘要】
本专利技术涉及数据库与电力，尤其涉及一种用于电力终端适配的数据识别与存储方法及设备。
技术介绍
1、由于电力技术的不断发展，智能电力终端的数据量呈指数级增长，这些智能终端设备的普及使得用户能够随时随地访问信息、交互式服务和应用程序。与此同时，云计算和数据库技术的飞速发展为存储和管理海量数据提供了先进的解决方案，为智能终端提供了更多的数据资源支持。这些智能终端设备不仅是信息的消费者，还承担了数据生成和交互的角色，使得数据的管理和适配成为关键问题之一。为此，用于电力终端适配的自主可控数据库应运而生。
2、随着时间的推移，存储需求不断升级，数据库通常采用混合存储架构来增强存储容量和系统访问性能。在优化存储架构的同时，将访问频率较高的数据存储在性能更高的存储介质上，提高系统的访问性能。这些频繁访问的数据通常被称为“热数据”，也被称为高价值数据，相反，则称为“冷数据”。
3、在这一背景下，冷热数据识别问题凸显出来，成为电力智能终端适配中的关键挑战。冷热数据识别的关键问题之一是如何综合考虑各种数据特征来进行识别。传统的数据识别方法通常依赖于单一指标，然而，这种方法可能会忽略数据的多维性和多样性，因此难以应对复杂的数据访问模式和需求。而数据识别的多维性特征主要体现在以下方面：
4、首先，访问频率是最常见的用于冷热数据识别的特征。热数据通常是频繁被访问的数据，而冷数据则相对不常被访问。这是一个重要的指标，但它并不能提供全面的数据特征；其次，时间对于冷热数据的判断至关重要。数据的热度可以在不同时间段内变化，因此
5、传统方法的不足之处在于它们未能全面综合考虑这些数据特征，并且未能在不同特征之间建立关联。因此，传统方法可能在某些情况下无法准确判断数据的冷热程度，从而影响了数据存储管理效率和资源分配的决策。
6、同时，在混合存储系统中，为了更加高效地调动存储资源，让待存储数据能够更好地匹配存储介质特性，数据迁移成了不容忽视的部分。混合存储环境包括多种介质，如固态硬盘、机械硬盘和云存储，它们具有各自的性能和成本特点。为了最大程度地利用这些介质，系统需要智能分布数据，以实现最佳性能和成本效益，有效的数据迁移策略和管理是确保混合存储系统高效性能和数据安全性的关键因素，对于满足不断增长的数据需求至关重要。
技术实现思路
1、为了解决上述问题，本专利技术的目的在于提供一种用于电力终端适配的数据识别与存储方法，能够高效识别冷热数据，并考虑负载均衡，实现数据的迁移，从而支持海量数据的高效存储和读取，进一步提高数据存储管理效率。
2、技术方案一
3、一种用于电力终端适配的数据识别与存储方法，包括如下步骤：步骤1、初始化自主可控数据库的存储架构：部署多个存储节点，每个存储节点包括冷数据库、热数据库、数据缓存区以及冷热数据多维度识别模块；步骤2、将获取到的数据存储到所述数据缓存区；若为数据插入：所述冷热数据多维度识别模块计算该数据的初始温度，将初始温度封装到数据中；若为数据查询：所述冷热数据多维度识别模块根据数据中包含的时间戳、关联数据和初始温度信息计算数据的当前温度，将所述当前温度封装到数据中；步骤3、当前温度或初始温度大于阈值时，标记为热数据；当前温度或初始温度小于阈值时，标记为冷数据；步骤4、计算系统整体的负载均衡度，若小于阈值γ，则将数据从所述数据缓存区存储至对应冷数据库或热数据库，完成数据迁移；反之，则暂停迁移。
4、所述步骤2中，计算数据的初始温度时，以访问频率为基准，数据的初始温度t0，t0＝f-fmin/(fmax-fmin)，其中，f是数据在预设时间段内的平均访问频率，fmin是缓存区数据集中数据的最低访问频率，fmax是缓存区数据集中数据的最高访问频率。
5、更优地，所述步骤2中计算当前温度的步骤为：根据牛顿冷却定律构建温度的变化率与环境的温差的关系模型，即t(t)＝-α(t(t)-h)，其中，t(t)为t时刻数据温度，α为温度衰减系数，h为环境温度；根据t′(t)＝-α(t(t)-h)，求解t(t)，可以得到温度模型：判断该数据是否为设定的电力业务的关键数据，若是，将关键数据标记为热数据，执行步骤3，若否，则：考虑时间戳和访问频率对数据温度的影响，对牛顿冷却定律推导方程进行变形，加入温升变量w，得到：其中，t(tn)表示在tn时刻的数据温度，当在tn时刻访问数据时，w(tn)为预估温升值，反之，若数据没有被访问，则该值为0，反映了在特定时间戳下由于数据被访问而发生的温度变化；考虑数据相关性对数据温度的影响，数据a被访问后的温度为ta，数据b是数据a的关联数据，定义数据间温度传递只经过一个时间单位，得到tb′＝ta+(tb-ta)e-α，其中，tb′表示数据b受数据a变暖影响后的温度；
6、更优地，所述步骤4包括以下步骤：步骤4.1：建立系统整体负载均衡度模型：其中，ti表示第i个数据的温度，lbj为每个存储节点的负载均衡度，q为两块冷热数据库的索引，f为整体负载均衡度，n表示节点的总数量，m表示数据的总数量；
7、步骤4.2：计算当前系统的负载均衡度l；
8、步骤4.3：若l＜γ，则完成数据迁移，将数据从所述数据缓存区存储至对应冷数据库或热数据库；反之，则暂停迁移。
9、技术方案二
10、本专利技术一种用于电力终端适配的数据识别与存储设备，包括存储器和处理器，所述处理器运行所述程序，执行技术方案一中的方法步骤。
11、本专利技术具有如下有益效果：
12、本专利技术针对存储空间有限的自主可控数据库中冷热数据识别问题，提出了一种基于访问时间、访问频率、数据依赖性和数据重要性四个特征对冷热数据进行量化的方法，实现冷热数据的识别；为防止频繁数据迁移带来的系统负载失衡，进一步考虑系统整体负载均衡度，实现数据的迁移，从而支持海量数据的高效存储和读取，进一步提高数据存储管理效率。
本文档来自技高网...【技术保护点】
1.一种用于电力终端适配的数据识别与存储方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种用于电力终端适配的数据识别与存储方法，其特征在于：所述步骤2中，计算数据的初始温度时，以访问频率为基准，数据的初始温度T0，T0＝F-Fmin/(Fmax-Fmin)，其中，F是数据在预设时间段内的平均访问频率，Fmin是缓存区数据集中数据的最低访问频率，Fmax是缓存区数据集中数据的最高访问频率。
3.根据权利要求2所述的一种用于电力终端适配的数据识别与存储方法，其特征在于：所述步骤2中计算当前温度的步骤为：
4.根据权利要求3所述的一种用于电力终端适配的数据识别与存储方法，其特征在于：
5.一种用于电力终端适配的数据识别与存储设备，包括存储器和处理器，其特征在于：所述处理器运行所述程序，执行权利要求1至4任意一项的方法步骤。
【技术特征摘要】
1.一种用于电力终端适配的数据识别与存储方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种用于电力终端适配的数据识别与存储方法，其特征在于：所述步骤2中，计算数据的初始温度时，以访问频率为基准，数据的初始温度t0，t0＝f-fmin/(fmax-fmin)，其中，f是数据在预设时间段内的平均访问频率，fmin是缓存区数据集中数据的最低访问频率，fmax是缓存区数据集中...
【专利技术属性】
技术研发人员：冯笑，李温静，刘迪，林晓康，张帅，郝志飞，董腾飞，吕东东，朱广萍，常宇昊，严函明，郭永山，刘天极，陈世峰，刘广伟，
申请(专利权)人：国网信通亿力科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。