一种将电力数据从MySQL迁移到国产数据库的方法技术

本发明专利技术公开了一种将电力数据从MySQL迁移到国产数据库的方法，该方法为：进行数据去重和精简；将去重和精简处理后的数据从MySQL迁移至OceanBase数据库；进行迁移的语法兼容性检查和可行性评估；迁移方案配置及其校验；数据迁移，当从MySQL到OceanBase的数据迁移触发后，在源MySQL禁止DDL操作；数据一致性校验，数据从MySQL同步到OceanBase后，对一致性做校验。本发明专利技术将数据从传统的非分布式数据库迁移到分布式数据库，利于管理更大规模的数据，便于数据库的扩展，数据迁移过程中，去除和精简了重复的、低价值的非结构化数据。低价值的非结构化数据。

【技术实现步骤摘要】
一种将电力数据从MySQL迁移到国产数据库的方法


[0001]本专利技术涉及一种将电力数据从MySQL迁移到国产数据库的方法，属于电力数据存储


技术介绍

[0002]2013年中国电机工程学会信息化专委会发布《中国电力大数据发展白皮书》，由此掀开了电力大数据的发展大潮。作为正向能源互联网转型的传统电力行业，大数据技术将为传统电力行业的发展注入新的活力，促进电力行业的深度变革。电力大数据具有以下特点：(1)数据体量大，数据中心的数据量通常可达到PB级；(2)数据类型繁多，包括文本数据、时间序列数据等各类结构化、半结构化数据，近年来也图像、声音等非结构化数据也越来越多；(3)价值密度低，各级边缘设备、子系统、中心之间存在大量重复数据，而且存在很多低价值的时间久远的历史数据。
[0003]庞大的电力数据通常存储在数据库中。MySQL作为一种高性能数据库，在电力大数据领域流行多年，较好地支撑了电力系统的业务发展。但随着技术多元化及业务的不断发展，MySQL也遇到了新的挑战，主要体现在：业务数据类型呈现多元化，除文本数据之外，图像、声音本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将电力数据从MySQL迁移到国产数据库的方法，其特征在于：该方法包括以下步骤：步骤1，进行数据去重和精简；步骤2，将去重和精简处理后的数据从MySQL迁移至OceanBase数据库；步骤2.1、利用OceanBase Migration Assessment(OMA)工具，进行迁移的语法兼容性检查和可行性评估；步骤2.2、迁移方案配置及其校验。迁移前生成包含迁移方案的配置文件，并对配置文件内容进行语法检验；步骤2.3、数据迁移，当从MySQL到OceanBase的数据迁移触发后，在源MySQL禁止DDL操作；步骤2.4、数据一致性校验，数据从MySQL同步到OceanBase后，对一致性做校验。2.根据权利要求1所述的一种将电力数据从MySQL迁移到国产数据库的方法，其特征在于：步骤1中对MySQL中的图片进行去重的步骤具体如下：步骤1.1.1，对MSQL数据库中所有图片执行差异哈希算法，先将图片尺寸缩放为9x8，然后将图片转为灰度图，然后用当前行像素值减去前一行像素值以得到一个8x8的差异矩阵，然后从左到右一行一行地遍历差异矩阵中每一个像素以获得dHash值；步骤1.1.2，从MySQL数据库中抽取任意两张图片，记为I1和I2，比较图片I1和I2的dHash值之间的汉明距离d；步骤1.1.3，设定图片dHash值的汉明距离的阈值D，如果I1和I2的汉明距离低于阈值D，则它们为重复对，如果I1和I2为重复对，则转入步骤1.1.4，否则调整至步骤1.1.2；步骤1.1.4，采用无参考图像质量评估算法计算I1和I2的质量，得到图像质量分值Q1和Q2；步骤1.1.5，比较Q1和Q2的大小，如果Q1大，则将I1从MySQL数据库中删除，否则删除I2；步骤1.1.6，重复步骤1.1.2
‑
1.1.5，直至完成所有图像对的比较。3.根据权利要求2所述的一种将电力数据从MySQL迁移到国产数据库的方法，其特征在于：精简低价值图像数据步骤具体如下：步骤1.2.1，从MySQL数据库中抽取一张图片，记为I3，采用无参考图像质量评估算法计算I3的质量，得到图像质量Q3；步骤1.2.2，计算图像存入MySQL数据库的入库时间与当前时间的差，得到时间差T；步骤1.2.3，计算图像I3的精简指标值J，如公式1所示，其中，k为正数，在指数级上调节T的在精简指标值J中的重要性，而系数λ则调节图像质量在精简指标值J中的比重；J＝λQ3+e
‑
kT
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)步骤1.2.4，设定阈值J0，如果J小于J0，则从...

【专利技术属性】
技术研发人员：王策，甘润东，卫薇，龙玉江，王杰峰，李洵，钟掖，龙娜，吴忠，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：