基于卷积自动编解码算法的气象数据填补方法技术

一种基于卷积自动编解码算法的气象数据填补方法，其步骤是：对气象数据进行预处理；设置迭代次数；对四维矩阵进行卷积自动编码；对特征匹配矩阵进行卷积自动编码；对特征匹配矩阵进行卷积自动编码；对特征匹配矩阵进行卷积自动解码；对特征匹配矩阵进行卷积自动解码；对特征匹配矩阵进行卷积自动解码；计算损失函数；更新卷积核和偏移权重；更新气象数据属性值；完成气象数据填补。本发明专利技术克服了数据填补的精度不高的问题，使得本发明专利技术具有高鲁棒性、高缺值填充准确度的优点。

【技术实现步骤摘要】

本专利技术属于计算机
，更进一步涉及气象数据处理
中的一种基于卷积自动编解码算法的气象数据填补方法。本专利技术可以应用于气象数据处理，气象数据分析等具体应用场景，针对已有的气象数据填补算法的局限性，根据多次学习气象数据属性特征之间的相关性，对于缺失的气象数据，填补其气象数据值。
技术介绍
填充空缺值是由于数据缺失引起的方法。数据缺失是指在数据采集时由于某种原因应该得到而没有得到的数据。它指的是现有数据集中某个或某些属性的值是不完全的。在科学研究中，为了提高数据的可信度科学度，保证调查研究的顺利进行，需要一些填充空缺值的方法来填充缺失数据。目前填充空缺值的方法主要包括人工填写法、平均值填充法、热卡填充法和多重填补法。其中人工填写法费时费力，当缺失的数值很多时，使用这种方法是不可能的。平均值填充法和热卡填充法主观因素较多，准确性低。国网山东省电力公司应急管理中心在其申请的专利“基于电网GIS的气象数据调用与预处理方法及系统”(专利申请号：201410709084.6，申请公开号：CN104951857A)中提出了一种基于电网GIS的气象数据处理方法及系统。该方法首先建立电网气象数据库，然后分别对电网GIS平台采集的不同格式的气象数据进行处理并存储，再对存储至电网气象数据库的数据进行分类预处理，之后进行数据缓存与调用。在对实时监测数据进行完整性检查时，当出现数据缺失、错误等异常情况时，该方法调用当前无效时间点的上一时刻数据，采用向上追溯的方式进行填充处理。该方法优化了气象数据在电网中的应用方法，为电力行业与气象部门间的快速数据交互提供了基础。但是，该方法仍然存在的不足之处是，对于缺失、错误等异常情况的处理方式过于简单，并且填补的数据准确性低。宁波绮耘软件有限公司在其申请的专利“一种异常数据判定与处理方法及装置”(专利申请号：201410504085.7，申请公开号：CN104281779A)中提出了一种异常数据判定与处理方法及装置。该方法首先从原始气象数据中提取与观测点数据相关的数据块，计算二者的数值变化，若不在预定范围内，则观测点数据为异常值，对异常值进行修正并输出修正后的气象数据。该方法对连续观测的气象数据中存在的不符合气象数据变化规律的数据进行修正，从而减少突然增高或降低的异常数据对气候特征观察的影响。但是，该方法仍然存在的不足之处是，判断气象数据是否异常时提取的数据块范围仅为1-3，选取的数据块太少，数据的修正也仅是用不包括观测点的数据块的平均值来替换，修正的气象属性值只与同种属性的属性值有关，建立在完全随机缺失的假设上，数据填充的精度不高，不能准确反映气象数据的变化规律。
技术实现思路
本专利技术的目的在于克服上述已有技术的不足，提出一种基于卷积自动编解码算法的气象数据填补方法，以提高气象数据填补结果的精度。本专利技术利用卷积自动编码和卷积自动解码，在填补数据过程中学习周边数据特征的相关性，有效地克服了气象数据填充的精度不高的问题。实现本专利技术目的的具体思路是：首先是根据相邻数据属性之间的关系，进行数据预处理，然后再利用卷积自动编码和卷积自动解码等步骤，提取属性特征之间的复杂关系，对气象数据进行填补，提高了算法的鲁棒性和填补的精度，可用于高维数据的多个缺失值填补。实现本专利技术目的的具体步骤如下：(1)对气象数据进行预处理：(1a)用一个含有6个属性值的一维数据，构建一个3×2二维矩阵；(1b)用一个气象数据文件中所有气象数据构建一个四维矩阵；(2)设置迭代次数：设置最大迭代次数为1000，设置当前迭代次数为k，并初始化为1；(3)对四维矩阵进行卷积自动编码：(3a)按照下式，用32个1×1卷积核w和偏移权重b卷积四维矩阵，分别提取气象数据6个属性值中每一个属性值的数据特征，得到32组6个属性值的数据特征：Y＝wX+b其中，Y表示气象数据6个属性值中任意一个属性值的数据特征，w表示一个1×1的矩阵，X表示气象数据6个属性值中与Y对应的属性值，b表示由随机函数在(0,1)之间产生的一个随机数；(3b)按照下式，分别计算气象数据32组6个属性值中每一个属性值的匹配特征，得到32组6个属性值的匹配特征：m＝max(0,Y)其中，m表示气象数据6个属性值中任意一个属性值的匹配特征，max表示取最大值操作，Y表示气象数据6个属性值中与m对应的属性值的数据特征；(3c)对32组6个属性值的匹配特征中的每一组，将6个属性值的前2个属性值的匹配特征，依次作为特征匹配矩阵的第一行，将6个属性值的中间2个值的匹配特征，依次作为特征匹配矩阵的第二行，将6个属性值的后2个值的匹配特征，依次作为特征匹配矩阵的第三行，得到一个3×2的特征匹配矩阵；(3d)判断是否完成32个3×2的特征匹配矩阵的构建，若是，则执行步骤(3e)，否则，执行步骤(3c)；(3e)按照下式，分别对32个3×2的特征匹配矩阵中的每一个特征匹配矩阵进行填充，得到32个5×5填充后的特征匹配矩阵：其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值；(3g)分别对32个5×5的填充后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第一次编码后的特征匹配矩阵；(4)对特征匹配矩阵进行卷积自动编码：(4a)对32个3×3的第一次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第一次编码后的特征匹配矩阵；(4b)判断是否完成32个3×3的第一次编码后的特征匹配矩阵的更新，若是，则执行步骤(4c)，否则，执行步骤(4a)；(4c)按照下式，分别对32个3×3的更新后的第一次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵：其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值；(4d)分别对32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第二次编码后的特征匹配矩阵；(5)对特征匹配矩阵进行卷积自动编码：(5a)对32个3×3的第二次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第二次编码后的特征匹配矩阵；(5b)判断是否完成32个3×3的第二次编码后的特征匹配矩阵的更新，若是，则执行步骤(5c)，否则，执行步骤(5a)；(5c)按照下式，分别对32个3×3的更新后的第二次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵：其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值；(5d)对32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第三次编码后的特征匹配矩阵；(6)对特征匹配矩阵进行卷积本文档来自技高网...

【技术保护点】
一种基于卷积自动编解码算法的气象数据填补方法，包括如下步骤：(1)对气象数据进行预处理：(1a)用一个含有6个属性值的一维数据，构建一个3×2二维矩阵；(1b)用一个气象数据文件中所有气象数据构建一个四维矩阵；(2)设置迭代次数：设置最大迭代次数为1000，设置当前迭代次数为k，并初始化为1；(3)对四维矩阵进行卷积自动编码：(3a)按照下式，用32个1×1卷积核w和偏移权重b卷积四维矩阵，分别提取气象数据6个属性值中每一个属性值的数据特征，得到32组6个属性值的数据特征：Y＝wX+b其中，Y表示气象数据6个属性值中任意一个属性值的数据特征，w表示一个1×1的矩阵，X表示气象数据6个属性值中与Y对应的属性值，b表示由随机函数在(0,1)之间产生的一个随机数；(3b)按照下式，分别计算气象数据32组6个属性值中每一个属性值的匹配特征，得到32组6个属性值的匹配特征：m＝max(0,Y)其中，m表示气象数据6个属性值中任意一个属性值的匹配特征，max表示取最大值操作，Y表示气象数据6个属性值中与m对应的属性值的数据特征；(3c)对32组6个属性值的匹配特征中的每一组，将6个属性值的前2个属性值的匹配特征，依次作为特征匹配矩阵的第一行，将6个属性值的中间2个值的匹配特征，依次作为特征匹配矩阵的第二行，将6个属性值的后2个值的匹配特征，依次作为特征匹配矩阵的第三行，得到一个3×2的特征匹配矩阵；(3d)判断是否完成32个3×2的特征匹配矩阵的构建，若是，则执行步骤(3e)，否则，执行步骤(3c)；(3e)按照下式，分别对32个3×2的特征匹配矩阵中的每一个特征匹配矩阵进行填充，得到32个5×5填充后的特征匹配矩阵：Bij=0,i=1,50,j=1,4,5Ai-1,j-1,i=2,3,4,j=2,3]]>其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai‑1,j‑1表示填充前的特征匹配矩阵中第i‑1行第j‑1列的元素值；(3f)分别对32个5×5的填充后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第一次编码后的特征匹配矩阵；(4)对特征匹配矩阵进行卷积自动编码：(4a)对32个3×3的第一次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第一次编码后的特征匹配矩阵；(4b)判断是否完成32个3×3的第一次编码后的特征匹配矩阵的更新，若是，则执行步骤(4c)，否则，执行步骤(4a)；(4c)按照下式，分别对32个3×3的更新后的第一次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵：Bij=0,i=1,50,j=1,5Ai-1,j-1,i=2,3,4,j=2,3,4]]>其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai‑1,j‑1表示填充前的特征匹配矩阵中第i‑1行第j‑1列的元素值；(4d)分别对32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第二次编码后的特征匹配矩阵；(5)对特征匹配矩阵进行卷积自动编码：(5a)对32个3×3的第二次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第二次编码后的特征匹配矩阵；(5b)判断是否完成32个3×3的第二次编码后的特征匹配矩阵的更新，若是，则执行步骤(5c)，否则，执行步骤(5a)；(5c)按照下式，分别对32个3×3的更新后的第二次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵：Bij=0,i=1,50,j=1,5Ai-1,j-1,i=2,3,4,j=2,3,4]]>其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai‑1,j‑1表示填充前的特征匹配矩阵中第i‑1行第j‑1列的元素值；(5d)对32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第三次编码后的特征匹配矩阵；(6)对特征匹配矩阵进行卷积自动解码：(6a)对32个3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第三次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第三次编码后的特征匹配矩阵；(6b)判断是否完成32个3×3的第三次编码后的特征匹配矩阵的更新，若是，则执行步骤(6c)，否则，执行步骤(6a)；(6c)按照下式，对32个更新后的3×3的第三次编码后的特征匹配矩阵中的每一...

【技术特征摘要】
1.一种基于卷积自动编解码算法的气象数据填补方法，包括如下步骤：(1)对气象数据进行预处理：(1a)用一个含有6个属性值的一维数据，构建一个3×2二维矩阵；(1b)用一个气象数据文件中所有气象数据构建一个四维矩阵；(2)设置迭代次数：设置最大迭代次数为1000，设置当前迭代次数为k，并初始化为1；(3)对四维矩阵进行卷积自动编码：(3a)按照下式，用32个1×1卷积核w和偏移权重b卷积四维矩阵，分别提取气象数据6个属性值中每一个属性值的数据特征，得到32组6个属性值的数据特征：Y＝wX+b其中，Y表示气象数据6个属性值中任意一个属性值的数据特征，w表示一个1×1的矩阵，X表示气象数据6个属性值中与Y对应的属性值，b表示由随机函数在(0,1)之间产生的一个随机数；(3b)按照下式，分别计算气象数据32组6个属性值中每一个属性值的匹配特征，得到32组6个属性值的匹配特征：m＝max(0,Y)其中，m表示气象数据6个属性值中任意一个属性值的匹配特征，max表示取最大值操作，Y表示气象数据6个属性值中与m对应的属性值的数据特征；(3c)对32组6个属性值的匹配特征中的每一组，将6个属性值的前2个属性值的匹配特征，依次作为特征匹配矩阵的第一行，将6个属性值的中间2个值的匹配特征，依次作为特征匹配矩阵的第二行，将6个属性值的后2个值的匹配特征，依次作为特征匹配矩阵的第三行，得到一个3×2的特征匹配矩阵；(3d)判断是否完成32个3×2的特征匹配矩阵的构建，若是，则执行步骤(3e)，否则，执行步骤(3c)；(3e)按照下式，分别对32个3×2的特征匹配矩阵中的每一个特征匹配矩阵进行填充，得到32个5×5填充后的特征匹配矩阵：Bij=0,i=1,50,j=1,4,5Ai-1,j-1,i=2,3,4,j=2,3]]>其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值；(3f)分别对32个5×5的填充后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第一次编码后的特征匹配矩阵；(4)对特征匹配矩阵进行卷积自动编码：(4a)对32个3×3的第一次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第一次编码后的特征匹配矩阵；(4b)判断是否完成32个3×3的第一次编码后的特征匹配矩阵的更新，若是，则执行步骤(4c)，否则，执行步骤(4a)；(4c)按照下式，分别对32个3×3的更新后的第一次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵：Bij=0,i=1,50,j=1,5Ai-1,j-1,i=2,3,4,j=2,3,4]]>其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值；(4d)分别对32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第二次编码后的特征匹配矩阵；(5)对特征匹配矩阵进行卷积自动编码：(5a)对32个3×3的第二次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第二次编码后的特征匹配矩阵；(5b)判断是否完成32个3×3的第二次编码后的特征匹配矩阵的更新，若是，则执行步骤(5c)，否则，执行步骤(5a)；(5c)按照下式，分别对32个3×3的更新后的第二次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵：Bij=0,i=1,50,j=1,5Ai-1,j-1,i=2,3,4,j=2,3,4]]>其中，Bij表示填充后的特征匹配矩阵中第i行第j列的元素值，Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值；(5d)对32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化，步长为1，得到32个3×3的第三次编码后的特征匹配矩阵；(6)对特征匹配矩阵进行卷积自动解码：(6a)对32个3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵，利用卷积公式，分别更新一个3×3的第三次编码后的特征匹配矩阵中的每一个元素值，得到一个更新后的3×3的第三次编码后的特征匹配矩阵；(6b)判断是否完成32个3×3的第三次编码后的特征匹配矩阵的更新，若是，则执行步骤(6c)，否则，执行步骤(6a)；(6c)按照下式，对32个更新后的3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵，分别修正一个更新后的3×3的第三次编码后的特征匹配矩阵中的每一个元素值：p＝max(0,Q)其中，p表示修正后的更新后的3×3的第三次编码后的特征匹配矩阵中的任意一个元素值，max表示取最大值操作，Q表示更新后的3×3的第三次编码后的特征匹配矩阵中的与y对应的元素值；(6d)判断是否完成32个更新后的3×3的第三次编码后的特征匹配矩阵的修正，若是，则执行步骤(6e)，否则，执行步骤(6c)；(6e)按照下式，分别对32个修正后的更新后的3×3的第三次编码后的特征匹配矩阵进行填充，得到32个5×5的填充后的修正后的更新后的第二次编码后的特征匹配矩阵：Bij=0,i...

【专利技术属性】
技术研发人员：刘惠，杜军朝，姚士民，韩俊，王静，刘泽宇，赵一凡，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61