数据补全方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供数据补全方法、装置、电子设备及存储介质，涉及人工智能技术领域。该方法包括：获取原始数据集；对原始数据集进行数据预处理分类成残缺数据集和历史数据集；对残缺数据集进行时间特征提取，得到第一时间序列；对历史数据集进行时间特征提取，得到第二时间序列；对第一时间序列进行多头注意力机制计算，得到第一输出矩阵；对第二时间序列进行多头注意力机制计算，得到第二输出矩阵；对第一输出矩阵和第二输出矩阵进行融合处理，得到补全数据。该方法能够将缺失的交通数据补全，面对不同数据缺失情况有良好数据补全效果。面对不同数据缺失情况有良好数据补全效果。面对不同数据缺失情况有良好数据补全效果。

【技术实现步骤摘要】
数据补全方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及数据补全方法、装置、电子设备及存储介质。

技术介绍

[0002]交通数据是一段时间的道路特征，比如：流量和速度的集合，是智能交通系统 (Intelligent Transportation System,ITS)的一个重要组成部分。在道路特征数据的基 础上，交通部门可以进行合理有效的交通控制，企业也可以提供更准确可靠的服务。但在实 践中，交通数据集经常由于传感器故障、区域停电、极端天气等原因而导致缺失。因此，如 何提供一种数据补全方法，将缺失的交通数据补全，成为了亟待解决的技术问题。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术提出一种数据补全方法、装置、电子设备及存储介质，能够在历史交通数据的基础上将缺失的交通数据补全，面对不同数据缺失情况有良好数据补全效果。
[0004]为实现上述目的，本专利技术实施例的第一方面提出了一种数据补全方法，包括：
[0005]获取原始数据集；
[0006]对所述原始数据集进行数据预处理，以将所述原始数据集分类成残缺数据集和历史数据集；
[0007]对所述残缺数据集进行时间特征提取，得到第一时间序列；
[0008]对所述历史数据集进行时间特征提取，得到第二时间序列；
[0009]对所述第一时间序列进行多头注意力机制计算，得到第一输出矩阵；
[0010]对所述第二时间序列进行多头注意力机制计算，得到第二输出矩阵；
[0011]对所述第一输出矩阵和所述第二输出矩阵进行融合处理，得到补全数据。
[0012]在本专利技术的一些实施例中，所述对所述残缺数据集进行时间特征提取，得到第一时间序列，包括：
[0013]将所述残缺数据集输入预设的长短期记忆补全网络中；
[0014]提取所述残缺数据集中处于预设时段的观测数据；
[0015]根据所述观测数据和所述预设时段的上一时段的预测数据，计算出所述预设时段的缺失数据；
[0016]根据所述缺失数据和所述观测数据，得到所述第一时间序列。
[0017]在本专利技术的一些实施例中，所述对所述历史数据集进行时间特征提取，得到第二时间序列，包括：
[0018]将所述历史数据集输入至预设的历史数据处理网络中；
[0019]通过所述的历史数据处理网络计算出所述历史数据集的历史平均数据，将所述历史平均数据作为所述预设时段的历史数据；
[0020]根据所述历史平均数据，得到所述第二时间序列。
[0021]在本专利技术的一些实施例中，所述对所述第一时间序列进行多头注意力机制计算，得到第一输出矩阵，包括：
[0022]将所述第一时间序列输入至第一多头注意力层；
[0023]通过所述第一多头注意力层将所述第一时间序列转换为第一注意力矩阵；
[0024]通过预设函数将所述第一注意力矩阵转换为第一概率矩阵；
[0025]对所述第一概率矩阵进行注意力机制计算，得到第一特征矩阵；
[0026]对所述第一特征矩阵进行降维处理，得到第一输出矩阵。
[0027]在本专利技术的一些实施例中，所述对所述第二时间序列进行多头注意力机制计算，得到第二输出矩阵，包括：
[0028]将所述第二时间序列输入至第二多头注意力层；
[0029]通过所述第二多头注意力层将所述第二时间序列转换为第二注意力矩阵；
[0030]通过预设函数将所述第二注意力矩阵转换为第二概率矩阵；
[0031]对所述第二概率矩阵进行注意力机制计算，得到第二特征矩阵；
[0032]对所述第二特征矩阵进行降维处理，得到第二输出矩阵。
[0033]在本专利技术的一些实施例中，所述对所述第一输出矩阵和所述第二输出矩阵进行融合处理，得到补全数据包括：
[0034]对所述第一输出矩阵和所述第二输出矩阵进行拼接处理，得到拼接矩阵；
[0035]通过单头注意力层对所述拼接矩阵进行注意力机制的计算，得到目标矩阵；
[0036]通过线性层对所述目标矩阵进行特征提取，得到补全数据。
[0037]在本专利技术的一些实施例中，所述通过单头注意力层对所述拼接矩阵进行注意力机制的计算，得到目标矩阵包括：
[0038]将所述拼接矩阵输入至单头注意力层；
[0039]通过所述单头注意力层将所述拼接矩阵转换为注意力矩阵；
[0040]通过预设函数将所述注意力矩阵转换为概率矩阵；
[0041]对所述概率矩阵进行注意力机制计算，得到所述目标矩阵。
[0042]为实现上述目的，本专利技术实施例的第二方面提出了一种数据补全装置，包括：
[0043]原始数据集获取模块，用于获取原始数据集；
[0044]原始数据集预处理模块，用于对所述原始数据集进行数据预处理，以将所述原始数据集分类成残缺数据集和历史数据集；
[0045]第一时间序列提取模块，用于对所述残缺数据集进行时间特征提取，得到第一时间序列；
[0046]第二时间序列提取模块，用于对所述历史数据集进行时间特征提取，得到第二时间序列；
[0047]第一输出矩阵计算模块，用于对所述第一时间序列进行多头注意力机制计算，得到第一输出矩阵；
[0048]第二输出矩阵计算模块，用于对所述第二时间序列进行多头注意力机制计算，得到第二输出矩阵；
[0049]数据融合模块，用于对所述第一输出矩阵和所述第二输出矩阵进行融合处理，得
到补全数据。
[0050]为实现上述目的，本专利技术实施例的第三方面提出了一种电子设备，包括：
[0051]至少一个存储器；
[0052]至少一个处理器；
[0053]至少一个程序；
[0054]所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本专利技术如上述第一方面所述的数据补全方法。
[0055]为实现上述目的，本专利技术的第四方面提出了一种存储介质，该存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：
[0056]如上述第一方面所述的数据补全方法。
[0057]本专利技术实施例提出的数据补全方法、装置、电子设备及存储介质，通过获取原始数据集，将原始数据集进行数据预处理，分类处理成残缺数据集和历史数据集，对残缺数据集进行时间特征提取，得到第一时间序列，对历史数据集进行时间特征提取，得到第二时间序列，对第一时间序列进行多头注意力机制计算，得到第一输出矩阵，对第二时间序列进行多头注意力机制计算，得到第二输出矩阵，最后对第一输出矩阵和第二输出矩阵进行融合处理，得到补全数据。通过本专利技术实施例提供的技术方案可以解决由于交通数据的收集经常受到通信错误、传感器故障、存储丢失等因素影响而造成数据缺失的问题，使用注意力循环神经网络解决交通数据丢失的问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据补全方法，其特征在于，包括：获取原始数据集；对所述原始数据集进行数据预处理，以将所述原始数据集分类成残缺数据集和历史数据集；对所述残缺数据集进行时间特征提取，得到第一时间序列；对所述历史数据集进行时间特征提取，得到第二时间序列；对所述第一时间序列进行多头注意力机制计算，得到第一输出矩阵；对所述第二时间序列进行多头注意力机制计算，得到第二输出矩阵；对所述第一输出矩阵和所述第二输出矩阵进行融合处理，得到补全数据。2.根据权利要求1所述的数据补全方法，其特征在于，所述对所述残缺数据集进行时间特征提取，得到第一时间序列，包括：将所述残缺数据集输入预设的长短期记忆补全网络中；提取所述残缺数据集中处于预设时段的观测数据；根据所述观测数据和所述预设时段的上一时段的预测数据，计算出所述预设时段的缺失数据；根据所述缺失数据和所述观测数据，得到所述第一时间序列。3.根据权利要求1所述的数据补全方法，其特征在于，所述对所述历史数据集进行时间特征提取，得到第二时间序列，包括：将所述历史数据集输入至预设的历史数据处理网络中；通过所述的历史数据处理网络计算出所述历史数据集的历史平均数据，将所述历史平均数据作为所述预设时段的历史数据；根据所述历史平均数据，得到所述第二时间序列。4.根据权利要求1所述的数据补全方法，其特征在于，所述对所述第一时间序列进行多头注意力机制计算，得到第一输出矩阵，包括：将所述第一时间序列输入至第一多头注意力层；通过所述第一多头注意力层将所述第一时间序列转换为第一注意力矩阵；通过预设函数将所述第一注意力矩阵转换为第一概率矩阵；对所述第一概率矩阵进行注意力机制计算，得到第一特征矩阵；对所述第一特征矩阵进行降维处理，得到第一输出矩阵。5.根据权利要求1所述的数据补全方法，其特征在于，所述对所述第二时间序列进行多头注意力机制计算，得到第二输出矩阵，包括：将所述第二时间序列输入至第二多头注意力层；通过所述第二多头注意力层将所述第二时间序列转换为第二注意力矩阵；通过预设函数将所述第二注意力矩阵转换为第二概率...

【专利技术属性】
技术研发人员：余剑峤，张舒昱，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：