【技术实现步骤摘要】
本申请涉及网络通信，特别是涉及一种基于超分辨率的概要纠错方法、装置、设备和存储介质。
技术介绍
1、概要技术是数据流挖掘和分析领域的主流方法。一个概要(sketch)由内存空间连续分布的m(正整数型系统参数，如128，1024)个桶的数组构成。针对键值对表示的数据流的元素，概要不负责存储元素的键，而是为每个桶配备固定大小的计数器(如代数累加计数器)，负责聚合不同元素的值域。概要技术具有空间资源固定，计算开销低的优势。
2、概要技术以独立服务或者链接库的方式部署到云计算、大数据、边缘计算的网络管理、数据流挖掘分析、网络安全、人工智能分布式训练等领域，提供高维或者动态数据的精简计算和存储资源压缩，具有实时响应速度快的独特优势。
3、数据流的元素通过概要提供的插入函数聚合到概要中。每个元素通过寻址函数确定一个或多个桶，然后插入到对应桶的计数器。在需要查询时，利用与插入过程相同的寻址函数选中数组的桶，然后返回桶的计数器作为对应元素的预测值。当数据流元素插入到概要时，寻址函数可能产生冲突问题，即多个元素插入到相同的桶。常见的寻址函数采用哈希函数，输出为均匀随机的桶索引，其冲突问题不可预估，也无法后续调整。寻址冲突导致的查询误差降低了概要技术的精确性，影响了概要技术的应用价值。
4、现有研究主要通过分类数据流的元素，尽量避免差异较大的元素插入到相同的桶：(1)数据流聚类：对数据流按照值域进行聚类，将同类的数据流插入到相同的桶；(2)尾部分离：从数据流中剥离尾部的奇异值，将其单独存储到词典；(3)：数据流降
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于超分辨率的概要纠错方法、装置、设备和存储介质。
2、一种基于超分辨率的概要纠错方法，所述方法包括：
3、构建概要；所述概要沿用概要的寻址和插入，增加概要寻址的功能，输出概要的桶信息和数据流的寻址信息。
4、构建基于超分辨率的概要纠错模型；所述概要纠错模型用于基于超分辨率重构思想，将压缩表示的单个概要重建为原始的数据流元素。
5、采用离线数据集对所述概要纠错模型进行预先训练。
6、通过客户端-服务端方式采用预训练后的概要纠错模型在线重构概要的数据流序列，并根据客户端的概要信息，对概要纠错模型进行微调。
7、在其中一个实施例中，构建概要，包括：
8、初始化概要数据结构和寻址词典。
9、根据动态的数据流元素在线更新所述概要数据结构，并利用寻址词典记录数据流元素的寻址信息。
10、在其中一个实施例中，构建基于超分辨率的概要纠错模型为基于自注意力编码器的数据流概要的超分辨率重建模型；所述超分辨率重建模型包括输入层、隐含层以及输出层。
11、所述输入层，用于对单个的概要信息的数组i和寻址词典分别采用全连接层构建维度相同的两个特征，并将得到的两个特征拼接，得到拼接特征。
12、所述隐含层，用于根据所述拼接特征采用基于自注意力编码器的架构，得到编码特征。
13、所述输出层，用于根据所述编码特征采用全连接层进行处理，得到数据流元素的序列估计。
14、在其中一个实施例中，所述隐含层包括：概要位置编码模块、概要自注意力模块以及概要编码器。
15、所述概要位置编码模块，用于采用正弦编码方式对所述拼接特征计算位置编码表示，并累加到所述拼接特征，得到位置编码后的拼接表示。
16、所述概要自注意力模块，用于根据所述位置编码后的拼接表示计算自注意力为：
17、
18、其中，f为自注意力；z'为拼接特征，d为输入层中拼接前特征的维度，上标t代表矩阵转置。
19、所述概要编码器，用于根据自注意力采用多级的递归编码层进行处理，得到编码特征为：
20、
21、其中，l为级数，l为当前编码层结果、l+1为下一编码层结果。
22、在其中一个实施例中，采用离线数据集对所述概要纠错模型进行预先训练，包括：
23、获取真实的数据流序列或伙同统计分布的方式合成数据流序列，根据所述数据流序列生成概要信息，得到概要数据集。
24、对所述概要纠错模型的参数进行随机初始化。
25、根据所述概要数据集对所述概要纠错模型进行预训练。
26、将预训练后的纠错模型输出到文件系统。
27、在其中一个实施例中，通过客户端-服务端方式采用预训练后的概要纠错模型在线重构概要的数据流序列，并根据客户端的概要信息，对概要纠错模型进行微调，包括：
28、采用客户端-服务端方式进行模型部署。
29、客户端向服务端记录概要和寻址信息，输出压缩文件，通过远程网络通信协议提交概要信息压缩文件。
30、服务端根据所述概要信息压缩文件采用预训练后的概要纠错模型在线重构概要的数据流序列，并反馈数据流重结果至客户端。
31、根据客户端的概要信息，对概要纠错模型进行微调。
32、在其中一个实施例中，采用客户端-服务端方式进行模型部署，包括：
33、采用客户端-服务端方式提供在线重建，在服务端利用已有的模型运行时的环境部署预训练的概要纠错模型，在客户端不需要额外部署。
34、一种基于超分辨率的概要纠错装置，所述装置包括：
35、概要构建模块，用于构建概要；所述概要沿用概要的寻址和插入，增加概要寻址的功能，输出概要的桶信息和数据流的寻址信息。
36、概要纠错模型构建模块，用于构建基于超分辨率的概要纠错模型；所述概要纠错模型用于基于超分辨率重构思想，将压缩表示的单个概要重建为原始的数据流元素。
37、概要纠错模型离线训练模块，用于采用离线数据集对所述概要纠错模型进行预先训练。
38、概要的数据流序列在线重构模块，用于通过客户端-服务端方式采用预训练后的概要纠错模型在线重构概要的数据流序列，并根据客户端的概要信息，对概要纠错模型进行微调。
39、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
40、构建概要；所述概要沿用概要的寻址和插入，增加概要寻址的功能，输出概要的桶信息和数据流的寻址信息。
41、构建基于超分辨率的概要纠错模型；所述概要纠错模型用于基于超分辨率重构思想，将压缩表示的单个概要重建为原始的数据流元素。
42、采用离线数据集对所述概要纠错模型进行预先训练。
43、通过客户端-服务端方式采用预训练后的概要纠错模型在线重构概要的数据流序列，并根据客户端的概要信息，对概要纠错模型进行微调。本文档来自技高网...
【技术保护点】
1.一种基于超分辨率的概要纠错方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，构建概要，包括：
3.根据权利要求1所述的方法，其特征在于，构建基于超分辨率的概要纠错模型为基于自注意力编码器的数据流概要的超分辨率重建模型；所述超分辨率重建模型包括输入层、隐含层以及输出层；
4.根据权利要求3所述的方法，其特征在于，所述隐含层包括：概要位置编码模块、概要自注意力模块以及概要编码器；
5.根据权利要求1所述的方法，其特征在于，采用离线数据集对所述概要纠错模型进行预先训练，包括：
6.根据权利要求1所述的方法，其特征在于，通过客户端-服务端方式采用预训练后的概要纠错模型在线重构概要的数据流序列，并根据客户端的概要信息，对概要纠错模型进行微调，包括：
7.根据权利要求1所述的方法，其特征在于，采用客户端-服务端方式进行模型部署，包括：
8.一种基于超分辨率的概要纠错装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种基于超分辨率的概要纠错方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，构建概要，包括：
3.根据权利要求1所述的方法，其特征在于，构建基于超分辨率的概要纠错模型为基于自注意力编码器的数据流概要的超分辨率重建模型；所述超分辨率重建模型包括输入层、隐含层以及输出层；
4.根据权利要求3所述的方法，其特征在于，所述隐含层包括：概要位置编码模块、概要自注意力模块以及概要编码器；
5.根据权利要求1所述的方法，其特征在于，采用离线数据集对所述概要纠错模型进行预先训练，包括：
6.根据权利要求1所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：符永铨，李东升，贾孟涵，姜晶菲，苏华友，王庆林，高蕾，乔鹏，许金伟，窦勇，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。