【技术实现步骤摘要】
本专利技术涉及一种基于transformer时序预测抵消通信延迟的方法，属于人工智能无线通信领域。
技术介绍
0、技术背景
1、随着时代的发展，科学技术呈现爆炸式飞跃式发展，传统无线通信逐渐面临越来越严重的频谱资源压力。在会随机发生误码的信道上进行无差错传输的最大传输速率是有限的，香农极限的约束下，传统的网络通信方式已经无法满足人们对于更快、更多。更强的通信需求。同时人工智能领域取得的引人注目的成就，很好的为通信领域带来了补充，不仅提高了通信的效率，也改变了人们的通信方式。语义通信是人工智能与传统通信技术结合的产物，在面对日益膨胀的通信数据时有不可限量的潜力。
2、与传统的通信技术相比，语义通信尚且处在研究的起步阶段，科学家和工程师目前都在探索此领域的发展可能，并且在文本模态端到端语义通信、图片模态端到端语义通信、视频模态端到端语义通信、多模态端到端语义通信、语义通信资源分布方面的研究与应用上都取得一定成果。但是目前而言，没有研究对于语义通信与时序预测相结合。时序预测技术在多个领域都取得了一定成效，通信领域中利用时序预测抵消时延也是首创。传统通信技术的传输速率存在极限，无法根本意义上解决传输时延。
3、因此，本专利技术提出一种基于transformer深度神经网络的时序预测抵消通信时延的方法，该方法针对6g通信数据语义存在某种可预测时序规律的通信场景。
技术实现思路
1、传统通信过程，信息由信源产生经过编码、传输、译码、到达信宿，每一步过程都需要
2、为了达到上述目的，本专利技术采用如下技术方案实现：
3、本专利技术公开的一种基于transformer时序预测抵消通信延迟方法，包括以下步骤：
4、步骤一：数据集使用碰撞球数据集。碰撞球数据集中有一系列图片表示各个小球之间的碰撞。预处理时序模型训练数据，图片数据在送入时序预测模型训练之前需要完成预处理，预处理步骤有数据清洗、数据转换和数据规约三个步骤。数据清洗是数据预处理的第一步，主要是为了处理原始数据中存在的错误、缺失、重复、异常问题。第二步数据转换是将原始数据转换成适合分析的格式或形式的过程。第三步数据规约是将数据集中的数据缩减到预设合理的范围内，以便于分析和处理。图片数据完成预测处理之后用于后续步骤二时序预测模型训练。
5、步骤二：构建时序预测模型，所述时序预测模型基于神经元模型构建，包括注意力机制模块、全连接层、卷积层、lstm。将数据输入稀疏注意力机制层，稀疏注意力机制选择将信息传入部分lstm模型，将lstm输出送入全连接层。
6、稀疏注意力模块即在注意力机制的基础上，在传输至下一层网络层时，仅传输稀疏注意力机制得分最高的数据，激活稀疏注意力机制得分最高的数据后连接的lstm结构。稀疏注意力模块选择性的启动后续lstm结构，不同任务启动不同lstm结构增强模型多任务泛化性。lstm结构，使用lstm结构获得图片数据中的时序信息学习其中的时序规律，在lstm结构之后为全连接层用于汇总前述结构中的所有信息。
7、神经元模型为
8、
9、其中：sk为外部输入信号，yk为输出信号，xj为输入信号；wki表示神经元k的连接权值；θk为阈值；为非线性函数。多个神经元模型并联构成全连接层。基于神经元模型构建的神经网络的输入维度对应输入信号。输出节点数还有激活函数，归一化函数处理。
10、神经网络的连接模式，包括输入节点数即输入维度、全连接层数即layer层数，全连接层与其他结构共同工作、输出节点数。神经网络结构的构造含有更多复杂的模块，神经网络的主要结构为transformer结构，transformer是应用注意力机制构造的结构，注意力机制模块的输入向量能够计算出相关的qkv向量，将query和key之间两两计算相似度，依据相似度对各个value进行加权，使用qkv向量之间的相似度加权计算各个输入向量之间的相似关系。attention结构用于关注数据中前后文关系，通过attention结构加强各个分量之间的相关性。
11、
12、其中：q为query矩阵，k为key矩阵，v为value矩阵，dk缩放系数。
13、初始化权重参数由0到1随机初始化各个神经元权重。通过前向传播算法将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止，前向传播为从输入到输出的计算过程。前向传播拟合目标函数，前向传播拟合的为时序预测模型的预测函数。
14、
15、
16、
17、由此得到的输出结构为
18、
19、其中a11，a12，a13为神经元计算输出，x1，x2为神经元输入，w为计算权重，
20、实现优化参数值的损失函数，用于比较神经网络输出结果与训练数据的拟合程度，通过神经网络训练以数据驱动。数据内含的拟合和分类规律，是神经网络训练的目标。损失函数用于计算神经网络结果与实际训练数据距离。mse均方误差损失函数为
21、jmse＝1/2|y-y^|2
22、其中y为数据集中标签值，y^为神经网络计算结果。
23、实现反向传播算法计算与每个节点相关的梯度向量。反向传播算法在前向传播算法的基础上，从神经网络的输出层向输入层依次计算损失函数对于各个参数的梯度，并在给定学习率下更新相关参数。使用梯度下降或带有反向传播的优化方法来尝试最小化作为参数或权重函数的损失函数。
24、
25、
26、其中：σ1到σ9是损失函数对对应参数求导后得到的梯度即斜率，依据该值即可修正神经网络中的参数：
27、
28、其中：η是学习率，即沿着梯度即斜率的方向更新参数。利用前向传播算法和反向传播算法不断更新损失函数的值和参数，直到损失函数下降到指定的阈值即或者最小值，即完成时序预测模型的训练。
29、步骤三：将训练完成的时序预测模型传输至信宿以供信宿使用。
30、步骤四：语义通信即sc semantic communications为信宿提供从信源中提取的语义信息，语义信息传播至信宿，由于语义信息高度提炼信息，语义译码器通过语义信息恢复未进行语义编码之前的原始信息，以最大化无线网络中的信息传输吞吐量，超出理论容量限制。语义编码器用于将图像转换为连续向量表示的模型。所述向量表示能够捕捉图像的语义信息，使得语义编码器更好地理解和处理图像数据。语义编码器通过词语对信息进行处理，根据含义进行分类，或者以预本文档来自技高网...
【技术保护点】
1.一种基于Transformer时序预测抵消通信延迟方法，其特征在于：包括以下步骤，
2.如权利要求1所述的一种基于Transformer时序预测抵消通信延迟方法，其特征在于：步骤四中，
3.如权利要求2所述的一种基于Transformer时序预测抵消通信延迟方法，其特征在于：步骤六中，
【技术特征摘要】
1.一种基于transformer时序预测抵消通信延迟方法，其特征在于：包括以下步骤，
2.如权利要求1所述的一种基于transformer时序预...
【专利技术属性】
技术研发人员：习旺，曹馨元，凌宇轩，陈灿，陈纪腾，郭兰图，潘健雄，叶能，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。