一种基于Transformer的超高分辨率图像计算方法技术

本发明专利技术提出了一种基于Transformer的超高分辨率图像计算方法，属于深度学习技术领域，用于实现超高分辨率图像的人工智能计算。该方法可以将具有较大分辨率的图像切分并转换成统一的数据类型，在保存原有数据的空间或时间位置信息的同时采用Transformer编码器完成计算。极大的解决了由于图像分辨率过大而导致的中间特征数据巨多的问题，降低了对于硬件的要求也提高计算效率；通过Transformer的自注意力机制和位置嵌入方法，在提高特征提取能力的同时关注特征位置信息，实现了面向超高分辨率图像的人工智能计算；具备较高的适用性，可适用于任意分辨率的图像。用于任意分辨率的图像。用于任意分辨率的图像。

【技术实现步骤摘要】
一种基于Transformer的超高分辨率图像计算方法


[0001]本专利技术涉及深度学习
，尤其涉及一种基于Transformer的超高分辨率图像计算方法。

技术介绍

[0002]近年来，随着卫星图像遥感、视频编码通信等领域的发展及高清设备的普及，图像分辨率极大提高且数量急剧增多，超高分辨率图像计算成为图像处理领域一个非常重要的研究问题，而在计算机视觉方面，卷积神经网络算法仍然占据主导地位。卷积神经网络具有局部敏感、平移不变等特点，能高效的提取图像的局部特征，但无法获得不同局部特征之间的相关特征(如卷积神经网络可以获取人脸的“眼睛”、“鼻子”、“嘴巴”等局部特征，但无法获取“眼睛在鼻子上方”和“鼻子在嘴巴上方”等相关特征，卷积神经网络仍然会把“鼻子在眼睛上方”的图视为人脸)，缺少对图像的整体感知和宏观理解。
[0003]同时，超高分辨率的图像数据往往会给计算带来更大挑战。例如，对于8192x8192的超高分辨率图像来说，神经网络算法计算产生的中间数据数量十分庞大，这对神经网络算法的计算硬件有着非常高的要求，在执行过程中有可能因为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的超高分辨率图像计算方法，用于将具有超高分辨率的图像切分并转换成统一的数据类型，通过位置编码的方式保存原有数据的空间或时间位置信息，最终通过Transformer编码器完成计算；其特征在于，具体包括以下步骤：步骤1，对图像数据进行数值归一化、数据维度归一化和序列化，将超高分辨率图像变成神经网络输入所需的一维数据；步骤2，将N比特的位置编码数据附加到每份1维数据中；步骤3，采用Transformer编码器依次对N份1维数据进行计算，每次完成一个1维数据的计算得到1个编码结果；N次计算获得N个编码结果，每个编码结果均是1维数据；以N份1维数据进行输入，以自注意力机制辅助前馈神经网络进行信息的映射转换，提取图像数据特征信息；步骤4，将所得图像数据特征信息输入到全连接神经网络进行计算，通过前向传播和反向传播，不断迭代，获取最终解。2.根据权利要求1所述的一种基于Transformer的超高分辨率图像计算方法，其特征在于，维度归一化数据是1维数据，超高分辨率图像数据为任意维度的数据，超高分辨率图像数据转换为统一的维度归一化数据的方法具体过程如下：步骤1，从原始数据的第0维的第0个数开始读取原始数据，并把该数据存入维度归一化数据的第0个数；步骤2，按照数字顺序依次遍历；步骤3，从下一维度的第0个数继续读取，直到所...

【专利技术属性】
技术研发人员：梁栋，常迎辉，武唯康，沈贵元，李斌，李思雨，张宏科，朱莹莹，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：