【技术实现步骤摘要】
本申请属于人工智能、深度学习等，具体涉及一种图像处理方法、模块、transformer模型及可读存储介质。
技术介绍
1、现有技术方案中，可以将transformer模型应用于图像处理领域。为了适配transformer模型对文本的处理，在利用transformer模型进行图像处理时，通常将待输入图像块中的像素由矩阵展平成一行向量后，输入transformer编码器进行后续的处理。这种情况下，由于图像中的单个像素所能表征的信息近乎为0，无法类比于文本中的字和词都携带了丰富的信息，将会造成图像处理效果较差。
技术实现思路
1、本申请实施例的目的是提供一种图像处理方法、模块、transformer模型及可读存储介质，以解决目前在利用transformer模型进行图像处理时的处理效果较差的问题。
2、为了解决上述技术问题，本申请是这样实现的：
3、第一方面，提供了一种图像处理方法，包括：
4、切分待处理图像，获得多个时域图像块；
5、将所述多个时域图像块变换为多个频域图像块；
6、从每个所述频域图像块中提取n个频域像素值，并利用所述n个频域像素值，获得目标向量，所述n等于transformer编码器的输入向量维度；
7、将所述目标向量输入所述transformer编码器进行处理。
8、作为一种可选的实施方式，所述将所述多个时域图像块变换为多个频域图像块，包括：
9、利用预设离散余弦变换公式，将
10、作为一种可选的实施方式，每个所述频域图像块中的每个频域像素包含相应时域图像块中的所有时域像素的信息。
11、作为一种可选的实施方式，所述从每个所述频域图像块中提取n个频域像素值，包括：
12、对每个所述频域图像块进行zigzag扫描，获得所述n个频域像素值。
13、作为一种可选的实施方式，所述从每个所述频域图像块中提取n个频域像素值，包括：
14、从每个所述频域图像块的低频部分中提取所述n个频域像素值。
15、第二方面，提供了一种图像处理模块，包括：
16、切分单元，用于切分待处理图像，获得多个时域图像块；
17、变换单元，用于将所述多个时域图像块变换为多个频域图像块；
18、提取单元，用于从每个所述频域图像块中提取n个频域像素值，并利用所述n个频域像素值，获得目标向量，所述n等于transformer编码器的输入向量维度；
19、输入单元，用于将所述目标向量输入所述transformer编码器进行处理。
20、作为一种可选的实施方式，所述变换单元具体用于：利用预设离散余弦变换公式，将所述多个时域图像块变换为所述多个频域图像块。
21、作为一种可选的实施方式，所述提取单元具体用于：对每个所述频域图像块进行zigzag扫描，获得所述n个频域像素值。
22、第三方面，提供了一种transformer模型，包括如第二方面所述的图像处理模块以及transformer编码器。
23、第四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
24、本申请实施例中，在切分待处理图像，获得多个时域图像块之后，可以将该多个时域图像块变换为多个频域图像块，从每个频域图像块中提取n个频域像素值，利用该n个频域像素值，获得目标向量，并将该目标向量输入transformer编码器进行处理。这样，由于频域图像块中的每个频域像素是对整个图像块对应频率的抽象，携带了丰富的信息，更接近自然语言处理中的文字或者单词，因此利用transformer编码器处理基于频域像素值得到的目标向量，可以提升图像处理效果。更进一步的，由于频率可以理解为频谱上的位置信息，因此变换的频域图像块天然携带位置信息，进而获得的目标向量在输入transformer编码器之前无需进行位置编码，从而能够简化图像处理过程，减少计算量。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述多个时域图像块变换为多个频域图像块，包括：
3.根据权利要求1或2所述的方法，其特征在于，每个所述频域图像块中的每个频域像素包含相应时域图像块中的所有时域像素的信息。
4.根据权利要求1或2所述的方法，其特征在于，所述从每个所述频域图像块中提取n个频域像素值，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述从每个所述频域图像块中提取n个频域像素值，包括：
6.一种图像处理模块，其特征在于，包括：
7.根据权利要求6所述的模块，其特征在于，
8.根据权利要求6所述的模块，其特征在于，
9.一种Transformer模型，其特征在于，包括如权利要求6至8中任一项所述的图像处理模块以及Transformer编码器。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述的图像处理方法的步骤。
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述多个时域图像块变换为多个频域图像块，包括：
3.根据权利要求1或2所述的方法，其特征在于，每个所述频域图像块中的每个频域像素包含相应时域图像块中的所有时域像素的信息。
4.根据权利要求1或2所述的方法，其特征在于，所述从每个所述频域图像块中提取n个频域像素值，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述从每个所述频域图像块中提取n个...
【专利技术属性】
技术研发人员：王斌，吴娜，冯俊兰，邓超，
申请(专利权)人：中国移动通信有限公司研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。