本发明专利技术实施例公开了一种超分辨率图像重建方法、装置、存储介质和电子设备，通过将低分辨率图像输入第一卷积层确定浅层特征图像序列，在将浅层特征图像输入多个顺序连接的特征提取模块，以确定多个对应的中间特征图像序列。根据各中间特征图像序列确定输入第一注意力模块的中间特征矩阵得到第一深层特征图像序列，以及输入第二注意力模块的第一中间图像序列得到第二深层特征图像序列。最后根据浅层特征图像序列和各深层特征图像序列确定高分辨率图像。本发明专利技术实施例可以通过超分辨率图像重建将低分辨率图像转换为高分辨率图像。同时，由于图像重建过程对中间层特征的重要性进行区分并加以利用，提高了输出的高分辨率图像的精度。的精度。的精度。
【技术实现步骤摘要】
超分辨率图像重建方法、装置、存储介质和电子设备
[0001]本专利技术涉及计算机
，尤其涉及一种超分辨率图像重建方法、装置、存储介质和电子设备。
技术介绍
[0002]目前图像技术被广泛应用于各个领域，但当图像采集环境恶劣等情况下采集的图像分辨率过低时，无法直接使用。需要将低分辨率图像转换为高分辨率图像后使用。
技术实现思路
[0003]有鉴于此，本专利技术实施例提供了一种超分辨率图像重建方法、装置、存储介质和电子设备，旨在通过超分辨率图像重建方法将低分辨率图像转换为高分辨率图像。
[0004]第一方面，本专利技术实施例提供了一种超分辨率图像重建方法，所述方法包括：
[0005]将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；
[0006]将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；
[0007]根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；
[0008]将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；
[0009]将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；
[0010]根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。
[0011]第二方面，本专利技术实施例提供了一种超分辨率图像重建装置，所述装置包括：
[0012]第一特征提取单元，用于将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；
[0013]第二特征提取单元，用于将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；
[0014]中间图像确定单元，用于根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；
[0015]第一深层特征确定单元，用于将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；
[0016]第二深层特征确定单元，用于将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；
[0017]高分辨率图像确定单元，用于根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。
[0018]第三方面，本专利技术实施例提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
[0019]第四方面，本专利技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器
用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
[0020]本专利技术实施例通过将低分辨率图像输入第一卷积层确定浅层特征图像序列，在将浅层特征图像输入多个顺序连接的特征提取模块，以确定多个对应的中间特征图像序列。根据各中间特征图像序列确定输入第一注意力模块的中间特征矩阵得到第一深层特征图像序列，以及输入第二注意力模块的第一中间图像序列得到第二深层特征图像序列。最后根据浅层特征图像序列和各深层特征图像序列确定高分辨率图像。本专利技术实施例可以通过超分辨率图像重建将低分辨率图像转换为高分辨率图像。同时，由于图像重建过程对中间层特征的重要性进行区分并加以利用，提高了输出的高分辨率图像的精度。
附图说明
[0021]通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：
[0022]图1为本专利技术实施例的超分辨率图像重建方法的流程图；
[0023]图2为本专利技术实施例的超分辨率图像重建方法过程的示意图；
[0024]图3为本专利技术实施例的中间特征图像序列确定过程的示意图；
[0025]图4为本专利技术实施例的第一深层特征图像序列确定过程的示意图；
[0026]图5为本专利技术实施例的第二深层特征图像序列确定过程的示意图；
[0027]图6为本专利技术实施例的超分辨率图像重建装置的示意图；
[0028]图7为本专利技术实施例的电子设备的示意图。
具体实施方式
[0029]以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
[0030]此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
[0031]除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
[0032]在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0033]本专利技术实施例的超分辨率图像重建方法可以通过安装预先训练得到的图像重建框架的终端设备或服务器实现，即通过终端设备或服务器将待处理的低分辨率图像输入图像重建模型框架，得到对应的高分辨率图像。其中，所述图像重建框架为用于执行所述超分辨率图像重建方法的框架，包括多个卷积层和特征提取模块，以及第一注意力模块和第二注意力模块。所述终端设备可以是能够运行计算机程序的、具有通信功能通用数据处理终端，例如，智能手机、平板电脑或笔记本电脑等。所述服务器可以是单个服务器、也可以是以
分布式方式配置的服务器集群。所述低分辨率图像可以通过终端设备上设置的或与服务器连接的图像采集装置获取，也可以通过其他设备向部署有所述图像重建框架的终端设备或服务器传输，以通过所述终端设备或服务器进行图像重建。
[0034]图1为本专利技术实施例的超分辨率图像重建方法的流程图。如图1所示，所述超分辨率图像重建方法包括以下步骤：
[0035]步骤S100、将低分辨率图像输入第一卷积层，以确定浅层特征图像序列。
[0036]具体地，所述低分辨率图像可以通过终端设备上安装或连接的图像采集装置直接采集获取，或通过进行超分辨率图像重建的服务器或中断设备连接的图像采集装置直接采集获取。例如，当所述终端设备为笔记本电脑时，可以通过所述笔记本电脑内置的摄像头或连接的摄像装置采集低分辨率图像。可选地，所述低分辨率图像还可以通过其他设备向进行超分辨率图像重建处理的终端设备或服务器传输。例如，可以通过带有通信功能的图像存储装置将存储的低分辨率图像传输至终端设备或服务器进行超分辨率图像重建。以下以所述低分辨率图像通过部署有图像重建框架的服务器进行超分辨率图像重建为例进行说明。
[0037]所述服务器在确定了低分辨率图像后，将所述低分辨率图像输入所述图像重建框架的第一卷积层(CNN)，以进行初步的特征提取得到浅层特征图像序列本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种超分辨率图像重建方法，其特征在于，所述方法包括：将低分辨率图像输入第一卷积层，以确定浅层特征图像序列；将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列；根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列；将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列；将所述第一中间图像序列输入第二注意力模块，以确定第二深层特征图像序列；根据所述浅层特征图像序列、第一深层特征图像序列和第二深层特征图像序列确定高分辨率图像。2.根据权利要求1所述的方法，其特征在于，所述将所述浅层特征图像输入多个顺序连接的特征提取模块，以确定各所述特征提取模块对应的中间特征图像序列具体为：将所述浅层特征图像序列作为初始输入，以迭代方式通过各所述特征提取模块进行多次特征提取，确定各所述特征提取模块对应的中间特征图像序列；其中，每一个特征提取模块输出的中间特征图像序列作为下一个特征提取模块的输入。3.根据权利要求2所述的方法，其特征在于，所述特征提取模块中包括多个顺序连接的残差通道注意力层和一个第二卷积层；所述通过各所述特征提取模块进行特征提取包括：将当前特征提取模块的输入按顺序依次输入各所述残差通道注意力层和第二卷积层，所述当前特征提取模块的输入为所述浅层特征图像序列或前一个特征提取模块输出的中间特征图像序列；根据所述当前特征提取模块的输入和所述第二卷积层的输出确定对应的中间特征图像序列。4.根据权利要求1所述的方法，其特征在于，所述根据各所述中间特征图像序列确定中间特征矩阵和第一中间图像序列包括：根据各所述中间特征图像序列确定中间特征矩阵；根据最后一个特征提取模块对应的中间特征图像序列确定第一中间图像序列。5.根据权利要求4所述的方法，其特征在于，所述根据各所述中间特征图像序列确定中间特征矩阵具体为：拼接各所述中间特征图像序列，以确定所述中间特征矩阵。6.根据权利要求4所述的方法，其特征在于，所述根据最后一个特征提取模块对应的中间特征图像序列确定第一中间图像序列具体为：将最后一个特征提取模块对应的中间特征图像序列输入第三卷积层，以确定第一中间图像序列。7.根据权利要求1所述的方法，其特征在于，所述将所述中间特征矩阵输入第一注意力模块，以确定第一深层特征图像序列包括：对所述中间特征矩...
【专利技术属性】
技术研发人员：赵元，任文琦，牛犇，温伟磊，王培阳，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。