本申请公开了一种图像重建方法、装置、设备、存储介质及计算机程序产品，涉及计算机技术领域。该方法包括：获取目标时刻对应的目标粗略图像数据、第一时刻的第一参考图像数据和第二参考图像数据，以及第二时刻的第三参考图像数据和第四参考图像数据；对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，提高了图像重建的效率和准确性。提高了图像重建的效率和准确性。提高了图像重建的效率和准确性。
【技术实现步骤摘要】
图像重建方法、装置、设备、存储介质及计算机程序产品
[0001]本申请涉及计算机
，特别涉及一种图像重建方法、装置、设备、存储介质及计算机程序产品。
技术介绍
[0002]图像超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，在视频、遥感、医学和安全监测等领域具都有十分重要的应用，在游戏领域，也使用图像超分辨率重建技术追求更高分辨率的画质，使用户获得更加流畅的体验。
[0003]相关技术中，使用神经网络对目标图像进行统一优化，基于神经网络，使用基于插值，或基于正则化，或基于学习的方法，从多张给定的低分辨率目标图像中重建出相应的高分辨率图像。
[0004]然而，上述方法中的神经网络往往基于全局对所有目标图像进行无差别的统一优化，该过程计算量庞大，需要消耗大量CPU(中央处理器，Central Processing Unit)或GPU(图形处理器，Graphics Processing Unit)资源，降低了硬件性能。
技术实现思路
[0005]本申请实施例提供了一种图像重建方法、装置、设备、存储介质及计算机程序产品，能够对低分辨率的粗略图像进行重建得到对应的精细图像。所述技术方案如下。
[0006]一方面，提供了一种图像重建方法，所述方法包括：
[0007]获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
[0008]获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
[0009]对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
[0010]基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
[0011]另一方面，提供了一种图像重建装置，所述装置包括：
[0012]纹理资源获取模块，用于获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；
[0013]参考图像获取模块，用于获取所述目标时刻之前的第一时刻的第一参考图像数据
和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；
[0014]双分支编码模块，用于对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；
[0015]精细图像重建模块，用于基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。
[0016]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的图像重建方法。
[0017]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的图像重建方法。
[0018]另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像重建方法。
[0019]本申请实施例提供的技术方案带来的有益效果至少包括：
[0020]通过获取目标粗略图像对应目标时刻前后的参考图像，并分别确定目标时刻前后时刻参考图像中的精细图像作为第一时刻的第一精细图像和第二时刻的第二精细图像，通过编码融合，将第一精细图像和第二精细图像中包含的对应时刻与目标粗略图像相似的高分辨率图像特征，用于目标粗略图像的重建，使重建过程高效且准确，从而降低了CPU或GPU资源的消耗，提高了硬件性能。
附图说明
[0021]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本申请一个示例性实施例提供的实施环境示意图；
[0023]图2是本申请一个示例性实施例提供的图像重建方法流程图；
[0024]图3是本申请一个示例性实施例提供的双分支图像重建结构示意图；
[0025]图4是本申请一个示例性实施例提供的编码融合的流程图；
[0026]图5是本申请一个示例性实施例提供的融合编码模型示意图；
[0027]图6是本申请一个示例性实施例提供的融合编码模型结构示意图；
[0028]图7是本申请一个示例性实施例提供的融合特征提取的流程图；
[0029]图8是本申请一个示例性实施例提供的反馈机制流程图；
[0030]图9是本申请一个示例性实施例提供的损失度计算流程图；
[0031]图10是本申请一个示例性实施例提供的反馈机制模型示意图；
[0032]图11是本申请一个示例性实施例提供的图像重建装置的结构框图；
[0033]图12是本申请一个示例性实施例提供的图像重建装置模块的结构框图；
[0034]图13是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
[0035]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0036]应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像重建方法，其特征在于，所述方法包括：获取目标时刻对应的纹理资源数据，所述纹理资源数据对应所述目标时刻的目标粗略图像数据；获取所述目标时刻之前的第一时刻的第一参考图像数据和第二参考图像数据，所述第一参考图像数据对应的分辨率与所述第二参考图像数据对应的分辨率不同；以及，获取所述目标时刻之后的第二时刻的第三参考图像数据和第四参考图像数据，所述第三参考图像数据对应的分辨率与所述第四参考图像数据对应的分辨率不同；对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果；以及，对所述第三参考图像数据、所述第四参考图像数据和所述目标粗略图像数据进行第二分支编码，得到第二编码结果；基于所述第一编码结果和所述第二编码结果的融合结果，对所述目标粗略图像数据进行重建，得到目标精细图像数据，所述目标精细图像数据对应的分辨率高于所述目标粗略图像数据对应的分辨率。2.根据权利要求1所述的方法，其特征在于，所述对所述第一参考图像数据、所述第二参考图像数据和所述目标粗略图像数据进行第一分支编码，得到第一编码结果，包括：对所述第一参考图像数据和所述第二参考图像数据进行编码过滤，从所述第一参考图像数据和所述第二参考图像数据中确定分辨率高的第一精细图像数据；对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果。3.根据权利要求2所述的方法，其特征在于，所述对所述第一精细图像数据和所述目标粗略图像数据进行融合编码，得到所述第一编码结果，包括：对所述目标粗略图像数据进行特征提取，得到目标纹理特征表示；对所述目标粗略图像数据和所述第一精细图像数据进行融合特征关系提取，得到融合特征表示；对所述目标纹理特征表示和所述融合特征表示进行融合，得到所述第一编码结果。4.根据权利要求3所述的方法，其特征在于，所述对所述目标粗略图像数据和所述第一精细图像数据进行融合特征关系提取，得到融合特征表示，包括：对所述目标粗略图像数据进行上采样后特征提取，得到目标上采样特征表示；对所述第一精细图像数据进行特征提取，得到精细纹理特征表示；对所述第一精细图像数据进行下采样和上采样后特征提取，得到采样纹理特征表示；提取所述目标上采样特征表示、所述精细纹理特征表示和所述采样纹理特征表示之间的相关性，得到所述融合特征表示。5.根据权利要求4所述的方法，其特征在于，所述提取所述目标上采样特征表示、所述精细纹理特征表示和所述采样纹理特征表示之间的相关性，得到所述融合特征表示，包括：对所述采样纹理特征表示和所述目标上采样特征表示进行相关性嵌入，得到嵌入特征表示；对所述精细纹理特征表示和所述嵌入特征表示进行注意力分析，得到所述融合特征表示。6.根据权利要求5所述的方法，其特征在...
【专利技术属性】
技术研发人员：徐东，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。