一种基于加速优化和注意力机制的图像重建方法及装置制造方法及图纸

本说明书公开了一种基于加速优化和注意力机制的图像重建方法及装置，对根据传统图像重建算法构建的低秩矩阵补全目标函数中的迭代过程，应用深度展开网络进行了优化，并在优化过程中，引入辅助加速变量。在每一轮迭代过程中，根据上一轮迭代过程的输出图像和辅助加速变量，确定该轮迭代过程的输出图像，根据该轮迭代过程的输出图像和上一轮迭代过程的辅助加速变量，确定该轮迭代过程的辅助变量，根据该轮迭代过程和上一轮迭代过程的辅助变量，确定该轮迭代过程的辅助加速变量。这样，相邻两轮的辅助加速变量之间没有直接的关联，加快了迭代的速度，使得该方法在保证图像重建精准度的同时，进一步提高了图像重建的效率。进一步提高了图像重建的效率。进一步提高了图像重建的效率。

【技术实现步骤摘要】
一种基于加速优化和注意力机制的图像重建方法及装置


[0001]本说明书涉及计算机
，尤其涉及一种基于加速优化和注意力机制的图像重建方法及装置。

技术介绍

[0002]随着社会的进步和科学技术的发展,人类社会每天会产生大量的图像。然而，在图像的产生和传输过程中，都会不可避免地出现图像清晰度下降、对比度偏低和包含噪声等降质现象，这对图像的后续分析产生很大影响，我们需要对降质图像进行图像重建以优化图像质量。
[0003]在现有技术中，在处理降质图像重建问题时，有基于先验约束的图像重建方法，是首先利用先验知识构建先验约束，然后利用先验约束来对待重建图像进行图像重建，但是，这种方法需要大量的先验信息作为训练数据才能达到较好的图像重建效果，一种高速率、高质量的图像处理算法的发现是一个亟待解决的问题。
[0004]本说明书提供了一种基于深度展开网络的优化算法来解决图像的修复重建问题，能够在较小的训练代价下实现较高性能。

技术实现思路

[0005]本说明书提供一种基于加速优化和注意力机制的图像重建方法及装置，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了一种基于加速优化和注意力机制的图像重建方法，包括：
[0008]获取待重建图像，根据所述待重建图像，构建待优化的低秩矩阵补全目标函数，所述低秩矩阵补全目标函数用于表征重建后图像与所述待重建图像的关系；
[0009]对所述低秩矩阵补全目标函数进行迭代优化，针对所述低秩矩阵补全目标函数的每轮迭代过程，基于交替方向乘子法，确定求解所述低秩矩阵补全目标函数所需的辅助变量，并确定所述辅助变量对应的辅助加速变量；
[0010]基于深度展开网络，通过所述低秩矩阵补全目标函数，构建图像重建模型；
[0011]将该轮迭代过程的输入图像以及上一轮迭代过程的辅助加速变量输入所述图像重建模型，对所述输入图像进行特征提取，得到第一特征，对所述辅助加速变量进行特征提取，得到第二特征；
[0012]对所述第一特征和所述第二特征进行叠加得到融合特征，并对所述融合特征进行注意力加权，得到该轮迭代过程的输出图像；根据该轮迭代过程的输出图像和所述上一轮迭代过程的辅助加速变量，确定该轮迭代过程的辅助变量；根据该轮迭代过程和所述上一轮迭代过程确定的辅助变量，确定该轮迭代过程的辅助加速变量，用于下一轮迭代过程；
[0013]将所述该轮迭代过程得到的输出图像和确定出的该轮迭代过程的辅助加速变量，作为所述图像重建模型的下一轮输入，继续迭代优化直至达到指定迭代次数，将最后一轮
迭代得到的输出图像作为重建图像。
[0014]可选地，根据所述待重建图像，构建待优化的低秩矩阵补全目标函数，具体包括：
[0015]对所述待重建图像进行重建分析，确定所述待重建图像对应的掩码，所述掩码标识所述待重建图像中需要进行图像重建的部分；
[0016]根据预设的重建图像的约束条件，确定先验正则项；
[0017]基于所述先验正则项，以所述待重建图像中需要进行图像重建的部分的调整最小为目标，构建待优化的低秩矩阵补全目标函数。
[0018]可选地，基于交替方向乘子法，确定求解所述低秩矩阵补全目标函数所需的辅助变量，并确定所述辅助变量对应的辅助加速变量，具体包括：
[0019]基于交替方向乘子法，根据所述低秩矩阵补全目标函数，构建所述低秩矩阵补全目标函数对应的增广拉格朗日函数；
[0020]根据所述增广拉格朗日函数，确定求解所述低秩矩阵补全模型的辅助变量；
[0021]根据所述辅助变量，初始化得到所述辅助变量对应的辅助加速变量；
[0022]根据所述辅助变量和拉格朗日乘数的更新速率，确定所述辅助变量对应的辅助加速变量。
[0023]可选地，所述辅助变量包括第一辅助变量和第二辅助变量，所述第一辅助变量和第二辅助变量的函数表达式由所述增广拉格朗日函数分离得出；
[0024]确定求解所述低秩矩阵补全目标函数所需的辅助变量，并确定所述辅助变量对应的辅助加速变量，并确定所述辅助变量对应的辅助加速变量，具体包括：
[0025]根据该轮迭代过程的输出图像和上一轮迭代过程的第二辅助变量，确定该轮迭代过程的第一辅助变量；
[0026]根据该轮迭代过程的输出图像、上一轮迭代过程的第二辅助变量、以及该轮迭代过程的第一辅助变量，确定该轮迭代过程的第二辅助变量；
[0027]根据该轮迭代过程和上一轮迭代过程的第一辅助变量，确定该轮迭代过程的第一辅助加速变量；
[0028]根据该轮迭代过程和上一轮迭代过程的第二辅助变量，确定该轮迭代过程的第二辅助加速变量。
[0029]可选地，所述图像重建模型至少包括：特征提取子网、注意力加权子网和去噪子网；
[0030]将该轮迭代过程的输入图像以及上一轮迭代过程的辅助加速变量输入所述图像重建模型，对所述输入图像进行特征提取，得到第一特征，对所述辅助加速变量进行特征提取，得到第二特征，具体包括：
[0031]将该轮迭代过程的输入图像输入所述图像重建模型，通过所述特征提取子网，对所述输入图像进行特征提取，得到第一特征；
[0032]将该轮迭代过程的第一辅助加速变量和第二辅助加速变量进行加和，得到合成变量，通过所述特征提取子网，对所述合成变量进行特征提取，得到第二特征。
[0033]可选地，对所述融合特征进行注意力加权，得到该轮迭代过程的输出图像，具体包括：
[0034]通过所述注意力加权子网，对所述融合特征进行注意力加权，得到该轮迭代过程
的输出图像。
[0035]可选地，根据该轮迭代过程的输出图像和所述上一轮迭代过程的辅助加速变量，确定该轮迭代过程的辅助变量，具体包括：
[0036]对该轮迭代过程得到的输出图像和上一轮迭代过程的第二辅助加速变量进行加和，得到该轮迭代过程的第一辅助加和变量，将所述第一辅助加和变量输入所述去噪子网，确定该轮迭代过程的第一辅助变量；
[0037]对上一轮迭代过程的第二辅助加速变量、该轮迭代过程得到的输出图像、以及确定出的该轮迭代过程的第一辅助变量进行叠加，得到该轮迭代过程的第二辅助叠加变量，将所述第二辅助叠加变量通过注意力加权子网，确定该轮迭代过程的第二辅助变量。
[0038]可选地，根据该轮迭代过程和上一轮迭代过程中确定的辅助变量，确定该轮迭代过程的辅助加速变量，具体包括：
[0039]对该轮迭代过程和上一轮迭代过程的第一辅助变量进行叠加，得到该轮迭代过程的第一加速叠加变量，将所述第一加速叠加变量通过注意力加权子网，确定该轮迭代过程的第一辅助加速变量；
[0040]对该轮迭代过程和上一轮迭代过程的第二辅助变量进行叠加，得到该轮迭代过程的第二加速叠加变量，将所述第二加速叠加变量通过注意力加权子网，确定该轮迭代过程的第二辅助加速变量。
[0041]可选地，所述特征提取子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于加速优化和注意力机制的图像重建方法，其特征在于，包括：获取待重建图像，根据所述待重建图像，构建待优化的低秩矩阵补全目标函数，所述低秩矩阵补全目标函数用于表征重建后图像与所述待重建图像的关系；对所述低秩矩阵补全目标函数进行迭代优化，针对所述低秩矩阵补全目标函数的每轮迭代过程，基于交替方向乘子法，确定求解所述低秩矩阵补全目标函数所需的辅助变量，并确定所述辅助变量对应的辅助加速变量；基于深度展开网络，通过所述低秩矩阵补全目标函数，构建图像重建模型；将该轮迭代过程的输入图像以及上一轮迭代过程的辅助加速变量输入所述图像重建模型，对所述输入图像进行特征提取，得到第一特征，对所述辅助加速变量进行特征提取，得到第二特征；对所述第一特征和所述第二特征进行叠加得到融合特征，并对所述融合特征进行注意力加权，得到该轮迭代过程的输出图像；根据该轮迭代过程的输出图像和所述上一轮迭代过程的辅助加速变量，确定该轮迭代过程的辅助变量；根据该轮迭代过程和所述上一轮迭代过程确定的辅助变量，确定该轮迭代过程的辅助加速变量，用于下一轮迭代过程；将所述该轮迭代过程得到的输出图像和确定出的该轮迭代过程的辅助加速变量，作为所述图像重建模型的下一轮输入，继续迭代优化直至达到指定迭代次数，将最后一轮迭代得到的输出图像作为重建图像。2.如权利要求1所述的方法，其特征在于，根据所述待重建图像，构建待优化的低秩矩阵补全目标函数，具体包括：对所述待重建图像进行重建分析，确定所述待重建图像对应的掩码，所述掩码标识所述待重建图像中需要进行图像重建的部分；根据预设的重建图像的约束条件，确定先验正则项；基于所述先验正则项，以所述待重建图像中需要进行图像重建的部分的调整最小为目标，构建待优化的低秩矩阵补全目标函数。3.如权利要求1所述的方法，其特征在于，基于交替方向乘子法，确定求解所述低秩矩阵补全目标函数所需的辅助变量，并确定所述辅助变量对应的辅助加速变量，具体包括：基于交替方向乘子法，根据所述低秩矩阵补全目标函数，构建所述低秩矩阵补全目标函数对应的增广拉格朗日函数；根据所述增广拉格朗日函数，确定求解所述低秩矩阵补全模型的辅助变量；根据所述辅助变量，初始化得到所述辅助变量对应的辅助加速变量；根据所述辅助变量和拉格朗日乘数的更新速率，确定所述辅助变量对应的辅助加速变量。4.如权利要求1所述的方法，其特征在于，所述辅助变量包括第一辅助变量和第二辅助变量，所述第一辅助变量和第二辅助变量的函数表达式由增广拉格朗日函数分离得出；确定求解所述低秩矩阵补全目标函数所需的辅助变量，并确定所述辅助变量对应的辅助加速变量，并确定所述辅助变量对应的辅助加速变量，具体包括：根据该轮迭代过程的输出图像和上一轮迭代过程的第二辅助变量，确定该轮迭代过程的第一辅助变量；根据该轮迭代过程的输出图像、上一轮迭代过程的第二辅助变量、以及该轮迭代过程
的第一辅助变量，确定该轮迭代过程的第二辅助变量；根据该轮迭代过程和上一轮迭代过程的第一辅助变量，确定该轮迭代过程的第一辅助加速变量；根据该轮迭代过程和上一轮迭代过程的第二辅助变量，确定该轮迭代过程的第二辅助加速变量。5.如权利要求1所述的方法，其特征在于，所述图像重建模型至少包括：特征提取子网、注意力加权子网和去噪子网；将该轮迭代过程的输入图像以及上一轮迭代过程的辅助加速变量输入所述图像重建模型，对所述输入图像进行特征提取，得到第一特征，对所述辅助加速变量进行特征提取，得到第二特征，具体包括：将该轮迭代过程的输入图像输入所述图像重建模型，通过所述特征提取子网，对所述输入图像进行特征提取，得到第一特征；将该轮迭代过程的第一辅助加速变量和第二辅助加速变量进行加和，得到合成变量，通过所述特征提取子网，对所述合成变量进行特征提取，得到第二特征。6.如权利要求5所述的方法，其特征在于，对所述融合特征进行注意力加权，得到该轮迭代过程的输出图像，具体包括：通过所述注意力加权子网，对所述融合特征进行注意力加权，得到该轮迭代过程的输出图像。7.如权利要求5所述的方法，其特征在于，根据该轮迭代过程的输出图像和所述上一轮迭代过程的辅助加速变量，确定该轮迭代过程的辅助变量，具体包括：对该轮迭代过程得到的输出图像和上一轮迭代过程的第二辅助加速变量进行加和，得到该轮...

【专利技术属性】
技术研发人员：秦梦洁，张春龙，宛敏红，李特，
申请(专利权)人：之江实验室，
类型：发明
国别省市：