图像重建方法和装置制造方法及图纸

本发明专利技术实施例提供一种图像重建方法和装置。本发明专利技术的图像重建方法包括：利用主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。解决了PCA对神经信号进行图像重建时，重建出来的图像与真实图像相似度不高，且重建图像存在伪影的问题，提高了重建图像的准确性和清晰度。

Image Reconstruction Method and Device

【技术实现步骤摘要】
图像重建方法和装置
本专利技术实施例涉及图像处理技术，尤其涉及一种图像重建方法和装置。
技术介绍
从神经信号重建视觉感知物图像是当前国际上备受关注的前沿领域。这一技术结合机器学习相关方法，从被试者中采集到的功能性磁共振成像(functionalMagneticResonanceImaging，fMRI)信号中还原出其看到的物体。近几年来，人们从fMRI信号中重建出了图案、颜色、手写字体等物体，但是，这些物体以中、低级视觉特征为主，对于一些如人脸这样具有丰富的细节、高维度特征物体的重建的技术仍在起步阶段。目前，对于如人脸这样复杂的物体的重建，大多是采用主成分分析方法(PrincipalComponentAnalysis，PCA)，例如，使用PCA建立了人脸和看到该人脸所产生的神经信号之间的单一线性映射关系，并通过反向求解神经信号在人脸图像特征空间下的坐标，来实现人脸图像的重建。但是，使用PCA重建出来的图像与真实图像相似度不高。
技术实现思路
本专利技术实施例提供一种图像重建方法和装置，以得到与真实图像相似度高的重建图像。第一方面，本专利技术实施例提供一种图像重建方法，包括：利用主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。在一些实施例中，所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还包括：通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数；通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标；建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系；所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码，包括：根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。在一些实施例中，所述通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，包括：获取所述N张样本真实图像的平均图像；根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；获取所述第一矩阵的特征向量；根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数等于所述第一矩阵的列数；获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。在一些实施例中，所述根据所述第一矩阵的特征向量，获取第二矩阵，包括：按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵；根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大于等于1且小于等于N的整数。在一些实施例中，所述根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像之前，还包括：将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像；将所述每张样本真实图像对应的重建图像以及该样本真实图像分别输入生成式对抗网络中的图像判别模型，获取所述图像判别模型的输出结果；其中，所述输出结果中包括所述图像判别模型获得的所述每张样本真实图像的特征编码、所述每张样本真实图像对应的重建图像的特征编码；根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络；其中，所述预设的生成对抗网络包括更新后的图像生成模型和更新后的图像判别模型。在一些实施例中，所述根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络，包括：固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型；固定所述更新后的图像判别模型中的网络参数不变，根据所述图像判别模型的输出结果和第二预设损失函数，更新所述图像生成模型中的网络参数，获取更新后的图像生成模型。在一些实施例中，所述固定所述图像生成模型中的网络参数，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型的网络参数，获取更新后的图像判别模型，包括：固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数；当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。第二方面，本专利技术实施例提供一种图像重建装置，包括：获取模块，用于利用PCA获取待进行图像重建的神经信号的特征坐标；根据所述待进行图像重建的神经信号的特征坐标获取待进行图像重建的神经信号的特征编码，其中，所述特征编码用来表示所述待进行图像重建的神经信号对应的原始图像的特征，所述原始图像为通过视觉看到的物体的真实图像；重建模块，用于根据所述特征编码和训练后的生成式对抗网络对所述待进行图像重建的神经信号进行图像重建，获取重建后的图像。在一些实施例中，所述装置还包括：关联模块；所述获取模块在根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还用于：通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数；通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标；所述关联模块，用于建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系；所述获取模块根据所述神经信号的特征坐标，获取所述神经信号的特征编码时，具体用于：根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。在一些实施例中，所述获取模块通过PCA获取N张样本真实图像中每张样本真实图像的特征编码时，具体用于：获取所述N张样本真实图像的平均图像；根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；获取所述第一矩阵的特征向量；根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数等于所述第一矩阵的列数；获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。在一些实施例中，所述获取模块根据所述第一矩阵的特征向量，获取第二矩阵时，具体用于：按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵；根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大本文档来自技高网...

【技术保护点】
1.一种图像重建方法，其特征在于，包括：通过主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。

【技术特征摘要】
1.一种图像重建方法，其特征在于，包括：通过主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还包括：通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数；通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标；建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系；所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码，包括：根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。3.根据权利要求2所述的方法，其特征在于，所述通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，包括：获取所述N张样本真实图像的平均图像；根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；获取所述第一矩阵的特征向量；根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数小于或等于所述第一矩阵的列数；获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一矩阵的特征向量，获取第二矩阵，包括：按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵；根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大于等于1且小于等于所述第一矩阵的列数的整数。5.根据权利要求2所述的方法，其特征在于，所述根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像之前，还包括：将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像；将...

【专利技术属性】
技术研发人员：张慧，王蕴红，魏子翔，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11