一种基于深度编解码对偶模型的复杂视觉图像重构方法技术

本发明专利技术公开了一种基于深度编解码对偶模型的复杂视觉图像重构方法，属于生物医学图像脑解码中的视觉场景重构技术领域。本发明专利技术首先采集观看大量自然图像下的功能磁共振信号。然后分别建立四个网络模型：1、编码模型，即使用卷积神经网络将自然图像编码成视觉区的体素信号；2、解码模型，即是用卷积神经网络以及反卷积神经网络将视觉区体素信号解码成自然图像；3、判别自然图像模型，即判断真图像与假图像；4、判别视觉区响应模型，即判断真信号与假信号。通过训练设计好的四个模型，可实现从脑信号中还原出视觉场景图像。本发明专利技术首次解决了自然场景与脑信号之间直接相互转换的问题，可以实现脑机接口场景的实际应用。

【技术实现步骤摘要】
一种基于深度编解码对偶模型的复杂视觉图像重构方法
本方法属于生物医学图像脑解码中的视觉场景重构
，具体涉及功能磁共振图像的自然图像重构模型的框架搭建。
技术介绍
2008年，Miyawaki等人让被试观看很多闪烁的棋盘格刺激图片，并记录这些刺激在早期视皮层(V1/V2/V3)的BOLD信号响应，使用多体素模式分析(Multi-voxelpatternclassification,MVPA)方法，建立了多尺度稀疏多项式逻辑回归(SMLR)局部解码器模型，第一次实现了不受限于候选视觉刺激类别的脑信号视觉图像重建，重构出了简单的几何图像和字母刺激，这项研究提供了一种全新的解读大脑视觉感知状态的思路。但是，Miyawaki等人的方法只能重构出简单图像，且重构出的图像准确率较低，噪声比较大，重构时间比较长。Zhan和Song等人在Miyawaki的研究基础上，提出了基于支持向量机和贝叶斯分类器的重构方法，并采用独立成份分析方法提高特征提取的效率，在一定程度上提高了重构效率。2009年，Naselaris等人利用自然图像的结构信息和语义信息等，用早期视皮层和视前区的fMRI信号响应，构建了一个基于贝叶斯的重构模型，尝试了自然图像的脑信息重构。2011年，Nishimoto等人记录分析了受试者观看自然视频图像时枕颞叶的BOLD信号响应模式，发现早期视皮层动态脑活动响应模式可以用来编码动态视频信息类型，估计了视频图像的时空运动-能量编码模型并在此基础上构建了一种基于贝叶斯的解码模型，重构出了受试者所感知到的视频图像的主要信息。Cowen等人利用主成分分析方法将人类面孔刺激转换到“特征脸”空间，然后建立新的特征与fMRI信号之间的关系，第一次实现了对人类面孔刺激的重构。然而，已有的重构方法和技术普遍存在准确率较低和噪声较大的问题，特别是在统计结构较为复杂的自然图像的重构问题上还存在很大缺陷。发展高效的脑信号解码模式识别方法，充分利用视觉认知过程中脑响应的动态过程，更准确地模拟视觉刺激和脑响应间的映射关系，是提高视觉图像重构质量的关键。
技术实现思路
本专利技术针对
技术介绍
的不足之处，解决重构出的图像准确率较低，噪声比较大，重构时间比较长的问题，在前人研究基础上改进设计出一种基于深度编解码对偶模型的复杂视觉图像重构方法。本专利技术在前人研究基础上结合深度学习方法，建立了基于深度编解码对偶模型的脑信息解码模型，对复杂自然图像进行了视觉重构，从而实现专利技术目的。因而本专利技术技术方案为一种基于深度编解码对偶模型的复杂视觉图像重构方法，该方法为采用训练数据对编码器G1；解码器G2；判别图像器D1；判别视觉区响应器D2进行训练；1.所述编码器G1的作用为将刺激图像转换为视觉区响应信号，编码器G1的编码方法为：步骤1.1：对刺激图像进行补零操作；对补领后的数据一次进行三次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤1.2：将步骤1.1得到的数据进行9次残差操作，每次残差操作不改变数据的大小和厚度；步骤1.3：将步骤1.2得到的数据依次进行5次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行reshape操作调整数据的维度，最后使用全链接网络得到与视觉区域信号维度相同的数据；2.所述解码器G2的作用为将视觉区响应信号转换为刺激图像，解码器G2的解码方法为：步骤2.1：对视觉区信号数据进行全连接操作，然后进行reshape操作，修改数据维度，再进行五次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤2.2：将步骤2.1得到的数据进行9次残差操作；每次残差操作不改变数据的大小和厚度；步骤2.3：将步骤2.2得到的数据进行2次运算，每一次运算包含反卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行补零操作；最后依次进行一次卷积、批量标准化、修正线性单元非线性函数三种操作，得到数据认定为刺激图像；3.所述判别图像器D1的判别方法为：对样本图像依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；4.所述判别视觉区响应器D2的判别方法为：对视觉区响应信号进行全连接，然后对该数据进行reshape操作改变数据维度，然后依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；五次运算中卷积操作的卷积核大小都为3*3；卷积步长分别为2、1、1、1、1；卷积核深度分别为64、128、256、512、1；5.该训练方法为：步骤5.1：获取训练数据，训练数据包括刺激图像和每张刺激图像诱发下的多个时间节点的视觉区响应信号；步骤5.2：定义3个损失函数，分别为生成总损失L1、判别图像损失L2、判别视觉区响应损失L3，如下：L1＝y*log[G1(x)]+(1-y)*log[1-G1(x)]+x*log[G2(y)]+(1-x)*log[1-G2(y)]+‖G2(G1(x))-x‖1+‖G1(G2(y))-y‖1+‖D1(G2(y))-1‖2+‖D2(G1(x))-1‖2；L2＝‖D1(G2(y))‖2+‖D1(x)-1‖2；L3＝‖D2(G1(x))‖2+‖D2(y)-1‖2；其中，x表示刺激图像；y表示视觉区响应信号，G1(x)、G2(y)、D1(G2(y))、D2(G1(x))，分别表示对括号中数据进行相应的处理；步骤5.3：对L1、L2、L3三个损失函数，依次使用Adam优化算法进行对应的权重更新；先固定判别图像器D1和判别视觉区响应器D2中的权重参数，更新编码器G1和解码器G2中的参数；再固定编码器G1和解码器G2中的参数，更新判别图像器D1和判别视觉区响应器D2中的参数，依次循环进行权重更新；训练得到效果最好的编码器G1；解码器G2；判别图像器D1；判别视觉区响应器D2；6.测试阶段：采用训练好的解码器G2解码测试视觉区响应信号。进一步的，所述步骤1.1中的三次运算中卷积操作的卷积核大小分别为：7*7、3*3、3*3；卷积步长分别为1、2、2；卷积核深度分别为64、128、256。进一步的，所述步骤1.3中的五次运算中卷积操作的卷积核大小都为3*3；卷积步长都为1；卷积核深度分别为128、64、32、16、6。进一步的，所述步骤2.1中的五次运算中卷积操作的卷积核大小都为3*3；卷积步长都为1；卷积核深度分别为16、32、64、128、256。进一步的，所述步骤2.3的的具体方法为将步骤2.2得到的数据进行2次运算，每一次运算包含反卷积、批量标准化、修正线性单元非线性函数三种操作；两次运算中卷积操作的卷积核大小都为3*3；卷积步长都为2；卷积核深度分别为128、64；然后进行补零操作；最后依次进行一次卷积、批量标准化、修正线性单元非线性函数三种操作，其中卷积核大小都为3*3；卷积步长都为1；卷积核深度分别为3；得到数据认定为刺激图像。进一步的，所述第3点判别图像器D1的判别方法五次运算中卷积操作的卷积核大小都为3*3；卷积步长分别为2、2、2、1、1；卷积核深度分别为64、128、256、512、1。进一步的，所述步骤5.3中的Adam具体优化参数如下：步长ε默认为0.001；矩估计的指数衰减速率ρ1和ρ2本文档来自技高网...

【技术保护点】
1.一种基于深度编解码对偶模型的复杂视觉图像重构方法，该方法为采用训练数据对编码器G1；解码器G2；判别图像器D1；判别视觉区响应器D2进行训练；P1.所述编码器G1的作用为将刺激图像转换为视觉区响应信号，编码器G1的编码方法为：步骤1.1：对刺激图像进行补零操作；对补领后的数据一次进行三次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤1.2：将步骤1.1得到的数据进行9次残差操作，每次残差操作不改变数据的大小和厚度；步骤1.3：将步骤1.2得到的数据依次进行5次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行reshape操作调整数据的维度，最后使用全链接网络得到与视觉区域信号维度相同的数据；P2.所述解码器G2的作用为将视觉区响应信号转换为刺激图像，解码器G2的解码方法为：步骤2.1：对视觉区信号数据进行全连接操作，然后进行reshape操作，修改数据维度，再进行五次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤2.2：将步骤2.1得到的数据进行9次残差操作；每次残差操作不改变数据的大小和厚度；步骤2.3：将步骤2.2得到的数据进行2次运算，每一次运算包含反卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行补零操作；最后依次进行一次卷积、批量标准化、修正线性单元非线性函数三种操作，得到数据认定为刺激图像；P3.所述判别图像器D1的判别方法为：对样本图像依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；P4.所述判别视觉区响应器D2的判别方法为：对视觉区响应信号进行全连接，然后对该数据进行reshape操作改变数据维度，然后依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；五次运算中卷积操作的卷积核大小都为3*3；卷积步长分别为2、1、1、1、1；卷积核深度分别为64、128、256、512、1；P5.该训练方法为：步骤5.1：获取训练数据，训练数据包括刺激图像和每张刺激图像诱发下的多个时间节点的视觉区响应信号；步骤5.2：定义3个损失函数，分别为生成总损失L1、判别图像损失L2、判别视觉区响应损失L3，如下：L1＝y*log[G1(x)]+(1‑y)*log[1‑G1(x)]+x*log[G2(y)]+(1‑x)*log[1‑G2(y)]+‖G2(G1(x))‑x‖1+‖G1(G2(y))‑y‖1+‖D1(G2(y))‑1‖2+‖D2(G1(x))‑1‖2；L2＝‖D1(G2(y))‖2+‖D1(x)‑1‖2；L3＝‖D2(G1(x))‖2+‖D2(y)‑1‖2；其中，x表示刺激图像；y表示视觉区响应信号，G1(x)、G2(y)、D1(G2(y))、D2(G1(x))，分别表示对括号中数据进行相应的处理；步骤5.3：对L1、L2、L3三个损失函数，依次使用Adam优化算法进行对应的权重更新；先固定判别图像器D1和判别视觉区响应器D2中的权重参数，更新编码器G1和解码器G2中的参数；再固定编码器G1和解码器G2中的参数，更新判别图像器D1和判别视觉区响应器D2中的参数，依次循环进行权重更新；训练得到效果最好的编码器G1；解码器G2；判别图像器D1；判别视觉区响应器D2；P6.测试阶段：采用训练好的解码器G2解码测试视觉区响应信号。...

【技术特征摘要】
1.一种基于深度编解码对偶模型的复杂视觉图像重构方法，该方法为采用训练数据对编码器G1；解码器G2；判别图像器D1；判别视觉区响应器D2进行训练；P1.所述编码器G1的作用为将刺激图像转换为视觉区响应信号，编码器G1的编码方法为：步骤1.1：对刺激图像进行补零操作；对补领后的数据一次进行三次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤1.2：将步骤1.1得到的数据进行9次残差操作，每次残差操作不改变数据的大小和厚度；步骤1.3：将步骤1.2得到的数据依次进行5次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行reshape操作调整数据的维度，最后使用全链接网络得到与视觉区域信号维度相同的数据；P2.所述解码器G2的作用为将视觉区响应信号转换为刺激图像，解码器G2的解码方法为：步骤2.1：对视觉区信号数据进行全连接操作，然后进行reshape操作，修改数据维度，再进行五次运算，每次运算包含卷积、批量标准化、修正线性单元非线性函数三种操作；步骤2.2：将步骤2.1得到的数据进行9次残差操作；每次残差操作不改变数据的大小和厚度；步骤2.3：将步骤2.2得到的数据进行2次运算，每一次运算包含反卷积、批量标准化、修正线性单元非线性函数三种操作；然后进行补零操作；最后依次进行一次卷积、批量标准化、修正线性单元非线性函数三种操作，得到数据认定为刺激图像；P3.所述判别图像器D1的判别方法为：对样本图像依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；P4.所述判别视觉区响应器D2的判别方法为：对视觉区响应信号进行全连接，然后对该数据进行reshape操作改变数据维度，然后依次进行五次运算，每次运算包含卷积、批量标准化、弱修正线性单元非线性函数三种操作；五次运算中卷积操作的卷积核大小都为3*3；卷积步长分别为2、1、1、1、1；卷积核深度分别为64、128、256、512、1；P5.该训练方法为：步骤5.1：获取训练数据，训练数据包括刺激图像和每张刺激图像诱发下的多个时间节点的视觉区响应信号；步骤5.2：定义3个损失函数，分别为生成总损失L1、判别图像损失L2、判别视觉区响应损失L3，如下：L1＝y*log[G1(x)]+(1-y)*log[1-G1(x)]+x*log[G2(y)]+(1-x)*log[1-G2(y)]+‖G2(G1(x))-x‖1+‖G1(G2(y))-y‖1+‖D1(G2(y))-1‖2+‖D2(G1(x))-1‖2；L2＝‖D1(G2(y))‖2+‖D1(x)-1‖2；L3＝‖D2(G1(x))‖2+‖D2(y)-1‖2；其中，x表示刺激图像；y表示视觉区响应信号，G1(x)、G2(y)、D1(G2(y))、D2(G1(x))，分别表示对括号中数据进行相应的处理；步骤5.3：对L1、L2、L3三个损失函数，依次使用Adam优化算法进行对应的权重更新；先固定判别图像器D1和判别视觉区响应器D2中的权重参数，更新编码器G1和解码器G2中的参数；再固定编码器G1和解码器G2中的参数，更新判别图像器D1和判别...

【专利技术属性】
技术研发人员：陈华富，黄伟，王冲，颜红梅，杨晓青，杨天，刘秩铭，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51