面向fMRI视觉分类的零次学习方法技术

本发明专利技术提供一种面向fMRI视觉分类的零次学习方法。该方法包括：步骤1：构建面向fMRI视觉分类的零次学习的数据集，数据集包括训练集和测试集，训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号；测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号；训练集图像和测试集图像之间的图像语义类别不相同；步骤2：根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络；步骤3：根据测试集训练语义类别视觉分类网络；步骤4：根据步骤3训练的语义类别视觉分类网络，输入测试集fMRI脑信号，得到预测结果，实现对测试集fMRI脑信号的视觉分类。本发明专利技术的语义视觉分类网络可以扩展到被试之前未看到的图像语义类别。

【技术实现步骤摘要】
面向fMRI视觉分类的零次学习方法
本专利技术涉及基于fMRI的视觉分类
，尤其涉及一种面向fMRI视觉分类的零次学习方法。
技术介绍
基于fMRI的视觉分类是基于fMRI的视觉信息解码的关键技术，旨在根据大脑皮层神经信息来预测外部图像刺激的类别。常规视觉分类模型要求在fMRI数据训练集上训练视觉皮层体素到图像语义类别的映射，然后能够根据测试集中新的大脑视觉皮层体素响应预测被试所观看图像的类别。通常视觉皮层中体素数量较多(维度较高)，且fMRI数据集规模较小，不利于模型的训练。因此，在体素输入到模型之前，通常从大量体素中挑选一些重要的体素，即降低维度，用于视觉分类模型的构建，提高分类准确率。一般来说，体素降维方法可以分成基于感兴趣区域的方法、基于体素激活的方法、基于准确率的方法和基于主特征分析的体素选择方法。体素降维后，通过设计分类模型进行训练和测试，完成视觉分类任务。现有的视觉分类模型通常可以分为三种方式：基于分类器的方式、基于体素匹配的方式和基于特征匹配的方式。(1)基于分类器的方式主要根据训练集训练分本文档来自技高网...

【技术保护点】
1.面向fMRI视觉分类的零次学习方法，其特征在于，包括：/n步骤1：构建面向fMRI视觉分类的零次学习的数据集，所述数据集包括训练集和测试集，训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号；所述测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号；所述训练集图像和所述测试集图像之间的图像语义类别不相同；/n步骤2：根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络；/n步骤3：根据测试集训练语义类别视觉分类网络；/n步骤4：根据步骤3训练的语义类别视觉分类网络，输入测试集fMRI脑信号，得到预测结果，实现对测试集fMRI脑信号的视觉分类...

【技术特征摘要】
1.面向fMRI视觉分类的零次学习方法，其特征在于，包括：
步骤1：构建面向fMRI视觉分类的零次学习的数据集，所述数据集包括训练集和测试集，训练集包含训练集图像和被试看到训练集图像刺激后的训练集fMRI脑信号；所述测试集包含测试集图像和被试看到测试集图像刺激后的测试集fMRI脑信号；所述训练集图像和所述测试集图像之间的图像语义类别不相同；
步骤2：根据训练集训练基于对抗学习的图像特征条件下fMRI脑信号自动生成网络；
步骤3：根据测试集训练语义类别视觉分类网络；
步骤4：根据步骤3训练的语义类别视觉分类网络，输入测试集fMRI脑信号，得到预测结果，实现对测试集fMRI脑信号的视觉分类。


2.根据权利要求1所述的方法，其特征在于，步骤2包括：
步骤2.1：使用预训练深度网络分类模型提取训练集图像的图像高层语义特征，将训练集图像的图像高层语义特征与训练集fMRI脑信号构成正样本对；
步骤2.2：根据训练集图像的图像语义类别，收集没有对应fMRI脑信号的相同图像语义类别的图像，记为训练集类别图像；使用与步骤2.1相同的预训练深度网络分类模型提取训练集类别图像的图像高层语义特征，在所述图像高层语义特征的约束下，根据高斯分布采样的噪声向量，通过生成对抗网络的生成器生成训练集类别图像的伪fMRI脑信号，将训练集类别图像的图像高层语义特征与其伪fMRI脑信号构成负样本对；...

【专利技术属性】
技术研发人员：陈健，谢鹏飞，乔凯，梁宁宁，王林元，张子飞，罗旭，魏月纳，闫镔，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：河南;41