一种视觉脑信号-语言解码训练方法、解码方法及模型技术

本发明专利技术公开了一种视觉脑信号‑语言解码训练方法、解码方法及模型，基于大型数据集NSD，利用大模型的泛化能力，建立了一个视觉‑语言解码模型，提升了语言解码的效果。该模型包括：1）大脑活动编码模块：负责提取大脑活动特征，将大脑活动编码为带有图像特征和语义信息的大脑活动特征；2）解码空间映射模块：负责将大脑活动特征映射到GPT‑2的输入空间，使其特征空间与GPT‑2的输入空间具有相同的分布；3）语言解码模块：负责利用GPT‑2和多头交叉注意力机制，将大脑活动解码为文本描述。本发明专利技术解决了视觉‑语言解码中解码效果不理想的问题，极大提升了解码结果，促进了生成式脑机接口场景的实际应用。

【技术实现步骤摘要】

本专利技术属于生物医学工程、人工智能，具体涉及一种视觉脑信号-语言解码训练方法、解码方法及模型。

技术介绍

1、利用fmri进行语言解码的目标在于将视觉刺激诱发的大脑活动转换为对视觉刺激的文本描述，以深入研究大脑对视觉信息和语言信息的处理机制，并推动类脑智能和脑机接口领域的发展。2018年，matsuo等人首次采用岭回归和cnn-rnn模型，将大脑活动解码为文本描述，验证了视觉-语言解码的可行性，并且发现生成句子的语义信息广泛分布于大脑皮层；2020年，takada等人基于cnn-lstm模型成功实现了对自然图像的语言解码，为了应对fmri(functional magnetic resonance imaging，功能性磁共振成像)数据量较小、难以训练的问题，他们结合knn算法和大量无标注图像建立了文本特征潜空间，并将fmri数据映射到该特征潜空间，增强了训练数据；同年，利用cnn-rnn模型和transformer模型将自然图像引发的大脑活动解码为文本描述，与以往大多数研究采用回归方法建模大脑活动与刺激文本内容之间关系不同，提出了一种渐进迁移的训练策略本文档来自技高网...

【技术保护点】

1.一种视觉脑信号-语言解码训练方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤2中的编码，具体包括如下步骤：

3.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤S3中映射，具体包括如下步骤：

4.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤S4中的文本生成，具体包括如下步骤：

5.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤S5中，根据大脑活动潜在特征和对比语言-图像预训练模型提取的图像特征...

【技术特征摘要】

1.一种视觉脑信号-语言解码训练方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤2中的编码，具体包括如下步骤：

3.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤s3中映射，具体包括如下步骤：

4.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤s4中的文本生成，具体包括如下步骤：

5.根据权利要求1所述的一种视觉脑信号-语言解码训练方法，其特征在于：所述步骤s5中，根据大脑活动潜在特征和对比语言-图像预训练模型提取的图像特征之间的均方误差，计算误差损失lmse，根据生成式预训练语言模型预测下文的分布与标注的文本描述，计算交叉熵损失lce，公式如下：

6.一种视觉脑信号-语言解码方法，其特征在于，根据权利要求1所述的一种视觉脑信号-语言解...

【专利技术属性】
技术研发人员：黄伟，任伟，颜红梅，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：