用于自然图像引发的人脑活动的多任务同步解码方法技术

本发明专利技术公开了一种用于自然图像引发的人脑活动的多任务同步解码方法，属于生物医学图像的多任务解码技术领域。本发明专利技术基于观看大量自然图像下的功能磁共振信号数据建立基于多任务视觉信息脑解码模型，包括：视觉编码模块，将视觉相关区域体素信号编码到隐特征空间；多任务编码模块，获取包括视觉信息特征向量、类别信息特征向量和语义解码任务的特征向量的多任务特征向量；类别解码模块，获取预测的类别的概率分布；语义解码模块，预测语义标签的概率分布；语言解码模块，来捕捉文本中的深层次结构和语义关系，从而生成更准确的连续描述性文本。本发明专利技术解码出的类别信息和语义标签的准确率高，并且解码出的图像描述能指向其主要元素或事件。

【技术实现步骤摘要】

本专利技术属于生物医学图像的多任务解码(包括视觉场景类别、语义和语言)，具体涉及一种用于自然图像引发的人脑活动的多任务同步解码方法。

技术介绍

1、自2005年起，kamitani和tong等人开始深入研究视觉信息的解码方法。这些研究者们广泛地对视觉信息解码进行了探索，涵盖了从大脑中解码的初级、中级、高级视觉特征到高级认知活动等各个层次的信息，并获得了不少重要成果。

2、在初级视觉特征的解码研究中，2005年，haynes等人研究了条纹的朝向解码；2015年，cossell等人探讨了空间频率解码；2023年，schrantee等人针对对比度解码进行了研究；而2001年，geisler等人则聚焦于运动方向的解码。

3、在中级视觉特征的解码方面，2012年，pitts等人研究了轮廓的解码。而高级视觉特征的解码包括2017年，horikawa等人对物体类别的解码研究；2013年，stansbury探索了语义标签解码；以及2021年，huang等人对描述性语言的解码进行了探讨。此外，高级认知活动的解码中，2019年，benedek等人研究了本文档来自技高网...

【技术保护点】

1.用于自然图像引发的人脑活动的多任务同步解码方法，其特征在于，在包括视觉编码器E1、多任务编码器E2、类别解码器D1、语义解码器D2和语言解码器D3的多任务视觉编解码模型中执行下列步骤：

2.如权利要求1所述的方法，其特征在于，步骤1中，视觉编码器E1的编码方法包括：

3.如权利要求2所述的方法，其特征在于，所述双向门控循环单元的步长为T，层数为1，输入层大小为M维，输出层大小为M维。

4.如权利要求1所述的方法，其特征在于，步骤2中，多任务编码器E2的编码方法包括：

5.如权利要求1所述的方法，其特征在于，步骤3中，分类解码器D1的解码...

【技术特征摘要】

1.用于自然图像引发的人脑活动的多任务同步解码方法，其特征在于，在包括视觉编码器e1、多任务编码器e2、类别解码器d1、语义解码器d2和语言解码器d3的多任务视觉编解码模型中执行下列步骤：

2.如权利要求1所述的方法，其特征在于，步骤1中，视觉编码器e1的编码方法包括：

3.如权利要求2所述的方法，其特征在于，所述双向门控循环单元的步长为t，层数为1，输入层大小为m维，输出层大小为m维。

4.如权利要求1所述的方法，其特征在于，步骤2中，多任务编码器e2的编码方法包括：

5.如权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：黄伟，秦帆，李恒江，杨鹏飞，唐颖，吴狄蔚，赵宇浩，朱宇成，任伟，颜红梅，陈华富，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：