一种自然图像的人脑认知文本描述生成方法及系统技术方案

技术编号:43830682 阅读:30 留言:0更新日期:2024-12-31 18:30
本发明专利技术涉及计算机视觉与认知神经科学领域,特别是涉及一种自然图像的人脑认知文本描述生成方法及系统,本发明专利技术通过预先构建将fMRI信号与经CLIP针对各种复杂场景获取的图像特征向量和文本特征向量形成映射的fMRI‑Image映射模型,并将获取到的人脑基于刺激图像产生的fMRI信号,并对获取到的fMRI信号进行预处理,以得到处理后的fMRI信号,将预处理后的fMRI信号输入到构建fMRI‑Image映射模型中,以得到图像特征向量和文本特征向量,将fMRI‑Image映射模型输出的图像特征向量和文本特征向量输入到预训练的语言映射模型,以生成图像文本描述,从而能够从复杂的自然场景中提取视觉语义特征,有助于准确生成对自然图像的文本描述。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与认知神经科学领域,特别是涉及一种自然图像的人脑认知文本描述生成方法及系统


技术介绍

1、近年来,随着神经影像技术的快速发展,研究人员能够更为深入地探索人脑的视觉信息处理机制。功能磁共振成像(functional magnetic resonance imaging , fmri)作为一种高空间分辨率的非侵入性技术,能够通过检测血氧水平依赖(blood oxygenationlevel dependent, bold)信号的变化来间接监测神经活动。这使得其成为研究人脑认知功能的重要工具。其中,利用这些神经信号解码外部视觉刺激的内容,特别是生成自然图像的文本描述,是当前认知神经科学和计算机视觉领域的一个重要研究方向。

2、传统的解码方法多使用简单的图像或人工合成图像作为刺激源,导致解码的语义信息有限,难以应对复杂的自然场景。


技术实现思路

1、为了解决上述
技术介绍
中存在的技术问题,本专利技术提供了一种自然图像的人脑认知文本描述生成方法及系统,能够从复杂的自然场景中提取视觉语本文档来自技高网...

【技术保护点】

1.一种自然图像的人脑认知文本描述生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的自然图像的人脑认知文本描述生成方法,其特征在于,所述步骤一包括:

3.根据权利要求2所述的自然图像的人脑认知文本描述生成方法,其特征在于,所述基于数据集中每个fMRI信号以及其对应刺激图像的实际图像特征向量和文本特征向量对CNN模型进行训练包括:

4.根据权利要求1所述的自然图像的人脑认知文本描述生成方法,其特征在于,所述步骤五包括:

5.一种自然图像的人脑认知文本描述生成系统,其特征在于,所述系统包括:第一构建和训练模块,用于预先构建和训练fM...

【技术特征摘要】

1.一种自然图像的人脑认知文本描述生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的自然图像的人脑认知文本描述生成方法,其特征在于,所述步骤一包括:

3.根据权利要求2所述的自然图像的人脑认知文本描述生成方法,其特征在于,所述基于数据集中每个fmri信号以及其对应刺激图像的实际图像特征向量和文本特征向量对cnn模型进行训练包括:

4.根据权利要求1所述的自然图像的人脑认知文本描述生成方法,其特征在于,所述步骤五包括:

5.一种...

【专利技术属性】
技术研发人员:戴利云许劲松付帅奇孙建成
申请(专利权)人:江西财经大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1