人在回路语义级视觉重构方法、系统和设备技术方案

本发明专利技术涉及一种人在回路语义级视觉重构方法、系统和设备，属于视觉重构技术领域。该方法、系统和设备从一组随机生成的图像开始，通过人在回路对生成图像与目标图像进行对比，使用CCA从用户脑电活动中解码得到最接近目标图像的图像，应用随机游走优化方法实现在语义隐空间的图像搜索，从而迭代优化完成图像重构。本发明专利技术中突破脑电数据信噪比低的困难，利用特殊的人在回路方式，通过稳态视觉诱发电位解码人对图像的相似性判断指导图像生成，利用脑电数据达到了比利用磁共振成像数据更好的重构效果，突破了脑电在视觉重构研究领域所能达到的重构精度瓶颈。的重构精度瓶颈。的重构精度瓶颈。

【技术实现步骤摘要】
人在回路语义级视觉重构方法、系统和设备


[0001]本专利技术涉及视觉重构
，具体涉及一种人在回路语义级视觉重构方法、系统和设备。

技术介绍

[0002]视觉重构是指通过脑机接口采集大脑活动数据并生成视觉图像。直观而言，视觉重构旨在重现人眼所看到的文字、形状、物体、场景等画面。视觉重构技术可以在刑侦、军事等领域产生非常大的作用。例如在刑侦案件中，如果目击者能够将脑海中的视觉记忆通过同样的方式解码，那么其效果将会远远超出文字描述，真实性也会大大提升。
[0003]但是，现有技术中基于头皮脑电数据的视觉重构难度大。大多数视觉重构研究利用功能磁共振成像技术测量大脑血氧活动，通过磁共振成像数据进行视觉生成。相较于脑电数据，磁共振成像数据具有更好的时空分辨率，能够更好地反映大脑不同区域的工作情况，更易于区分出不同刺激的类别信息。但是，功能磁共振成像技术的缺点是设备成本高，设备使用复杂，测量时间长，市场化大规模使用难以实现。而头皮脑电数据可以通过非侵入式脑电帽进行测量，相对于功能磁共振成像设备而言具有更高的便携性、经济性和易操作性。然而由于大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人在回路语义级视觉重构方法，其特征在于，包括：在生成对抗网络的隐空间生成高维随机变量，得到目标图像；根据所述隐空间的高维随机变量生成优化图像；其中，所述优化图像为多个；将所述目标图像和所述优化图像进行不同频率的闪烁展示，通过SSVEP实验，获取对应图像的脑电活动，以实现图像像素空间到脑电活动空间的映射；通过CCA算法对所述脑电活动进行解码，选择最接近目标图像的一幅图像作为当前最优图像；判断所述当前最优图像是否满足重构效果要求；当所述当前最优图像不满足重构效果要求时，基于所述当前最优图像对应的隐空间随机变量，进行随机游走，产生新的隐空间的高维随机变量，更新所述高维随机变量，重新根据更新后的所述隐空间的高维随机变量生成优化图像；当所述当前最优图像满足重构效果要求，输出最优重构图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述隐空间的高维随机变量生成优化图像，包括：随机生成多个隐向量，经过标准化后与所述目标图像相加实现随机游走；随机游走后的多个隐向量通过生成网络，得到对应的优化图像；其中，所述优化图像中的图像个数与所述隐向量的个数相同。3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像和所述优化图像进行不同频率的闪烁展示，通过SSVEP实验，获取对应图像的脑电活动，包括：在预设时长内展示所述目标图像，将所述优化图像中的图像分别按照不同的频率进行展示，以刺激被测者，使得被测者对刺激图像进行感知与决策，获取被测者的脑电活动。4.根据权利要求3所述的方法，其特征在于，所述判断所述当前最优图像是否满足重构要求，包括：判断所述当前最优图像是否收敛。5.根据权利要求1所述的方法，其特征在于，所述生成对抗网络采用对抗隐空间自编码器的结构；其中，自编码器为基于StyleGAN的自编码...

【专利技术属性】
技术研发人员：郭玉柱，杨卓昆，魏彦兆，李阳，张磊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：