【技术实现步骤摘要】
本专利技术涉及深度学习领域，尤其涉及一种基于脑电的图像生成方法、装置、计算机设备及存储介质。
技术介绍
1、在现有使用深度学习的技术中，根据记忆的人脸图片进行检索与重构的方法主要有两种：基于神经信号的方法和基于绘画/文字描述的方法。其中，基于神经信号的方法主要利用功能磁共振成像(fmri)和脑电(eeg)信号。这些方法通常使用视觉刺激诱发受试者在想象图片时产生的神经信号，然后利用相似度度量来检索与想象图片最匹配的原始图像，或使用图像重构算法来重构被想象的图片。而基于绘画/文字描述的方法是指利用受试者对想象的人脸进行的绘画或文字描述，来检索或重构相应的图像。在当前的技术背景下扩散生成模型往往被用来进行图像重构。
技术实现思路
1、第一方面，本申请提供一种基于脑电的图像生成方法，包括：
2、获取受试者回忆目标图像时的脑电信号；
3、将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像；
4、显示所述想象锚点图像给所述受试者，重新获取所述受试者观看所述想象锚点图像时的脑电信号，并继续生成新的想象锚点图像；
5、计算所述想象锚点图像的多样性值，直到所述多样性值降低至预设阈值，则确定当前批次的想象锚点图像中相似度最高的图像为所述目标图像。
6、进一步的，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
7、通过所述脑电编码器将所述脑电
8、根据所述脑电信号嵌入在给定的图像数据库中进行检索，确定所有待检索图片的图片嵌入和所述脑电信号嵌入之间的余弦相似度；
9、将所述余弦相似度最高的待检索图片作为想象锚点图像输出。
10、进一步的，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
11、通过所述脑电编码器将所述脑电信号转换成脑电信号嵌入；
12、将所述脑电信号嵌入输入至预训练的扩散生成模型的交叉注意力层中，所述扩散生成模型根据所述脑电信号嵌入进行图片重构，所输出的图像为想象锚点图像。
13、进一步的，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
14、通过所述脑电编码器将所述脑电信号降维成脑电信号嵌入；
15、获取所述目标图像的文字描述，将所述文字描述输入预先训练好的文字编码器中，得到所述文字描述的文字描述嵌入；
16、将所述文字描述嵌入和所述脑电信号嵌入共同输入所述扩散生成模型的交叉注意力层中，所述扩散生成模型根据所述脑电信号嵌入和所述文字描述嵌入进行图片重构，所输出的图像为想象锚点图像。
17、进一步的，所述脑电编码器的训练方法包括：
18、获取受试者观察或回忆预设图像时的脑电信号，并通过掩码学习得到预训练的脑电编码器中，得到脑电信号在低维多模态潜在空间的脑电信号嵌入；
19、获取所述预设图像的标准描述数据，并得到标准描述数据嵌入；
20、通过拉近所述标准描述数据嵌入和所述脑电信号嵌入在所述低维多模态潜在空间的距离，对所述预训练的脑电编码器进行增强训练。
21、进一步的，所述计算所述想象锚点图像的多样性值，包括：
22、计算各个想象锚点图像之间的余弦相似度，然后根据所有的余弦相似度，计算多样性值；
23、所述多样性值的计算表达式为：
24、
25、式中，d(xi,…,xj)为所述多样性值，n为所述想象锚点图像的数量，x为所述想象锚点图像，i和j为所述想象锚点图像的序号，sclip(xi,xj)为想象锚点图像xi和xj之间的余弦相似度。
26、进一步的，所述通过拉近所述标准描述数据嵌入和所述脑电信号嵌入在所述低维多模态潜在空间的距离，对所述预训练的脑电编码器进行增强训练，包括：
27、计算所述脑电信号嵌入和所述标准描述数据嵌入的损失值，修改所述预训练的脑电编码器的参数，直至所述损失值小于预期值。
28、第二方面，本申请还提供一种基于脑电的图像生成装置，包括：
29、信号采集模块，用于获取受试者回忆目标图像时的脑电信号；
30、图像生成模块，用于将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像；
31、迭代模块，用于显示所述想象锚点图像给所述受试者，重新获取所述受试者观看所述想象锚点图像时的脑电信号，并继续生成新的想象锚点图像；
32、对比模块，用于计算所述想象锚点图像的多样性值，直到所述多样性值降低至预设阈值，则确定当前批次的想象锚点图像中相似度最高的图像为所述目标图像。
33、第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的基于脑电的图像生成方法。
34、第四方面，本申请还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的基于脑电的图像生成方法。
35、本专利技术公开了一种基于脑电的图像生成方法、装置、计算机设备及存储介质，该方法包括：获取受试者回忆目标图像时的脑电信号；将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像；显示所述想象锚点图像给所述受试者，重新获取所述受试者观看所述想象锚点图像时的脑电信号，并继续生成新的想象锚点图像；计算所述想象锚点图像的多样性值，直到所述多样性值降低至预设阈值，则确定当前批次的想象锚点图像中相似度最高的图像为所述目标图像。通过重复获取脑电信号和想象锚点图像，使得最终生成的想象锚点图像和目标图像更加接近，增加了图像生成精准度，不仅可以利用被试者的语言描述，还可以有效地捕捉和解析其脑电信号，进一步提高了重构图像的准确性。
本文档来自技高网...【技术保护点】
1.一种基于脑电的图像生成方法，其特征在于，包括：
2.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
3.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
4.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
5.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述脑电编码器的训练方法包括：
6.根据权利要求5所述的基于脑电的图像生成方法，其特征在于，所述计算所述想象锚点图像的多样性值，包括：
7.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述通过拉近所述标准描述数据嵌入和所述脑电信号嵌入在所述低维多模态潜在空间的距离，对所述预训练的脑电编码器进行增强训练，包括：<...
【技术特征摘要】
1.一种基于脑电的图像生成方法，其特征在于，包括：
2.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
3.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
4.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述将所述脑电信号输入脑电编码器中，根据所述脑电信号进行所述目标图像的生成，得到想象锚点图像，包括：
5.根据权利要求1所述的基于脑电的图像生成方法，其特征在于，所述脑电编码器的训练方法包括：
6.根据...
【专利技术属性】
技术研发人员：刘泉影，魏晨，邹佳辰，李东洋，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。