通过脑活动的解析推测感知语义内容的推测方法技术

提供通过测量并解析脑活动来推测其感知语义内容的推测方法。(1)将训练用刺激使被试验者诱发的感知内容的语言记述以及检测到脑活动的脑神经活动检测单元的输出输入到数据处理单元，(2)在保存的语义空间中进行训练用刺激的语义空间表象和脑神经活动检测单元的输出关联起来并保存到训练成果信息存储单元，(3)将检测到新刺激诱发的脑活动的脑神经活动检测单元的输出输入到上述数据处理单元，关于上述新刺激所产生的脑活动的脑神经活动检测单元的输出，从上述关联得到表示感知语义内容的语义空间上的概率分布，(4)根据该概率分布，将盖然性高的内容推测为感知语义内容。也可以针对每个被试验者进行上述关联。在其盖然性的推测中，将根据提供的单词的语义空间上的坐标和上述概率分布计算的似然度作为指标。

A speculating approach to semantic content perception by parsing of brain activity

A speculating method of speculating the semantic content of the brain by measuring and analyzing brain activity. (1) the training stimulus makes the perceived content test induced language description and detection to the output input detecting unit of brain activity of brain activity to a data processing unit (2) in the semantic space preservation in semantic space representation and the brain training stimulus activity detection unit output Association up and save to the training information storage unit (3) detected by the detection unit for input and output of brain activity evoked by stimulation of the new brain activity to the data processing unit, output unit detection of brain activity generated on the new stimulate brain activity, get the probability distribution of semantic space representation of semantic content of perception from the above Association, (4) according to the probability distribution, the probability of high content of presumed perceptual semantic content. The above association can also be carried out for each of the subjects. In the probability that, according to the coordinate space to provide semantic words and the likelihood to calculate the probability distribution as index.

【技术实现步骤摘要】
【国外来华专利技术】通过脑活动的解析推测感知语义内容的推测方法
本专利技术涉及通过测量动画视听时等自然感知下的被试验者的脑活动并解析测量出的信息，进行被试验者感知的感知语义内容的推测的、通过脑活动的解析推测感知语义内容的推测方法。
技术介绍
已开发出用于通过解析被试验者的脑活动来进行感知内容的推测、行动预测的技术(脑信息解码技术)。这些技术被期待为脑机间接口的要素技术、并且、被期待为进行影像、各种产品的事先评价、购买预测等的手段。当前根据上述脑活动推测的语义感知推测技术不限于针对包括单一或者少数的感知语义内容的简单的线条、静止图像等限定的感知对象推测预先决定的感知语义内容的技术。用于使用现有技术从脑活动解码感知语义内容的步骤如以下所述。最初，进行用于解释个人的脑活动的模型训练(校准)。在该阶段对被试验者提示由图像等构成的刺激组，记录这些刺激诱发的脑活动。通过该刺激-脑活动配对(训练用数据采样)，得到感知内容和脑活动的对应关联。接下来，通过记录成为感知语义内容推测的对象的新的脑活动，并判断该脑活动与在训练用数据采样中得到的哪个脑活动类似，进行感知语义内容推测。在专利文献1中，公开了主观性的感知的经验或者认识经验的解读以及再现。在该公开中，使用脑图像形成装置从对象得到与最初的感知刺激相应地产生的脑活动数据的最初的组，变换为与其对应的预定的应答值的组。从对象使用解码分布来得到与第二感知刺激相应地产生的脑活动数据的第二组，确定作为与上述预定的应答值对应的脑的活动数据的第二组的概率。根据脑活动数据的第二组和预测出的应答值之间的对应的概率，解读脑活动刺激的第二组。另外，在非专利文献1中，记载有利用fMRI(functionalMagneticResonanceImaging，功能磁共振成像)的编译(编码)和译码(解码)。在该文献中，示出为了探究作为共同的问题的信息在脑中如何表现，使用编码操作和解码操作这双方，但在集中到编码模型时相比于解码有两个重要的优点。其理由在于，第一，在解码模型中仅得到部分性的说明，但在原理上在编码模型中能够得到有兴趣的区域的完全的功能性的说明。第二，直接从编码模型得到最佳解码模型，但从解码模型得到编码模型远远困难很多。因此，在非专利文献1中，根据利用fMRI扫描的体素的编码模型的推测，提出系统化模型途径，使用得到的编码模型来进行解码。另外，已经报告在观察某个场面的期间取得脑图像，从该脑图像能够重构接近该场面的场景。在非专利文献2中，还示出还能够生成与在脑图像中反映的意识的内容对应的文本。其从在观察某个项目的名字的线条的同时被试验者阅读该具体的项目(例如“公寓”)的名字时收集到的脑图像开始。根据文本数据构筑具体的概念的精神上的语义显示模型，在与其对应的脑图像中将这样的显示的样子映射到活性化的样式。报告了能够根据该映射，生成与语义学的相关的语言(例如相对于“公寓”的“门”、“窗户”)的集合的意思。现有技术文献专利文献专利文献1：美国专利申请公开第2013-0184558号说明书非专利文献非专利文献1：ThomasNaselaris，KendrickN.Kay，ShinjiNishimoto，JackL.Gallant，″EncodinganddecodinginfMRI″，NeuroImage2011，56(2)：400-410非专利文献2：FranciscoPereira，GregDetre，MatthewBotvinick″Generatingtextfromfunctionalbrainimages″，FrontiersinHumanNeuroscience2012，5：72
技术实现思路
本专利技术作为目的的技术是能够推测动画视听下等自然感知下的被试验者的任意的感知语义内容的技术。关于该点，在现有技术中，在以下的至少一点中存在界限，无法满足上述目的。(1)现有技术以单纯的线条、静止图像为对象，无法适应于自然动画等动态地产生多个事物、印象等的状况。(2)在以往技术中，可推测的感知语义内容限于在训练用数据采样中包含的内容，无法推测其以外的任意的感知语义内容。在本专利技术作为目的的技术中，包括如上所述通过解析测量出的信息来进行被试验者感知的感知语义内容的推测，此时，通过在中间表象空间(语义空间)内进行脑活动和感知内容的对应关联，实现任意的感知内容的推测。详细而言，如以下所述。本专利技术提供一种通过脑活动的解析推测感知语义内容的推测方法，通过使用脑活动解析装置解析被试验者的脑活动，进行所述被试验者感知的感知语义内容的推测，该脑活动解析装置具备：信息提示单元，提示作为向所述被试验者的刺激的信息；脑神经活动检测单元，检测刺激所产生的所述被试验者的脑神经活动信号；数据处理单元，输入与刺激内容有关的语言记述和所述脑神经活动检测单元的输出；语义空间信息存储单元，能够从该数据处理单元读出；以及训练成果信息存储单元，能够从该数据处理单元读出并写入。(1)对所述被试验者提示训练用信息而对所述被试验者提供训练用刺激，将该训练用刺激使所述被试验者诱发的感知内容的语言记述和检测到该训练用刺激使所述被试验者诱发的脑活动的所述脑神经活动检测单元的输出输入到所述数据处理单元。在此，训练用信息是图像、动画等，该信息为向被试验者的刺激，该刺激使被试验者诱发某种感知内容。取得该感知内容的语言记述(注释)，输入到上述数据处理单元。另外，将脑活动检测为脑波、fMRI信号的上述脑神经活动检测单元的输出也被输入到上述数据处理单元。(2)应用在所述语义空间信息存储单元中保存的语义空间，在该语义空间上将所述训练用刺激的语义空间表象和所述脑神经活动检测单元的输出关联起来，将关联起来的结果保存到所述训练成果信息存储单元。上述语义空间是使用语料等大规模数据库来构筑的，记述在语言记述中出现的单词的语义上的关系。另外，上述关联是在上述语义空间的坐标轴上进行的，在此，是指由利用训练用信息形成的刺激诱发的语义空间表象和该刺激所产生的脑活动的关联。(3)对所述被试验者提示新信息而对所述被试验者提供新刺激，将检测到该新刺激使所述被试验者诱发的脑活动的所述脑神经活动检测单元的输出输入到所述数据处理单元，关于利用所述新信息产生的脑活动的所述脑神经活动检测单元的输出，根据在所述(2)中得到的关联得到表示感知语义内容的语义空间上的概率分布。关于由新刺激诱发的脑活动，通过将脑波、fMRI信号等上述脑神经活动检测单元的输出分解为由上述训练用刺激诱发的上述脑神经活动检测单元的输出、从该输出抽出的信号、激活样式的例如线性合成，能够将针对该新刺激的感知语义内容作为与训练用信息对应的语言记述(注释)的线性合成得到。能够根据该线性合成的系数、和在上述(2)中得到的关联起来，得到表示关于新刺激的感知语义内容的语义空间上的概率分布。(4)根据在所述(3)中得到的概率分布推测盖然性高的感知语义内容。在该推测中，通过对上述概率分布中的推测中使用的概率设置阈值、或者对上述盖然性高的感知语义内容的个数设置阈值等，能够抑制上述推测结果的分散。也可以在被试验者有多名的情况下，关于上述(2)中的、使用刺激的语义空间表象和脑活动的训练用数据的关联，针对每个被试验者进行，针对上述训练用数据的全部或者其一部分进行来得到每个被试本文档来自技高网...

【技术保护点】
一种通过脑活动的解析推测感知语义内容的推测方法，通过使用脑活动解析装置解析被试验者的脑活动，进行所述被试验者感知的感知语义内容的推测，该脑活动解析装置具备：信息提示单元，提示作为向所述被试验者的刺激的信息；脑神经活动检测单元，检测刺激所产生的所述被试验者的脑神经活动信号；数据处理单元，输入与刺激内容有关的语言记述和所述脑神经活动检测单元的输出；语义空间信息存储单元，能够从该数据处理单元读出；以及训练成果信息存储单元，能够从该数据处理单元读出并写入，所述推测方法的特征在于：(1)对所述被试验者提示训练用信息而对所述被试验者提供训练用刺激，将该训练用刺激使所述被试验者诱发的感知内容的语言记述和检测到该训练用刺激使所述被试验者诱发的脑活动的所述脑神经活动检测单元的输出输入到所述数据处理单元，(2)应用在所述语义空间信息存储单元中保存的语义空间，在该语义空间上将所述训练用刺激的语义空间表象和所述脑神经活动检测单元的输出关联起来，将关联起来的结果保存到所述训练成果信息存储单元，(3)对所述被试验者提示新信息而对所述被试验者提供新刺激，将检测到该新刺激使所述被试验者诱发的脑活动的所述脑神经活动检测单元的输出输入到所述数据处理单元，关于利用所述新信息产生的脑活动的所述脑神经活动检测单元的输出，根据在所述(2)中得到的关联得到表示感知语义内容的语义空间上的概率分布，(4)根据在所述(3)中得到的概率分布推测盖然性高的感知语义内容。...

【技术特征摘要】
【国外来华专利技术】2015.04.06 JP 2015-0776941.一种通过脑活动的解析推测感知语义内容的推测方法，通过使用脑活动解析装置解析被试验者的脑活动，进行所述被试验者感知的感知语义内容的推测，该脑活动解析装置具备：信息提示单元，提示作为向所述被试验者的刺激的信息；脑神经活动检测单元，检测刺激所产生的所述被试验者的脑神经活动信号；数据处理单元，输入与刺激内容有关的语言记述和所述脑神经活动检测单元的输出；语义空间信息存储单元，能够从该数据处理单元读出；以及训练成果信息存储单元，能够从该数据处理单元读出并写入，所述推测方法的特征在于：(1)对所述被试验者提示训练用信息而对所述被试验者提供训练用刺激，将该训练用刺激使所述被试验者诱发的感知内容的语言记述和检测到该训练用刺激使所述被试验者诱发的脑活动的所述脑神经活动检测单元的输出输入到所述数据处理单元，(2)应用在所述语义空间信息存储单元中保存的语义空间，在该语义空间上将所述训练用刺激的语义空间表象和所述脑神经活动检测单元的输出关联起来，将关联起来的结果保存到所述训练成果信息...

【专利技术属性】
技术研发人员：西本伸志，柏冈秀纪，
申请(专利权)人：国立研究开发法人情报通信研究机构，
类型：发明
国别省市：日本,JP