通过脑部计算机介面的图像分类制造技术

一种分类一图像的方法被揭露。所述方法包含对所述图像使用一计算机视觉程序，以检测在所述图像中怀疑被一目标占据的多个候选图像区域；向一观察者呈现所述多个候选图像区域中的每一个以作为一视觉刺激，同时从所述观察者的一脑部收集多个神经生理信号；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述目标的一检测结果；以及决定在所述图像中所述目标的一存在与否是至少部分地基于对所述神经生理事件的识别而进行的。

【技术实现步骤摘要】
【国外来华专利技术】通过脑部计算机介面的图像分类相关申请案本申请案主张2015年6月3日提交的以色列专利申请案第239191号的优先权，其内容通过引用整体并入本文。
本专利技术在一些实施例中是有关于一种脑部计算机介面(BCI)，更具体但不排他地关于一种图像分类的方法及系统。
技术介绍
脑部计算机介面(BCI)的应用依赖于解码响应于单个事件(试验)的脑部活动，而不是在基础研究中经常研究的平均响应的描写。脑电图(EEG)是一种非侵入性的记录技术，是用于监测脑部活动的多个常用系统之一。脑电图数据为在多个通道中同时被收集以一高时间分辨率，产生用于呈现单个试验脑部活动的高维数据矩阵。除了其无与伦比的时间分辨率之外，脑电图比其他神经影像技术相比是非侵入性的、可穿戴的、并且更便宜的，因此是任何类型切实可行的BCI的首要选择。传统分类技术使用机器学习算法对单次试验的时空活动矩阵，基于这些矩阵的统计特性，进行分类。这些方法基于两个主要部分：有效降维的特征提取机制及分类算法。典型的分类器使用一样本数据以学习一映射规则，通过所述映射规则，其他测试数据可以被归类为两个或更多个类别中的一个。分类器可以大致分为线性及非线性的方法。非线性分类器，例如神经网络、隐马尔可夫模型及K-最近邻算法)，可以近似广泛分布的函数，从而可以区分复杂的数据结构。同时非线性分类器具有捕获复杂的判别函数的潜力，但它们的复杂性也会导致过度拟合并带来繁重的计算需求，使其较不适合实时的应用。另一方面，线性分类器较不复杂，因此对于数据过度拟合更稳健。线性分类器对可以线性分离的数据执行得特别好。费雪线性判别(FLD)、线性支持向量机(SVM)及逻辑回归(LR)是线性分类器的示例。费雪线性判别(FLD)找出多个特征的一个线性组合，将两个分类的数据映射到一个可分离的投影轴上。分离的标准被定义为多个分类之间的平均的距离与所述多个分类内方差的比率。支持向量机(SVM)找出一个分离的超平面，最大化两个类之间的边界。逻辑回归(LR)，顾名思义，将数据投影到一逻辑函数中。PCT专利申请案公开第WO2014/170897号，其内容通过引用结合于此，公开了一种用于实施一个人类对象的多个脑电图信号的单一试验分类的方法，所述方法生成一系列图像包含多个目标图像及多个非目标图像。所述方法包含：在一时间空间表示法中获得多个脑电图信号包含多个时间点及所述多个脑电图信号相对应的空间分布；使用一线性判别分类器对所述多个时间点进行独立分类，计算一时间空间判别权重；使用所述时间空间判别权重分别通过所述时间空间点处的所述时空区别权重来放大所述时间空间表示，创建一空间加权表示；利用一时域上的主成分分析(PCA)进行降维，分别为所述多个脑电图信号的每个空间波段创建一主成分分析投影；使用所述主成分分析投影到所述空间加权表示到多个第一主分量上，创建包含每个空间波段的一时间近似空间加权表示，对于多个主时间投影的主成分分析系数；并在多个波段上对所述时间近似空间加权表示进行分类，使用所述线性判别分类器，以产生一二进制决策系列，用以表示多个图像系列中的每个图像为属于所述目标图像或所述非目标图像。
技术实现思路
根据本专利技术的一些实施例的一个方面，提供了一种分类一图像的方法，所述方法包含步骤：对所述图像使用一计算机视觉程序，以检测在所述图像中怀疑被一目标占据的多个候选图像区域；向一观察者呈现所述多个候选图像区域中的每一个以作为一视觉刺激，同时从所述观察者的一脑部收集多个神经生理信号；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述目标的一检测结果；以及决定在所述图像中所述目标的一存在与否是至少部分地基于对所述神经生理事件的识别而进行的。根据本专利技术的一些实施例，本专利技术的方法包含：划分所述图像成为多个图像图块，其中所述多个图块的至少一个包含一候选图像区域，且其中所述呈现所述多个候选图像区域中的每一个的步骤包含：呈现所述多个图块中的至少一个。根据本专利技术的一些实施例，本专利技术的方法包含：分配一神经生理检测结果得分到所述图像，其中所述决定在所述图像中所述目标的所述存在与否的步骤是至少部分基于所述神经生理检测结果得分而进行的。根据本专利技术的一些实施例，本专利技术的方法包含：使用所述计算机视觉程序对所述图像分配一计算机检测结果得分，其中所述决定在所述图像中所述目标的所述存在与否的步骤是基于所述计算机检测结果得分及所述神经生理检测结果得分两者而进行的。根据本专利技术的一些实施例，本专利技术的方法包含：对至少一图像区域或一图像区域群组，进行比较所述神经生理检测结果得分与所述计算机检测结果得分，并基于所述比较的结果向所述观察者再呈现所述至少一图像区域或所述图像区域群组。根据本专利技术的一些实施例，本专利技术的方法包含：处理所述多个神经生理信号以识别多个眨眼，并且在所述图像区域或所述图像区域群组的先前呈现期间响应于所述眨眼为一阳性识别，向所述观察者再呈现一图像区域或一图像区域群组。根据本专利技术的一些实施例，本专利技术的方法包含：处理所述多个神经生理信号以识别多个眨眼，并且在所述图像区域或所述图像区域群组的先前呈现期间响应于所述眨眼为一阳性识别，向所述观察者再呈现一图像区域或一图像区域群组。根据本专利技术的一些实施例，本专利技术的方法包含：对所述图像区域群组中的至少一图像区域重复所述神经生理事件的所述呈现及所述识别，包含：进行比较所述识别与一先前所述至少一图像区域的识别，且基于所述比较的结果决定所述观察者的一神经生理状态。根据本专利技术的一些实施例，本专利技术的方法包含：对所述图像区域群组中的至少一图像区域重复所述神经生理事件的所述呈现及所述识别，包含：进行比较所述识别与一先前所述至少一图像区域的识别，且基于所述比较的结果决定所述观察者的一神经生理状态。根据本专利技术的一些实施例，本专利技术的方法包含：对所述观察者呈现一数据库图像区域，所述数据库图像区域包含所述目标；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述数据库图像区域中的所述目标的一检测结果；且基于所述识别决定所述观察者的一神经生理状态。根据本专利技术的一些实施例，本专利技术的方法包含：对所述观察者呈现一数据库图像区域，所述数据库图像区域包含所述目标；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述数据库图像区域中的所述目标的一检测结果；且基于所述识别决定所述观察者的一神经生理状态。根据本专利技术的一些实施例，本专利技术的方法包含：处理所述多个神经生理信号以识别一肌肉紧张，并在所述图像区域或所述图像区域群组的先前呈现期间响应于所述肌肉紧张为一阳性识别，对所述观察者再呈现一图像区域或一图像区域群组。根据本专利技术的一些实施例，本专利技术的方法包含：处理所述多个神经生理信号以识别一肌肉紧张，并在所述图像区域或所述图像区域群组的先前呈现期间响应于所述肌肉紧张为一阳性识别，对所述观察者再呈现一图像区域或一图像区域群组。根据本专利技术的一些实施例的一个方面，提供了一种分类一图像的方法，所述方法包含步骤：使用一计算机视觉程序到所述图像，以检测在所述图像中的一目标，并使用所述计算机视觉程序分配一计算机检测结果得分到所述图像；呈现所述图像到一观察者以作为一视觉刺激，同时从所述观察者本文档来自技高网...

【技术保护点】
一种分类一图像的方法，其特征在于，所述方法包含步骤：对所述图像使用一计算机视觉程序，以检测在所述图像中怀疑被一目标占据的多个候选图像区域；向一观察者呈现所述多个候选图像区域中的每一个以作为一视觉刺激，同时从所述观察者的一脑部收集多个神经生理信号；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述目标的一检测结果；以及决定在所述图像中所述目标的一存在与否是至少部分地基于对所述神经生理事件的识别而进行的。

【技术特征摘要】
【国外来华专利技术】2015.06.03 IL 2391911.一种分类一图像的方法，其特征在于，所述方法包含步骤：对所述图像使用一计算机视觉程序，以检测在所述图像中怀疑被一目标占据的多个候选图像区域；向一观察者呈现所述多个候选图像区域中的每一个以作为一视觉刺激，同时从所述观察者的一脑部收集多个神经生理信号；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述目标的一检测结果；以及决定在所述图像中所述目标的一存在与否是至少部分地基于对所述神经生理事件的识别而进行的。2.如权利要求1所述的方法，其特征在于：所述方法更包含：划分所述图像成为多个图像图块，其中所述多个图块的至少一个包含一候选图像区域，且其中所述呈现所述多个候选图像区域中的每一个的步骤包含：呈现所述多个图块中的至少一个。3.如权利要求1及2中任一项所述的方法，其特征在于：所述方法更包含：分配一神经生理检测结果得分到所述图像，其中所述决定在所述图像中所述目标的所述存在与否的步骤是至少部分基于所述神经生理检测结果得分而进行的。4.如权利要求3所述的方法，其特征在于：所述方法更包含：使用所述计算机视觉程序对所述图像分配一计算机检测结果得分，其中所述决定在所述图像中所述目标的所述存在与否的步骤是基于所述计算机检测结果得分及所述神经生理检测结果得分两者而进行的。5.如权利要求4所述的方法，其特征在于：所述方法更包含：对至少一图像区域或一图像区域群组，进行比较所述神经生理检测结果得分与所述计算机检测结果得分，并基于所述比较的结果向所述观察者再呈现所述至少一图像区域或所述图像区域群组。6.如权利要求1所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别多个眨眼，并且在所述图像区域或所述图像区域群组的先前呈现期间响应于所述眨眼为一阳性识别，向所述观察者再呈现一图像区域或一图像区域群组。7.如权利要求2至5中任一项所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别多个眨眼，并且在所述图像区域或所述图像区域群组的先前呈现期间响应于所述眨眼为一阳性识别，向所述观察者再呈现一图像区域或一图像区域群组。8.如权利要求1所述的方法，其特征在于：所述方法更包含：对所述图像区域群组中的至少一图像区域重复所述神经生理事件的所述呈现及所述识别，包含：进行比较所述识别与一先前所述至少一图像区域的识别，且基于所述比较的结果决定所述观察者的一神经生理状态。9.如权利要求2至7中任一项所述的方法，其特征在于：所述方法更包含：对所述图像区域群组中的至少一图像区域重复所述神经生理事件的所述呈现及所述识别，包含：进行比较所述识别与一先前所述至少一图像区域的识别，且基于所述比较的结果决定所述观察者的一神经生理状态。10.如权利要求1所述的方法，其特征在于：所述方法更包含：对所述观察者呈现一数据库图像区域，所述数据库图像区域包含所述目标；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述数据库图像区域中的所述目标的一检测结果；且基于所述识别决定所述观察者的一神经生理状态。11.如权利要求2至9中任一项所述的方法，其特征在于：所述方法更包含：对所述观察者呈现一数据库图像区域，所述数据库图像区域包含所述目标；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述数据库图像区域中的所述目标的一检测结果；且基于所述识别决定所述观察者的一神经生理状态。12.如权利要求1所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别一肌肉紧张，并在所述图像区域或所述图像区域群组的先前呈现期间响应于所述肌肉紧张为一阳性识别，对所述观察者再呈现一图像区域或一图像区域群组。13.如权利要求中任一项2至11所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别一肌肉紧张，并在所述图像区域或所述图像区域群组的先前呈现期间响应于所述肌肉紧张为一阳性识别，对所述观察者再呈现一图像区域或一图像区域群组。14.一种分类一图像的方法，其特征在于，所述方法包含步骤：使用一计算机视觉程序到所述图像，以检测在所述图像中的一目标，并使用所述计算机视觉程序分配一计算机检测结果得分到所述图像；呈现所述图像到一观察者以作为一视觉刺激，同时从所述观察者的一脑部收集多个神经生理信号；处理所述多个神经生理信号以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述目标的一检测结果；并基于所述识别分配一神经生理检测结果得分到所述图像；以及基于所述计算机检测结果得分及所述神经生理检测结果得分两者，决定在所述图像中所述目标的一存在与否。15.如权利要求14所述的方法，其特征在于：所述方法更包含：进行比较所述神经生理检测结果得分与所述计算机检测结果得分，及基于所述比较的结果向所述观察者再呈现所述图像。16.如权利要求14及15中任一项所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别多个眨眼，及在所述图像的先前呈现期间响应于所述眨眼为一阳性识别，向所述观察者再呈现所述图像。17.如权利要求14至16中任一项所述的方法，其特征在于：所述方法更包含：重复所述神经生理事件的所述呈现及所述识别，进行比较所述识别与所述图像的一先前识别，及基于所述比较的结果决定所述观察者的一神经生理状态。18.如权利要求14至17中任一项所述的方法，其特征在于：所述多个神经生理信号包含多个脑电图信号，及其中所述的方法包含：计算一慢波脑电图与一快波脑电图的一比值，及基于所述比值决定所述观察者的一神经生理状态。19.如权利要求14至18中任一项所述的方法，其特征在于：所述方法更包含：对所述观察者呈现一数据库图像，所述数据库图像包含所述目标；处理所述多个神经生理信号，以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述数据库图像中所述目标的一检测结果；及基于所述识别决定所述观察者的一神经生理状态。20.如权利要求14至19中任一项所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别一肌肉紧张，并在所述图像的先前呈现期间响应于所述肌肉紧张的一阳性识别，对所述观察者再呈现所述图像。21.如权利要求1所述的方法，其特征在于：所述多个神经生理信号包含多个脑电图信号，及其中所述的方法包含：计算一慢波脑电图与一快波脑电图的一比值，及基于所述比值决定所述观察者的一神经生理状态。22.如权利要求2至20中任一项所述的方法，其特征在于：所述多个神经生理信号包含多个脑电图信号，及其中所述的方法包含：计算一慢波脑电图与一快波脑电图的一比值，及基于所述比值决定所述观察者的一神经生理状态。23.如权利要求1所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别多个眨眼，以评估所述多个眨眼的一时间模式；及基于所述时间模式决定所述观察者的一神经生理状态。24.如权利要求2至22中任一项所述的方法，其特征在于：所述方法更包含：处理所述多个神经生理信号以识别多个眨眼，以评估所述多个眨眼的一时间模式；及基于所述时间模式决定所述观察者的一神经生理状态。25.如权利要求1所述的方法，其特征在于：所述计算机视觉程序使用一集群分析。26.如权利要求2至24中任一项所述的方法，其特征在于：所述计算机视觉程序使用一集群分析。27.如权利要求1所述的方法，其特征在于：所述计算机视觉程序使用多个神经网络。28.如权利要求2至26中任一项所述的方法，其特征在于：所述计算机视觉程序使用多个神经网络。29.如权利要求1所述的方法，其特征在于：所述收集所述多个神经生理信号是以至少150赫兹的一采样速率进行采样。30.如权利要求2至28中任一项所述的方法，其特征在于：所述收集所述多个神经生理信号是以至少150赫兹的一采样速率进行采样。31.如权利要求1所述的方法，其特征在于：所述方法更包含：对被收集的所述多个神经生理信号使用一低通滤波器。32.如权利要求2至30中任一项所述的方法任一项所述的方法，其特征在于：所述方法更包含：对被收集的所述多个神经生理信号使用一低通滤波器。33.如权利要求1所述的方法，其特征在于：所述处理所述多个神经生理信号的步骤包含：对所述多个神经生理信号使用一空间加权费雪线性判别(SWFLD)分类器。34.如权利要求2至32中任一项所述的方法，其特征在于：所述处理所述多个神经生理信号的步骤包含：对所述多个神经生理信号使用一空间加权费雪线性判别(SWFLD)分类器。35.如权利要求1所述的方法，其特征在于：所述处理所述多个神经生理信号的步骤包含：对所述多个神经生理信号使用一卷积神经网络(CNN)分类器。36.如权利要求2至34中任一项所述的方法，其特征在于：所述处理所述多个神经生理信号的步骤包含：对所述多个神经生理信号使用一卷积神经网络(CNN)分类器。37.如权利要求1所述的方法，其特征在于：所述处理所述多个神经生理信号的步骤包含：使用一空间加权费雪线性判别(SWFLD)分类器；基于所述空间加权费雪线性判别分类器计算一空间加权费雪线性判别分类得分；对所述多个神经生理信号使用一卷积神经网络(CNN)分类器；基于所述卷积神经网络分类器计算一卷积神经网络分类得分；及结合所述空间加权费雪线性判别得分及所述卷积神经网络得分。38.如权利要求2至32中任一项所述的方法，其特征在于：所述处理所述多个神经生理信号的步骤包含：使用一空间加权费雪线性判别(SWFLD)分类器；基于所述空间加权费雪线性判别分类器计算一空间加权费雪线性判别分类得分；对所述多个神经生理信号使用一卷积神经网络(CNN)分类器；基于所述卷积神经网络分类器计算一卷积神经网络分类得分；及结合所述空间加权费雪线性判别得分及所述卷积神经网络得分。39.如权利要求35所述的方法，其特征在于：所述卷积神经网络包含：一第一卷积层，使用空间滤波于多个时间点中的每一个以特征化所述多个神经生理信号；一第二卷积层，对由所述第一卷积层提供的多个输出进一步使用时域滤波；及一第三卷积层，对由所述第二卷积层提供的多个输出进一步使用时域滤波。40.如权利要求36至38中任一项所述的方法，其特征在于：所述卷积神经网络包含：一第一卷积层，使用空间滤波于多个时间点中的每一个以特征化所述多个神经生理信号；一第二卷积层，对由所述第一卷积层提供的多个输出进一步使用时域滤波；及一第三卷积层，对由所述第二卷积层提供的多个输出进一步使用时域滤波。41.如权利要求1所述的方法，其特征在于：所述方法更包含：对所述观察者呈现关于所述神经生理事件的所述识别的一反馈。42.如权利要求2至40中任一项所述的方法，其特征在于：所述方法更包含：对所述观察者呈现关于所述神经生理事件的所述识别的一反馈。43.如权利要求41所述的方法，其特征在于：所述反馈是二进制的。44.如权利要求41所述的方法，其特征在于：所述反馈是非二进制的。45.如权利要求1所述的方法，其特征在于：所述方法被使用在一虚拟现实系统。46.如权利要求2至44中任一项所述的方法，其特征在于：所述方法被使用在一虚拟现实系统。47.如权利要求1所述的方法，其特征在于：所述方法被使用在一增强现实系统。48.如权利要求1所述的方法，其特征在于：所述方法被使用在一增强现实系统。49.如权利要求45所述的方法，其特征在于：所述方法更包含：响应于所述存在与否的所述决定，改变由所述虚拟现实系统或所述增强现实系统提供的一视野。50.如权利要求46至48中任一项所述的方法，其特征在于：所述方法更包含：响应于所述存在与否的所述决定，改变由所述虚拟现实系统或所述增强现实系统提供的一视野。51.一种用于分类一图像的系统，其特征在于，所述系统包含：一数据处理器，被配置为对所述图像使用一计算机视觉程序以检测所述图像中是否有怀疑被通过一目标占据的多个图像区域，因而提供一组多个候选图像区域；一显示器，与所述数据处理器相通信，其中所述数据处理器被配置为通过所述显示器呈现给一观察者所述多个候选图像区中的每一个，以作为一视觉刺激；及一神经生理信号收集系统，与所述数据处理器相通信，及被配置为在所述呈现及传送所述多个信号到所述数据处理器期间从所述观察者的一脑部收集多个神经生理信号；其中所述数据处理器被配置为：用于处理所述多个神经生理信号，以识别一神经生理事件，所述神经生理事件用以代表所述观察者对所述目标的一检测结果；及用于至少部分基于所述神经生理事件的所述识别以决定在所述图像中所述目标的一存在与否。52.如权利要求51所述的系统，其特征在于：所述数据处理器被配置为划分所述图像成为多个图像图块，其中所述多个图块中的至少一个包含一候选图像区域，及其中所述呈现所述多个候选图像区域中的每一个包含：呈现所述多个图块中的至少一个。53.如权利要求51及52中任一项所述的系统，其特征在于：所述数据处理器被配置为分配一神经生理检测结果得分到所述图像，其中所述决定在所述图像中所述目标的所述存在与否是至少部分基于所述神经生理检测结果得分而进行的。54.如...

【专利技术属性】
技术研发人员：埃米尔·B·杰瓦，利昂·Y·迪欧尔，谢尔盖·魏斯曼，奥马里·哈里什，然艾·马诺尔，艾坦·内泽尔，夏妮·夏尔吉，
申请(专利权)人：英乐爱有限公司，
类型：发明
国别省市：以色列,IL