用于检测神经生理状态的社交交互应用制造技术

技术编号:26798892 阅读:25 留言:0更新日期:2020-12-22 17:16
复合神经生理状态(CNS)值的应用包括使用该值作为计算机游戏和其他社交交互应用中参与者情绪状态指示符的等级。CNS基于生物特征传感器数据进行计算,该生物特征传感器数据经处理以沿多个维度(诸如评价度、唤起度和优势度)表达玩家对内容、游戏玩法以及其他参与者的参与度。一种装置被配置为使用硬件、固件和/或软件来执行该方法。

【技术实现步骤摘要】
【国外来华专利技术】用于检测神经生理状态的社交交互应用相关申请的交叉引用本申请要求于2018年1月8日提交的美国临时专利申请序列号62/614,811、于2018年4月23日提交的美国临时专利申请序列号62/661,556和于2018年8月7日提交的美国临时专利申请序列号62/715,766的优先权,这些申请通过引用整体并入本文。
本公开涉及用于在通信增强和游戏应用中根据对神经生理状态的检测来对生物特征传感器数据进行信号处理的应用、方法和装置。
技术介绍
许多人都善于在通信期间与其他人感同身受;其他人则更少。随着电子媒体越来越普遍地用于许多人际或人机通信中,在使用电子通信媒体的人们之间,通过可见和可听线索进行情绪告知变得更加困难或不可能。在文本媒体中,用户诉诸表情符号或其他手动信号。通常,情绪通信会失败,并且用户会误解彼此的意图。此外,有些人善于掩饰自己的感受,并且有时会利用自己的技能欺骗或误导其他人。诸如测谎仪之类的设备用于在有限的情况下解决这些问题,但是对于广泛使用而言却过于麻烦和有侵入性。在一个有关的问题中,许多计算机游戏对用户的情绪信号无响应,这可能导致玩家随着时间的流逝对玩游戏失去兴趣。因此,期望开发新的方法和其他新技术以增强人际或人机通信和游戏,从而克服现有技术的这些和其他限制,并帮助制作人为未来受众提供更具吸引力的娱乐体验。
技术实现思路

技术实现思路
和以下具体实施方式应被解释为整体公开的补充部分,这些部分可以包括冗余的主题和/或补充的主题。任何节段中的省略均不指示该整体申请中描述的任何要素的优先级或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述,其根据相应的公开内容是显而易见的。2018年4月23日提交的序列号为62/661,556的在先申请为数字地表示用户参与音频-视频内容打下了基础,包括但不限于基于传感器数据的内容参与能力(CEP)的数字表示,类似于本申请中描述的复合神经生理状态(CNS)。如在较早申请中更充分描述的,计算机处理基于来自至少一个传感器的传感器数据来开发针对内容的CEP,该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿响应。例如,传感器数据可以包括从相应传感器接收到的以下一项或多项:脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和身体化学感测数据和功能近红外数据(fNIR)。相同或相似的传感器可以用于CNS的运算。“用户”是指受众成员、出于娱乐目的作为消费者而体验视频游戏或促进社交交互的其他应用的人。本申请建立在此基础上,在以下总结的各种应用中使用CNS。CNS是用户的生物特征状态的客观、算法和数字电子量度,其在社交交互期间(例如,在玩视频游戏或参与促进社交交互的应用时)与用户的神经生理状态相关。如本文所用,“社交交互”包括其中两个或更多人交互的任何游戏,以及其他形式的社交交互,诸如当用户与由计算机操作的非玩家角色对抗或与她自己以前的表现对抗(例如,比较)时的人际通信或模拟的社交交互。在给定的社交交互中,用户可能会关注学习内部神经生理状态如何对应于传感器可检测到的外在效应。感兴趣的状态可以是用户自己的神经生理状态,或者另一用户的神经生理状态。如本文所用,“神经生理”是指指示或源自人的生理状态、神经状态或这两种状态。“生物特征”是指生物状态的量度,其涵盖“神经生理”并且可以涵盖其他信息,例如身份信息。某些数据(例如,人脸或其他身体部位的图像)可能既指示身份又指示神经生理状态。如本文所用,“生物特征”始终包括“神经生理”。CNS表达至少两个正交量度,例如唤起度(arousal)和评价度(valence)。如本文所用,“唤起度”是指根据其心理学含义而处于生理机敏、清醒和注意的状态或状况。高唤起度指示感兴趣和关心,而低唤起度指示无聊和缺少兴趣。“评价度”在这里也以其吸引力或美学的心理意义来使用。正评价度指示吸引,而负评价度指示厌恶。在一方面,一种用于基于用户的神经生理状态的表示(例如,定量量度或定性符号)来控制社交交互应用的方法可以包括由至少一个处理器监测来自社交交互(例如游戏或非结构化聊天)的数字数据。该方法可以包括从至少一个传感器接收传感器数据,该至少一个传感器被定位成在社交交互期间感测至少一个用户的神经生理响应。该方法可以包括基于传感器数据确定复合神经生理状态(CNS)值,并将CNS值记录在计算机存储器中和/或将CNS值的表示传达给用户或社交交互中的另一参与者。在一方面,确定CNS值还可以包括基于传感器数据确定唤起度值,并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较。传感器数据可以包括以下各项中的一项或多项:脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。一方面,可以基于认知鉴别模型来运算复合神经生理状态(CNS)。另外,运算CNS值可以包括基于传感器数据确定评价度值并且在确定神经生理状态的量度时包括评价度值。确定评价度值可以基于传感器数据,其包括以下各项中的一项或多项:脑电图(EEG)数据、面部肌电图(fEMG)数据、视频面部动作单位(FAU)数据、脑机接口(BMI)数据、功能磁共振成像(fMRI)数据、功能近红外数据(fNIR)和正电子发射断层扫描(PET)。在相关方面,该方法可以包括基于进一步的传感器数据来确定期望平均唤起度,该进一步的传感器数据测量接收者在对已知音频-视频刺激参与时的类似非自愿响应。因此,该方法可以包括播放已知音频-视频刺激,该已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。确定CNS值、针对一个或多个用户中的每一个运算多个事件能力中的一个、基于传感器数据的一个或多个源标识符为事件能力中的每一个分配权重、确定期望平均唤起度和基于传感器数据确定评价度值的更详细的方面可以如本文上文或下文更详细描述中针对其他应用所述。前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算装置中实施,这些程序指令在由计算机处理器执行时使该装置执行所描述的操作。处理器相对于装置和用户可以是本地的、远程定位的,或者可以包括本地处理器和远程处理器的组合。一种装置可以包括计算机或一组连接的计算机,该计算机或该组连接的计算机用于测量和传达用于内容输出设备的CNS或类似的参与量度。内容输出设备可以包括例如个人计算机、移动电话、音频接收器(例如,蓝牙听筒)、笔记本计算机、电视或计算机监测器、投影仪、虚拟现实设备、增强现实设备或触觉反馈设备。该装置的其他元件可以包括例如音频输出设备和用户输入设备,它们参与该方法的执行。一种装置可以包括虚拟或增强现实设本文档来自技高网...

【技术保护点】
1.一种用于基于用户的神经生理状态的表示来控制社交交互应用的方法,所述方法包括:/n由至少一个处理器监测来自涉及所述应用的用户的社交交互的数字数据;/n从至少一个传感器接收传感器数据,所述至少一个传感器被定位成感测所述用户的与所述社交交互有关的神经生理响应;/n基于所述传感器数据,确定所述社交交互的复合神经生理状态值即CNS值;以及/n以下各项中的至少一项:在计算机存储器中记录与所述社交交互相关的所述CNS值,向所述用户指示所述CNS值,向所述社交交互中的另一参与者指示所述CNS值,或至少部分地基于所述CNS值来控制所述社交交互应用的进度。/n

【技术特征摘要】
【国外来华专利技术】20180108 US 62/614,811;20180423 US 62/661,556;20181.一种用于基于用户的神经生理状态的表示来控制社交交互应用的方法,所述方法包括:
由至少一个处理器监测来自涉及所述应用的用户的社交交互的数字数据;
从至少一个传感器接收传感器数据,所述至少一个传感器被定位成感测所述用户的与所述社交交互有关的神经生理响应;
基于所述传感器数据,确定所述社交交互的复合神经生理状态值即CNS值;以及
以下各项中的至少一项:在计算机存储器中记录与所述社交交互相关的所述CNS值,向所述用户指示所述CNS值,向所述社交交互中的另一参与者指示所述CNS值,或至少部分地基于所述CNS值来控制所述社交交互应用的进度。


2.根据权利要求1所述的方法,其中确定所述CNS值还包括基于所述传感器数据确定唤起度值,并且将基于所述传感器数据的刺激平均唤起度与期望平均唤起度进行比较。


3.根据权利要求2所述的方法,其中所述传感器数据包括以下各项中的一项或多项:脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。


4.根据权利要求2所述的方法,还包括基于进一步的传感器数据来确定所述期望平均唤起度,所述进一步的传感器数据测量所述接收者在对已知音频-视频刺激参与时的类似非自愿响应。


5.根据权利要求4所述的方法,还包括播放所述已知音频-视频刺激,所述已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。


6.根据权利要求2所述的方法,其中确定所述CNS值还包括基于所述传感器数据超过阈值达一时间段而检测到一个或多个刺激事件。


7.根据权利要求6所述的方法,其中确定所述CNS值还包括针对所述一个或多个用户中的每一个并且针对所述刺激事件中的每一个运算多个事件能力中的一个,并且聚合所述事件能力。


8.根据权利要求7所述的方法,还包括基于所述传感器数据的一个或多个源标识符为所述事件能力中的每一个分配权重。


9.根据权利要求7所述的方法,其中确定所述期望平均唤起度还包括基于所述进一步的传感器数据超过阈值达一时间段而检测到一个或多个刺激事件,并且针对所述一个或多个用户并且针对所述刺激事件中的每一个运算所述已知音频-视频刺激的多个期望能力中的一个。


10.根据权利要求9所述的方法,其中运算所述CNS能力包括运算所述事件能力的总和与所述期望能力的聚合的比率。


11.根据权利要求1所述的方法,还包括基于所述传感器数据确定评价度值。


12.根据权利要求11所述的方法,其中所述传感器数据包括以下各项中的一项或多项:脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。


13.根据权利要求11所述的方法,还包括基于针对所述已知音频-视频刺激而收集的类似值来标准化所述评价度值。


14.根据权利要求11所述的方法,还包括基于将所述评价度值与用于所述社交交互的目标评价度值进行比较来确定评价度误差测量。


15.根据权利要求1所述的方法,还包括在所述社交交互应用的玩耍期间,将所述CNS值的指示输出到分配给所述用户的客户端设备。


16.根据权利要求1所述的方法,还包括在所述社交交互应用的玩耍期间,将所述CNS值的指示输出到分配给另一参与者的客户端设备。


17.根据权利要求1所述的方法,其中所述方法包括至少部分地基于所述CNS值来控制所述社交交互应用的进度。


18.根据权利要求17所述的方法,其中控制所述社交交互应用的进度包括以下各项中的至少一项:确定获胜者;改变用于音频-视频游戏输出的参数设置;为所述用户选择新的挑战;将用户与其他玩家进行匹配;或确定用户化身、竞争玩家化身或非玩家角色的能力。


19.根据权利要求1所述的方法,其中所述社交交互应用是以下各项中的一项或多项:纸牌游戏、虚张声势游戏、约会应用、社交网络应用、动作视频游戏、冒险视频游戏、角色扮演视频游戏、模拟视频游戏、策略视频游戏、体育视频游戏和派对视频游戏。


20.一种用于基于用户的神经生理状态的表示来控制社交交互应用的装置,其包括耦合到存储器和一个或多个生物特征传感器的处理器,所述存储器保存程序指令,所述程序指令在由所述处理器执行时使所述装置执行以下操作:
监测来自涉及所述应用的用户的社交交互的数字数据;
从至少一个传感器接收传感器数据,所述至少一个传感器被定位成感测所述用户的与所述社交交互有关的神经生理响应;
基于所述传感器数据,确定所述社交交互的复合神经生理状态值即CNS值;以及
以下各项中的至少一项:在计算机存储器中记录与所述社交交互相关的所述CNS值,向所述用户指示所述CNS值,向所述社交交互中的另一参与者指示所述CNS值,或至少部分地基于所述CNS值来控制所述社交交互应用的进度。


2...

【专利技术属性】
技术研发人员:A·A·查佩尔L·S·奥斯特罗夫G·雷克莎尔
申请(专利权)人:华纳兄弟娱乐公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1