用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台制造技术

根据本发明专利技术若干实施例的行为和心理健康治疗系统包括连接到计算系统的可穿戴相机和/或各种传感器(加速度计、麦克风以及各种其它传感器)，其中计算系统包括显示器、音频输出端、全息输出端和/或振动触觉输出端，以从由至少一个相机捕获的图像中自动识别社交线索，并经由一个或多个输出端将这个信息提供给穿戴者，诸如(但不限于)显示图像、显示全息覆盖图、生成听觉信号和/或生成振动。

Mobile and wearable video capture and feedback platform for the treatment of mental disorders

Behavior and mental health treatment systems according to several embodiments of the present invention include wearable cameras and/or various sensors (accelerometers, microphones, and various other sensors) connected to a computing system, where the computing system includes a display, an audio output terminal, a holographic output terminal and/or a vibratory tactile output terminal to automatically identify societies from images captured by at least one camera. Intersection leads and provide this information to the wearer via one or more output terminals, such as (but not limited to) displaying images, displaying holographic overlays, generating auditory signals and/or generating vibration.

【技术实现步骤摘要】
【国外来华专利技术】用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
本专利技术涉及提供使用移动和可穿戴视频捕获系统来提供行为障碍治疗的系统和方法。特别地，计算系统运行软件系统，该软件系统利用分类器来检测由系统捕获的图像内可见的面部中的表情，并作为其治疗的一部分向用户提供反馈。
技术介绍
众所周知，如自闭症、焦虑症、抑郁症、双相情感障碍、精神分裂症、创伤性脑损伤、阿尔茨海默氏症和帕金森病等精神障碍会对社交交互产生负面影响。例如，大约68个儿童中的一个和46个男孩中的一个患有自闭症，并且由于他们的状况而难以识别面部表情、进行眼神接触以及进行社交交互。获得或重新获得这样的社交技能可能需要密集的行为干预，这常常是昂贵的、难以访问的并且被不一致地管理。例如，目前的自闭症和其它一些障碍的护理标准涉及“闪卡治疗”，其涉及面部情绪的艰苦记忆。因此，许多患有自闭症的儿童无法建立核心社交技能，并且很快就会走下恶化他们的症状的孤立道路。
技术实现思路
公开了根据本专利技术各种实施例的用于使用移动和可穿戴视频捕获系统来提供行为和精神健康障碍治疗的系统和方法。在一个实施例中，一种图像处理系统包括：至少一个相机，用于捕获周围环境的图像；至少一个处理器和包含软件的存储器；并且该软件指示所述至少一个处理器：获得包括由所述至少一个相机捕获的图像序列的数据；检测图像序列中的若干图像内的至少一个人的面部；对所述若干图像中的每个图像中的所述至少一个人的检测到的面部并且使用分类器执行中性特征估计和相减，并基于所述若干图像来检测该面部中的至少一个情绪线索；基于该情绪线索识别至少一种情绪；以及实时地显示至少一个情绪指示符标签，以提供治疗反馈。在另一个实施例中，该系统包括可穿戴视频捕获系统，该可穿戴视频捕获系统包括至少一个面向外的相机。在又一个实施例中，可穿戴视频捕获系统选自包括以下的组：虚拟现实耳机、混合现实耳机、增强现实耳机和包括平视显示器的眼镜。在另一个实施例中，可穿戴视频捕获系统与至少一个移动设备通信，并且所述至少一个处理器在所述至少一个移动设备上执行。在又一个实施例中，软件指示所述至少一个处理器获得补充数据，该补充数据包括从选自包括以下的组的至少一个传感器捕获的数据：麦克风、加速度计、陀螺仪、眼睛跟踪传感器、头部跟踪传感器、体温传感器、心率传感器、血压传感器和皮肤电导率传感器。在又一个实施例中，软件指示所述至少一个处理器实时地显示至少一个情绪指示符标签，以通过执行在平视显示器内显示标签、生成听觉信号、生成振动、显示全息覆盖以及显示图像中的至少一个来提供治疗反馈。在又一个实施例中，软件指示所述至少一个处理器在与图像内检测到的面部相关的感兴趣区域内以更高分辨率处理图像数据。在又一个实施例中，感兴趣区域是检测到的面部周围的边界区域，其中处理数据还使用移动平均过滤器来平滑感兴趣的边界区域。再次在又一个实施例中，软件指示所述至少一个处理器通过以下对所述至少一个人执行中性特征估计和相减：执行面部检测；执行基准点面部跟踪；执行面部与规范尺寸和姿势的配准(registration)；执行照明规格化预处理；生成关于面部的感兴趣区域中的梯度直方图特征提取；以及经由逻辑回归分类器对面部表情进行分类；和对结果所得的分类的过滤。再次在又一个实施例中，表情线索包括选自包括以下的组的信息：面部表情、面部肌肉移动、身体语言、手势、身体姿势、眼睛接触事件、头部姿势、谈话的特征、烦躁和焦虑信息。再次在又一个实施例中，使用统计上有代表性的社交表情数据的训练数据集来训练分类器，并且该分类器提供基于事件的社交线索。在又一个附加实施例中，软件指示所述至少一个处理器用目标个体的用户标记数据来补充训练集。再次在又一个实施例中，软件指示所述至少一个处理器使用训练数据和目标个人的用户标记数据来训练分类器，使得与在训练数据中的其他个人的面部中检测至少一个情绪线索的分类器的性能相比，分类器实现更高的在目标个人的面部中检测至少一个情绪线索的性能。再次在另一个实施例中，软件指示所述至少一个处理器：提示用户用至少一个情绪线索标签标记目标个人的数据；并将用于目标个人的用户标记数据存储在存储器中。再次在又一个实施例中，软件指示所述至少一个处理器存储社交交互数据并提供用户界面用于回顾社交交互数据。在又一个附加实施例中，分类器是提供连续社交线索的回归机器。在又一个附加实施例中，使用标准面部表情的视频数据并利用表达性说话序列训练分类器作为视觉时间相关分类器。再次在又一个实施例中，软件指示所述至少一个处理器使用至少一个面向内的眼睛跟踪数据结合面向外的视频数据来检测注视事件。再次在又一个附加实施例中，软件指示所述至少一个处理器提供对记录的活动的回顾，并提供作为对记录的活动的反应而生成的用户行为数据。再次在又一个实施例中，对所述至少一个人的面部执行中性特征估计和相减包括基于在中性减去特征上训练的第一表情分类器和在原始(未被中性减去的)特征上训练的第二2类中性/表情分类器的输出来执行中性表情相减。在一个实施例中，一种行为治疗系统包括：至少一个相机，用于捕获周围环境的图像；至少一个处理器和包含软件的存储器；其中软件指示所述至少一个处理器为先前存储在系统的存储器内的若干图像中的每一个显示表达特定情绪的人的面部的图像，其中该图像与该特定情绪相关联；从观看该图像的用户接收关于用户已经选择的情绪的输入，其说明该情绪已被人的面部描绘；确定从用户接收到的输入是否与该特定图像相关联的特定情绪匹配；以及基于用户的选择向用户提供反馈。在另一个实施例中，一种行为治疗系统包括：至少一个相机，用于捕获周围环境的图像；至少一个处理器和包含软件的存储器；其中软件指示所述至少一个处理器：实时地捕获人的视频；使用至少一个分类器检测人的面部的情绪；提供关于当前未被检测到的应当在人中引发的不同情绪的指示；确定情绪是否在一定时间段内被引发(elicit)；以及向系统的用户提供关于他们引发情绪的能力的反馈。附图说明参考以下附图和数据图将更全面地理解本描述，这些附图和数据图作为本公开的各种实施例呈现，并且不应当被解释为本公开的范围的完整叙述，其中：图1图示了根据本专利技术实施例的行为治疗系统。图2示出了根据本专利技术实施例的行为系统的示意性概述，其中可穿戴捕获设备向计算设备提供自我中心视频和其它感官数据。图3图示了根据本专利技术实施例的可穿戴捕获设备，它是一副智能眼镜，其向移动计算设备提供自我中心视频和其它感官数据。图4图示了根据本专利技术实施例的、可以根据感官数据生成社交线索的社交动作识别系统。图5提供了根据本专利技术实施例使用的面部跟踪器和面部表情/动作单元识别处理的交互的放大视图。图6图示了根据本专利技术实施例的、用于集成面向外的视频数据和可能面向内的眼睛跟踪数据以检测可以导致社交线索的相互注视或单向注视事件的处理。图7图示了根据本专利技术实施例的、用于集成面向外的视频数据和可能面向内的眼睛跟踪数据以检测可以导致社交线索的相互注视或单向注视事件的处理。图8示出图示了根据本专利技术实施例的、产生社交信息或线索以将其给予设备的穿戴者和其他用户的系统。图9图示了根据本专利技术实施例的、用于训练分类器的训练数据的标签校正的处理。图10图示了根据本专利技术实施例的高维机器学习系统的示例。图11图示了根据本专利技术实施例的、本文档来自技高网...

【技术保护点】
1.一种图像处理系统，包括：至少一个相机，用于捕获周围环境的图像；至少一个处理器和包含软件的存储器；其中所述软件指示所述至少一个处理器：获得包括由所述至少一个相机捕获的图像序列的数据；检测所述图像序列中的多个图像内的至少一个人的面部；对所述多个图像中的每个图像中的至少一个人的检测到的面部并且使用分类器执行中性特征估计和相减以基于所述多个图像来检测面部中的至少一个情绪线索；基于所述情绪线索识别至少一种情绪；以及实时地显示至少一个情绪指示符标签以提供治疗反馈。

【技术特征摘要】
【国外来华专利技术】2016.05.06 US 62/333,1081.一种图像处理系统，包括：至少一个相机，用于捕获周围环境的图像；至少一个处理器和包含软件的存储器；其中所述软件指示所述至少一个处理器：获得包括由所述至少一个相机捕获的图像序列的数据；检测所述图像序列中的多个图像内的至少一个人的面部；对所述多个图像中的每个图像中的至少一个人的检测到的面部并且使用分类器执行中性特征估计和相减以基于所述多个图像来检测面部中的至少一个情绪线索；基于所述情绪线索识别至少一种情绪；以及实时地显示至少一个情绪指示符标签以提供治疗反馈。2.如权利要求1所述的图像处理系统，其中所述系统包括可穿戴视频捕获系统，所述可穿戴视频捕获系统包括至少一个面向外的相机。3.如权利要求2所述的图像处理系统，其中可穿戴视频捕获系统选自包括以下的组中：虚拟现实耳机、混合现实耳机、增强现实耳机和包括平视显示器的眼镜。4.如权利要求2所述的图像处理系统，其中可穿戴视频捕获系统与至少一个移动设备通信，并且所述至少一个处理器在所述至少一个移动设备上执行。5.如权利要求1所述的图像处理系统，其中所述软件指示所述至少一个处理器获得补充数据，所述补充数据包括从选自包括以下的组中的至少一个传感器捕获的数据：麦克风、加速度计、陀螺仪、眼睛跟踪传感器、头部跟踪传感器、体温传感器、心率传感器、血压传感器和皮肤电导率传感器。6.如权利要求1所述的图像处理系统，其中实时地显示至少一个情绪指示符标签以提供治疗反馈还包括：执行在平视显示器内显示标签、生成听觉信号、生成振动、显示全息覆盖以及显示图像中的至少一个。7.如权利要求1所述的图像处理系统，其中所述软件指示所述至少一个处理器在与图像内检测到的面部相关的感兴趣区域内以更高分辨率处理图像数据。8.如权利要求7所述的图像处理系统，其中所述感兴趣区域是检测到的面部周围的边界区域，其中处理图像数据还包括：使用移动平均过滤器来平滑感兴趣的边界区域。9.如权利要求8所述的图像处理系统，其中所述软件指示所述至少一个处理器通过以下对所述至少一个人执行中性特征估计和相减：执行面部检测；执行基准点面部跟踪；执行面部与规范尺寸和姿势的配准；执行照明规格化预处理；生成关于面部的感兴趣区域中的梯度直方图特征提取；并且经由逻辑回归分类器对面部表情进行分类；以及过滤结果得到的分类。10.如权利要求1所述的图像处理系统，其中表情线索包括选自包括以下的组的信息：面部表情、面部肌肉移动、身体语言、手势、身体姿势、眼睛接触事件、头部姿势、谈话的特征、烦躁和焦虑信息。11.如权利要求1所述的图像处理系统，其中使用统计上有代表...

【专利技术属性】
技术研发人员：傅凯林，N·J·哈伯，D·P·沃尔，A·S·克里尼，T·A·维诺格拉德，
申请(专利权)人：斯坦福大学托管董事会，傅凯林，
类型：发明
国别省市：美国,US