基于洞察力的认知辅助装置、方法及系统制造方法及图纸

一种用于增强用户的学习、复习、复述、以及记忆的技能的基于洞察力的认知辅助装置、方法及系统。基于个人直觉的认知辅助系统包括可作为相机头戴设备被用户佩戴的一个或多个组件，撷取该用户的直觉状态的一个或多个传感器，撷取视频的相机，基于所撷取的该用户的直觉状态针对所撷取的视频提供认知导航地图的处理器，以及输入针对由认知导航地图链接的该视频的笔记、评论的输入装置，以及储存该信息的所有部分以及链接及识别的认知地图的存储器。

Cognitive aids, methods and systems based on insight

【技术实现步骤摘要】
【国外来华专利技术】基于洞察力的认知辅助装置、方法及系统相关申请的交叉参考本申请要求2017年6月13日提交的美国临时专利申请号62/518,824的优先权，其内容整体通过参考包含于此。
与示例实施例一致的装置、方法、系统、以及电脑可读媒体广泛涉及认知技术，尤其涉及学习及记忆相关技术。
技术介绍
目前，世界的知识增长极快。学生受到来自学校及其它地方的大量信息的挑战。在多年的学习中，该大量信息常常以讲座形式呈现给学生。在记忆领域的研究似乎表明个人在他或她的短期记忆中可保留数量极为有限的感官信息。除非一段感官信息在个人的工作记忆中接收认知处理任务，否则它在几秒内就会被遗忘。当个人不喜欢该感官信息的主题时，尤其如此，他或她的大脑中的疼痛中心被激活并引起拖延。在如此情形下的个人往往将他或她的注意力集中在更愉快的想法，而不是学习不喜欢的主题。因此，此人的学习结果会很差。研究还表明，个人通过导航、扫描、关联、以及建立信息组块(chunk)可对复杂主题获得更全面的理解。组块包括针对该主题内的数个相关特征的关联网。并且，若每个新建组块又与该主题中的其它组块及该人的洞察力相关，则获得对该主题的充分全面理解，并通过洞察力分块网络在该人洞察力中很好地建立新的长期记忆。参见例如“LearningHowtoLearn,”BarbaraOakley,https://youtu.be/vd2dtkMINIw(最近一次访问为2018年1月7日)中关于拖延、专注模式、发散模式及分块方法。为将上述方法应用于今天的学习技术，学生可在上学期间在不同的课堂教学过程中使用相机拍摄有关他们的讲座的视频。学生还可在讲座期间在他们的笔记本(notebook)或便携式电脑上做笔记。在家，他们可在屏幕或电视上回放该视频，然后将该笔记与对应片段关联，以根据该笔记的指导，从一点到另一个点或者从一个主题到另一个主题来复习及复述讲座。不过，从头到尾复习长视频可能非常费时费力。而且，学生只能在他们理解的时间点或针对他们理解的主题做笔记，且笔记可能在他们感到困惑或他们不感兴趣的时间点或主题上丢失或令人困惑。当复习时，不容易跟踪并将笔记、评论放入视频中的相关特定片段中。当保存作品时，常常丢失在笔记、评论与相关特定片段之间的链接。因此，学习过程的有效性以及未来对此类保存信息的使用受到限制。讲师自其学生收到的用来帮助他或她认识他或她的学生感到无聊、困倦或困惑的点或时间以及学生感兴趣及兴奋的时间或点的反馈信号也非常有限。本领域需要监控、收集并标记一个或多个学生在他们的讲座上以及在他们的讲座期间的认知状态，以使他们可导航至必要的复习点。需要在视频讲座的特定片段中直接添加笔记、简述、以及/或者评论。此外，需要记录学习过程的一个或多个部分、组件、或完整数据，包括在教室录制的视频讲座，用户在讲座期间或过程中的同步认知表现，学生在复习期间或过程中的同步认知表现，复述，笔记的内容，评论，问题，搜索，以及针对所识别的文件的内容的导航系统。本领域还需要通过网络来交流、讨论、以及改进学习过程，以帮助用户更有效地学习材料，并通过提供关于讲座的更好的反馈来帮助讲师改进教学过程，以使讲师可以容易、有效、且有趣的方式呈现材料。本领域需要改进信息获取过程以及信息呈现过程。
技术实现思路
依据示例的非限制性实施例，基于撷取的同步的视觉及音频信息，撷取的同步的用户的认知状态信息、显示器、基于直觉的导航地图以及由用户输入的笔记或评论，提供一种认知辅助系统。依据示例的非限制性实施例，基于包含在子窗口(window)中显示并用用户的同步认知状态标记的子标题模块的脚本窗口而提供基于直觉的导航地图。依据示例的非限制性实施例，将撷取的同步的视觉及音频信息划分成与在子窗口中显示并用用户的同步认知状态标记的子标题模块同步的子视频或片段。依据示例的非限制性实施例，与在子窗口中显示并用用户的同步认知状态标记的子标题模块同步的该子视频可添加有由用户输入的相关笔记、评论、简述等。示例的非限制性实施例可克服现有技术中的上述缺点及问题，还可经开发以针对上面未提到的其它缺点及问题提供解决方案。不过，依据本披露的教导操作的方法、装置、系统、以及电脑可读媒体不一定需要克服任何上述特定问题或缺点。应当理解，一个或多个实施例无需克服上述缺点，且可不克服上述任何问题。依据示例实施例的一个态样，提供基于个人情感的认知辅助系统，其包括经配置以自环境撷取包括视觉及音频信息的至少其中之一的数据的至少一个装置，经配置以撷取与由该装置撷取的该数据对应的用户的情感状态的至少一个传感器，包括存储器(memory)及处理器的复习装置。该处理器经配置以：依据预定的标准将由该装置撷取的该数据划分成多个片段，针对该多个片段的各者，确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的由该传感器撷取的该用户的该情感状态的预定组分(component)与储存于该存储器中的独特参考信号之间的比较，其中，该独特参考信号代表独特直觉参考样本，生成至少一条时间轴，以及控制以针对该多个片段的各者显示所生成的包括情感指示器的时间轴。该情感指示器标示所确定的该用户的直觉状态。依据另一个示例实施例，提供基于个人情感的认知辅助方法。该方法包括通过电脑接收包括自环境撷取的视觉信息及音频信息的至少其中之一的数据，通过该电脑接收由至少一个传感器撷取的与该数据对应的用户的情感状态，依据预定的标准通过该电脑将该数据划分成多个片段，针对该多个片段的各者，通过该电脑确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的所接收的该用户的情感状态的预定组分与储存于该存储器中的多个独特参考信号之间的比较。该独特参考信号代表独特直觉参考样本。该方法还包括通过该电脑针对该数据生成至少一条时间轴。该时间轴包括针对该多个片段的各者的情感指示器，该情感指示器标示所确定的该用户的直觉状态，以及通过该电脑输出所生成的时间轴以及所接收的数据的至少其中一部分。依据又一个示例实施例，提供非暂时性电脑可读记录媒体，在其中储存基于个人情感的认知辅助方法。当通过电脑执行该方法时，该方法使该电脑：接收包括自环境撷取的视觉信息及音频信息的至少其中之一的数据，接收由至少一个传感器撷取的与该数据对应的用户的情感状态，依据预定的标准将该数据划分成多个片段，针对该多个片段的各者，确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的所接收的该用户的情感状态的预定组分与储存于该存储器中的多个独特参考信号之间的比较。该独特参考信号代表独特直觉参考样本。该电脑还针对该数据生成至少一条时间轴，该至少一条时间轴包括针对该多个片段的各者的情感指示器，该情感指示器标示所确定的该用户的直觉状态，以及输出所生成的时间轴以及所接收的数据的至少其中一部分。附图说明包含于并构成本说明书的一部分的附图与说明一起用以解释并本文档来自技高网...

【技术保护点】
1.一种基于个人情感的认知辅助系统，包括：/n至少一个装置，经配置以自环境撷取包括由用户观察的同步的视觉信息及音频信息的数据；/n至少一个传感器，经配置以撷取与该装置撷取的该数据同步的该用户的情感状态；/n复习装置，包括存储器及处理器，其中，该处理器经配置以：/n依据预定的标准将该装置撷取的该数据划分成多个片段，/n针对该多个片段的各者，确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的由该传感器撷取的该用户的该情感状态的预定组分与储存于该存储器中的独特参考信号之间的比较，其中，该独特参考信号代表独特直觉参考样本，/n生成至少一条时间轴，以及/n控制以针对该多个片段的各者显示所生成的包括情感指示器的时间轴，其中，该情感指示器标示所确定的该用户的直觉状态。/n

【技术特征摘要】
【国外来华专利技术】20170613 US 62/518,824;20180112 US 15/870,2101.一种基于个人情感的认知辅助系统，包括：
至少一个装置，经配置以自环境撷取包括由用户观察的同步的视觉信息及音频信息的数据；
至少一个传感器，经配置以撷取与该装置撷取的该数据同步的该用户的情感状态；
复习装置，包括存储器及处理器，其中，该处理器经配置以：
依据预定的标准将该装置撷取的该数据划分成多个片段，
针对该多个片段的各者，确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的由该传感器撷取的该用户的该情感状态的预定组分与储存于该存储器中的独特参考信号之间的比较，其中，该独特参考信号代表独特直觉参考样本，
生成至少一条时间轴，以及
控制以针对该多个片段的各者显示所生成的包括情感指示器的时间轴，其中，该情感指示器标示所确定的该用户的直觉状态。


2.如权利要求1所述的基于个人情感的认知辅助系统，其中，该数据包括彼此同步的该视觉信息与该音频信息，
其中，该复习装置还包括：
显示器，经配置以显示该时间轴并顺序显示该视频信息，以及
语音至文本转换器，经配置以将该多个片段的该音频信息转换成同步的文本及符号，其中，基于暂停点或基于是否达到预定的长度而将该音频信息划分成该多个片段，
其中，该处理器生成多个显示单元，该多个显示单元的各者包括该多个片段中的相应片段以及由该语音至文本转换器转换的对应文本，以及
其中，该显示器还经配置以显示所生成的多个显示单元的至少其中一些。


3.如权利要求2所述的基于个人情感的认知辅助系统，其中，该显示器显示至少两个显示区域，包括：
第一区域，其中播放所撷取的视频信息，以及
第二区域，其中显示所生成的多个显示单元的该至少其中一些，其中，所生成的多个显示单元的该至少其中一些包括与当前在该第一区域中播放的该视频的一部分对应的当前显示单元，在该当前显示单元之前的该多个显示单元中的至少一个显示单元，以及在该当前显示单元之后的该多个显示单元中的至少一个显示单元，以及
其中，该多个显示单元的各者包括标记及阴影的至少其中之一，标示针对该多个显示单元中的该相应显示单元所确定的该用户的直觉状态。


4.如权利要求3所述的基于个人情感的认知辅助系统，其中，该显示装置还包括经配置以接收用户输入的用户输入接口，以及
其中，响应标示自该多个显示单元中选择显示单元的通过该用户输入接口接收的该用户输入，该处理器将所选择的显示单元设置为该当前显示单元，并确定在该当前显示单元之前的至少该一个显示单元以及在该当前显示单元之后的至少一个显示单元，且该显示器显示该当前显示单元、所确定的至少一个先前显示单元以及至少一个将来显示单元。


5.如权利要求4所述的基于个人情感的认知辅助系统，其中，该处理器还经配置以控制该显示器基于通过该用户输入接口接收的用户输入针对该多个显示单元执行滚动功能及缩放功能的至少其中之一。


6.如权利要求4所述的基于个人情感的认知辅助系统，其中，该复习装置还与输入装置集成，该输入装置经配置以由该用户提供相关性及复述的简述、插入、以及记录，它们与该第二区域中显示的该显示单元同步，该第二区域是该显示器上的中央窗口。


7.如权利要求4所述的基于个人情感的认知辅助系统，其中，该处理器还经配置以搜索、检索图像、图形、文本及简述的至少其中之一并且将其插入该显示器的第三区域中，该第三区域包括与图像、图形、文本及简述的该至少其中之一相关的该当前显示单元。


8.如权利要求1所述的基于个人情感的认知辅助系统，其中，该装置是戴在该用户的头上的摄像机，
其中，该复习装置的该处理器还经配置以：
检测由该摄像机撷取的该视觉信息的多个图像中的静止对象，
在参考帧的边界边缘中并基于该多个图像检测所检测的静止对象的运动，以及
基于所检测的运动检测该用户的认知或情感状态，
其中，所生成的时间轴包括所检测的该用户的认知或情感状态，以及其中，所检测的该静止对象的运动标示该用户正在执行任务。


9.如权利要求1所述的基于个人情感的认知辅助系统，其中，该数据包括彼此同步的该视觉信息与该音频信息，
其中，该复习装置还包括：
显示器，经配置以显示该时间轴并顺序显示该视频信息，以及
运动至简述转换器，经配置以将该多个片段的情感运动信息转换成同步的简述及符号，其中，基于暂停点或基于是否达到预定的长度而将该情感运动信息划分成该多个片段，
其中，...

【专利技术属性】
技术研发人员：PV·阮，
申请(专利权)人：FUVI认知网络公司，
类型：发明
国别省市：美国;US