基于认知负荷控制三维场景构建的方法及系统技术方案

本公开提供一种基于认知负荷控制三维场景构建的方法及系统。所述方法包括：响应于头戴式显示设备处于工作状态，获取第一脑电信号，并基于所述第一脑电信号确定认知负荷水平；根据预设匹配规则和所述认知负荷水平，确定用于构建三维场景的特征点数量；获取所述头戴式显示设备所处的环境图像；根据预设特征点检测算法、所述环境图像和所述特征点数量，确定特征点集合，以使根据所述特征点集合构建的三维场景能够调节所述认知负荷水平。这样的方式，能够改善认知负荷，提高用户体验。提高用户体验。提高用户体验。

【技术实现步骤摘要】
基于认知负荷控制三维场景构建的方法及系统


[0001]本公开涉及计算机
，尤其涉及一种基于认知负荷控制三维场景构建的方法及系统。

技术介绍

[0002]扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也增强现实(Augmented Reality，简称AR)、虚拟现实(Virtual Reality，简称VR)、混合现实(Mix Reality,简称MR)等多种技术的统称。
[0003]目前，用户在使用扩展现实产品的过程中，由于视觉疲劳、活动强度等因素容易造成认知负荷大幅提升进而影响使用体验。

技术实现思路

[0004]有鉴于此，本公开的目的在于提出一种基于认知负荷控制三维场景构建的方法及系统。
[0005]基于上述目的，第一方面，本公开提供了基于认知负荷控制三维场景构建的方法，所述方法包括：
[0006]响应于头戴式显示设备处于工作状态，获取第一脑电信号，并基于所述第一脑电信号确定认知负荷水平；
[0007]根据预设匹配规则和所述认知负荷水平，确定用于构建三维场景的特征点数量；
[0008]获取所述头戴式显示设备所处的环境图像；
[0009]根据预设特征点检测算法、所述环境图像和所述特征点数量，确定特征点集合，以使根据所述特征点集合构建的三维场景能够调节所述认知负荷水平。
[0010]第二方面，本公开提供了基于认知负荷控制三维场景构建的系统，所述系统包括：
[0011]显示模组，被配置为显示画面；
[0012]脑电信号采集模块，被配置为采集所述显示模组处于工作状态时用户的第一脑电信号；
[0013]环境图像采集模组，被配置为获取所述系统所处的环境图像；以及
[0014]处理器，与所述显示模组、所述脑电信号采集模块和所述环境图像采集模组连接，并被配置为：
[0015]基于所述第一脑电信号确定认知负荷水平；
[0016]根据预设匹配规则和所述认知负荷水平，确定用于构建三维场景的特征点数量；以及
[0017]根据预设特征点检测算法、所述环境图像和所述特征点数量，确定特征点集合，以使根据所述特征点集合构建的三维场景能够调节所述认知负荷水平。
[0018]从上面所述可以看出，本公开提供的基于认知负荷控制三维场景构建的方法及系统，通过获取获取第一脑电信号并依据第一脑电信号确定认知负荷水平，根据所述认知负
荷水平匹配对应的用于构建三维场景的特征点数量，使得根据所述特征点集合构建的三维场景能够调节所述认知负荷水平，从而改善认知负荷，提高用户体验。
附图说明
[0019]为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本公开实施例提供的一种基于认知负荷控制三维场景构建的方法流程图；
[0021]图2为本公开实施例提供的脑电信号采集所用的电极布设标准图；
[0022]图3为本公开实施例提供的一种平均功率谱的计算方法的流程示意图；
[0023]图4为本公开实施例提供的姿态信息示意图；
[0024]图5为本公开实施例提供的基于认知负荷控制三维场景构建的系统的结构示意图。
具体实施方式
[0025]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0026]需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0027]认知负荷理论是由澳大利亚新南威尔士大学的认知心理学家约翰
·
斯威勒1988年首先提出来的，它以Miller等人早期的研究为基础。认知负荷(Cognitive Workload)表征工作状态下脑力资源占用率,也称为精神负荷(Mental Workload)、脑力负荷、心理负荷。
[0028]将认知负荷的研究集成于扩展现实，特别是虚拟现实交互中，可以带给用户因人而异的专属体验，通过实时监测用户的认知负荷来反应用户在使用头戴式显示设备(Head Mounted Display，简写HMD)时的脑力活动，根据认知负荷调整例如虚拟现实应用的具体方案，从而把虚拟现实设备交互和身心健康结合起来，有助于将虚拟现实未来的发展提升到全新境界。
[0029]通常，可以通过监测心率、肌肉运动、瞳孔尺寸等生理指标评估认知负荷水平。
[0030]本公开的实施例中通过采集脑电信号来直接计算认知负荷水平，例如计算脑电信号的功率谱。相比于生理指标评估认知负荷水平，脑电信号能够更直接、精确的反馈认知负荷的程度。
[0031]目前，通过脑
‑
机接口可以获取脑电信号。脑
‑
机接口(brain
‑
computer interface,简称BCI)，也称作“大脑端口”或者“脑机融合感知”，它是在人或动物脑(或者脑
细胞的培养物)与外部设备间建立的直接连接通路。根据现有的大脑信号检测方式，可以将BCI分为侵入式和非侵入式两种。
[0032]侵入式BCI是运用正规的手术方式将电极放置人脑中来测量脑电信号，主要用于重建特殊感觉(例如视觉)以及瘫痪病人的运动功能。此类脑
‑
机接口通常直接植入到大脑的灰质，因而所获取的神经信号的质量比较高。但其缺点是容易引发免疫反应和愈伤组织(疤)，进而导致信号质量的衰退甚至消失。非侵入式BCI是利用电极片或电极帽等无手术风险的设备来测量大脑信号。目前最常用的检测手段是脑电图(electroencephalogram,EEG)。
[0033]相比于侵入式的BCI，采用非侵入式BCI会受到头发和头皮的遮挡，导致检测到的大脑信号信噪比较高，但是不需要考虑手术的风险，不用担心对被试的脑部造成伤害，并且利用非侵入式BCI获取EEG信号时操作简便，实验简单，信号分辨率也相对较高。
[0034]可选地，本公开实施例采用非侵入式BCI，利用电极采集脑电信号。
[0035]进一步地，本公开实施例提供一种基于认知负荷控制三维场景构建的方法。通过获取获取第一脑电信号并依据第一脑电信号确定认知负荷水平，根据所述认知负荷水平匹配对应的用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于认知负荷控制三维场景构建的方法，其特征在于，所述方法包括：响应于头戴式显示设备处于工作状态，获取第一脑电信号，并基于所述第一脑电信号确定认知负荷水平；根据预设匹配规则和所述认知负荷水平，确定用于构建三维场景的特征点数量；获取所述头戴式显示设备所处的环境图像；根据预设特征点检测算法、所述环境图像和所述特征点数量，确定特征点集合，以使根据所述特征点集合构建的三维场景能够调节所述认知负荷水平。2.根据权利要求1所述的方法，其特征在于，所述第一脑电信号包括单通道信号；和/或所述第一脑电信号以采样频率800～1200Hz、采样时间50～70秒的方式获取。3.根据权利要求1所述的方法，其特征在于，所述认知负荷的评价指标包括平均功率谱；所述基于所述第一脑电信号确定认知负荷水平的步骤，具体包括：对所述第一脑电信号进行预处理，得到第二脑电信号；利用加窗平均周期图法和归一化法对所述第二脑电信号进行处理，得到平均功率谱。4.根据权利要求3所述的方法，其特征在于，所述对所述第一脑电信号进行预处理，得到第二脑电信号的步骤，具体包括：对所述第一脑电信号进行降噪处理；对经过降噪处理的第一脑电信号进行滤波处理，得到所述第二脑电信号。5.根据权利要求3所述的方法，其特征在于，所述利用加窗平均周期图法和归一化法对所述第二脑电信号进行处理，得到平均功率谱的步骤，具体包括：将所述第二脑电信号按照目标窗口长度分割成不重叠的若干分信号；利用与所述目标窗口长度匹配的加窗函数对每一分信号进行平滑处理，并计算各分信号的功率谱；对所述各分信号的功率谱进行归一化处理并计算均值，得到所述平均功率谱。6.根据权利要求1所述的方法，其特征在于，所述预设特征点检测算法为FAST特征点检测算法；所述根据预设特征点检测算法、所述环境图像和所述特征点数量，确定特征点集合的步骤，具体包括：基于预设阈值和预设半径，利用FAST特征点检测算法确定所述环境图像的角点；修正所述阈值和所述半径中的至少一者，利用FAST特征点检测算法确定所述环境图像的特征点，以使所述角点和所述特征点的总数量满足所述特征点数量的需求；其中，所述特征点集合包括所述角点和所述特征点。7.根据权利要求1所述的方法，其特征在于，还包括：利用惯性测量模块获取用户头部姿态信息；根据所述特征点集合和所述用户头部姿态信息，利用即时定位与地图构建算法，构建所述三维场景并确定用户在所述三维场景中的位姿信息；其中，所述位姿信息被配置为确定所述头戴式显示设备的显示画面。8.基于认知负荷控制三维场景构建的系统，其特征在于，所述系统包括：显示模组，被配置为显示画面；
脑电信号采集模块，被配置为采集所述显示模组处于工作状态时用户的第一脑电信号；环境图像采集模组，被配置为获取所...

【专利技术属性】
技术研发人员：何惠东，陈丽莉，张浩，韩鹏，杜伟华，秦瑞峰，石娟娟，姜倩文，吕耀宇，韩娜，于静，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：