阅读能力评估方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种阅读能力评估方法、装置、设备及存储介质，本申请从阅读的自然行为(看，想和说)出发，获取受测者阅读指定测评材料过程的多模态数据，包括看

【技术实现步骤摘要】
阅读能力评估方法、装置、设备及存储介质


[0001]本申请涉及智慧教育
，更具体的说，是涉及一种阅读能力评估方法、装置、设备及存储介质。

技术介绍

[0002]阅读能力是学习能力的基础，为了尽早发现受测者所存在的阅读能力差的问题，从而及早进行矫正，需要设计一种能够进行阅读能力评估的方案，以准确的衡量被测者的阅读能力水平。
[0003]近些年来，从神经心理学角度进行阅读障碍筛查取得良好的进展，现有阅读障碍筛查方法主要依托于多样化的纸笔/电子形式的心理问卷结果。这种方法基本都依托于对问卷结果维度的统计，缺乏对阅读过程更细粒度的捕捉刻画，造成筛查准确性有限。

技术实现思路

[0004]鉴于上述问题，提出了本申请以便提供一种阅读能力评估方法、装置、设备及存储介质，以实现更加准确的评估受测者的真实阅读能力水平的目的。具体方案如下：
[0005]第一方面，提供了一种阅读能力评估方法，包括：
[0006]获取受测者阅读指定测评材料过程的多模态数据，所述多模态数据包括眼动数据、音频数据及脑电数据；
[0007]基于所述多模态数据，度量所述受测者的脑
‑
行为的协同一致性，所述脑
‑
行为的协同一致性包括：言语脑区反应、视觉脑区反应、言语行为、视觉行为四个角度中，至少两个角度之间的协同一致性；
[0008]基于所述受测者的脑
‑
行为的协同一致性，评估所述受测者的阅读能力水平。
[0009]第二方面，提供了一种阅读能力评估装置，包括：
[0010]多模态数据获取单元，用于获取受测者阅读指定测评材料过程的多模态数据，所述多模态数据包括眼动数据、音频数据及脑电数据；
[0011]协同一致性度量单元，用于基于所述多模态数据，度量所述受测者的脑
‑
行为的协同一致性，所述脑
‑
行为的协同一致性包括：言语脑区反应、视觉脑区反应、言语行为、视觉行为四个角度中，至少两个角度之间的协同一致性；
[0012]水平评估单元，用于基于所述受测者的脑
‑
行为的协同一致性，评估所述受测者的阅读能力水平。
[0013]第三方面，提供了一种阅读能力评估设备，包括：存储器和处理器；
[0014]所述存储器，用于存储程序；
[0015]所述处理器，用于执行所述程序，实现前述的阅读能力评估方法的各个步骤。
[0016]第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述的阅读能力评估方法的各个步骤。
[0017]借由上述技术方案，本申请从阅读的自然行为(看，想和说)出发，获取受测者阅读
指定测评材料过程的多模态数据，包括看
‑
眼动数据、说
‑
音频数据、想
‑
脑电数据，在此基础上，基于多模态数据度量受测者的脑
‑
行为的协同一致性，包括言语脑区反应、视觉脑区反应、言语行为、视觉行为四个角度中，至少两个角度之间的协同一致性，显然，本申请从阅读的自然行为出发度量了受测者在阅读过程脑(包括言语脑区反应和视觉脑区反应)和行为(包括言语行为和视觉行为)的协同一致性，进而从该协同一致性的角度，评估受测者的阅读能力水平，这种评估方式从受测者真实阅读过程出发，度量了受测者的脑
‑
行为的协同一致性，更符合阅读行为的本质，最终确定的受测者的阅读能力水准确性更高。
[0018]并且，由于是从脑
‑
行为协同一致性角度进行阅读能力水平的评估，使得得到的阅读能力水平的可解释性更强，也更加符合受测者的真实阅读能力。
附图说明
[0019]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0020]图1为本申请实施例提供的阅读能力评估方法的一流程示意图；
[0021]图2示例了一种数字快速命名材料示意图；
[0022]图3示例了一种脑
‑
行为协同一致性网络关系示意图；
[0023]图4示例了一种数字快速命名材料上注视点轨迹示意图；
[0024]图5示例了一种脑电数据采集时的电极位置示意图；
[0025]图6示例了一种音频和眼动数据切分示意图；
[0026]图7示例了另一种音频和眼动数据切分示意图；
[0027]图8示例了一种音频、眼动数据以及言语脑区、视觉脑区信号的切分示意图；
[0028]图9为本申请实施例提供的一种阅读能力评估装置结构示意图；
[0029]图10为本申请实施例提供的阅读能力评估设备的结构示意图。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]本申请提供了一种从阅读行为(看、想、说)出发的阅读能力评估方案，可以适用于解决各类型的阅读能力评估任务，示例如对学龄儿童的阅读能力评估、在阅读障碍筛查任务中对受测者进行阅读能力评估等。
[0032]本申请方案可以基于具备数据处理能力的终端实现，该终端可以是手机、电脑、服务器、云端等。
[0033]接下来，结合图1所述，本申请的阅读能力评估方法可以包括如下步骤：
[0034]步骤S100、获取受测者阅读指定测评材料过程的多模态数据，所述多模态数据包括眼动数据、音频数据及脑电数据。
[0035]本实施例中，可以根据阅读能力评估任务来选取匹配的测评材料，供受测者进行
阅读。其中，测评材料可以是一个或多个。示例如，测评材料可以是数字快速命名、字母快速命名、篇章阅读等。结合图2所示，其示例了一种数字快速命名类材料，包含的阅读材料内容是一串阿拉伯数字，如：“5 4 26
……
9 6 2 4”。通过数字快速命名阅读材料，可以考察学龄儿童对常见数字的加工处理能力。
[0036]通过将测评材料电子化形式显示在终端界面上，以供受测者进行阅读，并获取受测者在阅读过程的多模态数据。
[0037]这里需要说明的是，本步骤中可以从第三方获取上述多模态数据，也即上述多模态数据可以是由第三方提供的已有数据，即由第三方来采集受测者阅读指定测评材料过程的多模态数据。除此之外，也可以是本申请自行采集的受测者阅读指定测评材料过程的多模态数据。
[0038]其中，眼动数据反应的是受测者在阅读测评材料过程，与“看”这一行为相关的数据。本实施例中可以采用眼动仪作为眼动数据采集装置。一般性的，在屏幕上显示测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种阅读能力评估方法，其特征在于，包括：获取受测者阅读指定测评材料过程的多模态数据，所述多模态数据包括眼动数据、音频数据及脑电数据；基于所述多模态数据，度量所述受测者的脑
‑
行为的协同一致性，所述脑
‑
行为的协同一致性包括：言语脑区反应、视觉脑区反应、言语行为、视觉行为四个角度中，至少两个角度之间的协同一致性；基于所述受测者的脑
‑
行为的协同一致性，评估所述受测者的阅读能力水平。2.根据权利要求1所述的方法，其特征在于，所述脑
‑
行为的协同一致性，包括：言语脑区反应、视觉脑区反应、言语行为、视觉行为四个角度中，两两角度之间的协同一致性。3.根据权利要求2所述的方法，其特征在于，所述脑
‑
行为的协同一致性，还包括：基于言语脑区反应、视觉脑区反应、言语行为、视觉行为四个角度中两两角度之间的协同一致性，所确定的脑
‑
行为的整体协同一致性。4.根据权利要求1所述的方法，其特征在于，度量所述受测者的言语行为和视觉行为的协同一致性的过程，包括：在阅读时间维度，将基于所述音频数据确定的同一时间点所阅读的文本块，与基于所述眼动数据确定的所述同一时间点眼睛注视的位置进行匹配，以确定所述受测者的言语行为和视觉行为的协同一致性。5.根据权利要求4所述的方法，其特征在于，在阅读时间维度，将基于所述音频数据确定的同一时间点所阅读的文本块，与基于所述眼动数据确定的所述同一时间点眼睛注视的位置进行匹配，以确定所述受测者的言语行为和视觉行为的协同一致性，包括：将所述音频数据与所述测评材料对应的文本进行对齐；利用所述音频数据与所述测评材料中每一文本块对齐的时间边界，对所述眼动数据进行切分，得到阅读每一文本块时对应的眼动数据段；获取每一文本块对应的所述眼动数据段包含的注视点子集，并统计所述注视点子集中处于所述文本块区域内的注视点的个数，与所述注视点子集内注视点总个数的比值，作为所述文本块的得分；基于所述测评材料中各个文本块的得分，确定所述受测者的言语行为和视觉行为的协同一致性。6.根据权利要求4所述的方法，其特征在于，在阅读时间维度，将基于所述音频数据确定的同一时间点所阅读的文本块，与基于所述眼动数据确定的所述同一时间点眼睛注视的位置进行匹配，以确定所述受测者的视觉行为和言语行为的协同一致性，包括：基于所述眼动数据，确定所述受测者注视所述测评材料中每一文本块区域的时间边界，并利用所述时间边界对所述音频数据进行切分，得到每一文本块对应的音频数据段；将所述音频数据与所述测评材料对应的文本进行对齐；基于每一文本块对应的音频数据段，统计所述音频数据段中与所述文本块对齐的语音帧的数量，与所述音频数据段包含的总语音帧数量的比值，作为所述文本块的得分；基于所述测评材料中各个文本块的得分，确定所述受测者的言语行为和视觉行为的协同一致性。
7.根据权利要求1所述的方法，其特征在于，度量所述受测者的言语脑区反应和视觉脑区反应的协同一致性的过程，包括：从所述脑电数据中提取反应视觉初级加工的视觉脑区信号，提取反应言语运动输出的言语脑区信号；计算所述视觉脑区信号和所述言语脑区信号间的相关性，作为所述受测者的言语脑区反应和视觉脑区反应的协同一致性。8.根据权利要求1所述的方法，其特征在于，度量所述受测者的言语行为和言语脑区反应的协同一致性的过程，包括：从所述脑电数据中提取反应言语运动输出的言语脑区信号，所述言语脑区信号包括开头和结尾部分的静息段脑区信号，以及两个静息段脑区信号之间的目标言语脑区信号；基于所述言语脑区信号中的静息段脑区信号，得到所述受测者在静息态下言语脑区的加工信号sp_base；按照所述测评材料中每一文本块对齐的音频时间边界，对所述目标言语脑区信号进行切分，得到与每一文本块对应的言语脑区信号段；计算每一文本块对应的言语脑区信号段与所述加工信号sp_base的分布差异，并根据所述测评材料中各个文本块的分布差异，确定所述受测者的言语行为和言语脑区反应的协同一致性。9.根据权利要求8所述的方法，其特征在于，根据所述测评材料中各个文本块的分布差异，确定所述受测者的言语行为和言语脑区反应的协同一致性的过程，包括：对所述测评材料中各个文本块的分布差异进行加权求平均，结果作为所述受测者的言语行为和言语脑区反应的协同一致性，其中，每一文本块的分布差异的权重为，所述文本块对齐的音频时长占总有效音频时长的比例。10.根据权利要求1所述的方法，其特征在于，度量所述受测者的言语行为和视觉脑区反应的协同一致性的过程，包括：从所述脑电数据中提取反应视觉初级加工的视觉脑区信号，所述视觉脑区信号包括开头和结尾部分的静息段脑区信号，以及两个静息段脑区信号之间的目标视觉脑区信号；基于所述视觉脑区信号中的静息段脑区信号，得到所述受测者在静息态下视觉脑区的加工信号vis_base；按照所述测评材料中每一文本块对齐的音频时间边界，对所述目标视觉脑区信号进行切分，得到与每一文本块对应的视觉脑区信号段；计...

【专利技术属性】
技术研发人员：梁华东，李鑫，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：