一种基于眼部运动的言语认知评估方法技术

本发明专利技术公开了一种基于眼部运动的言语认知评估方法。本方法步骤如下：S1：将用于言语认知评估的每段语音通过测试者的听觉通道依次向被测试者呈现，且在呈现语音刺激的时间内，同步记录被测试者的眼部运动数据；所述的眼部运动数据为被测试者接受语音刺激时的眼球运动数据、眨眼数据；S2：对所述的眼部运动数据和该数据同步对应的语音进行处理，识别眼部运动数据中是否存在与语音中的语言结构同步的指标特征；若存在则视为被测试者能够理解该段语音中的语言结构内容，若不存在则视为被测试者无法理解该段语音中的语言结构内容。本发明专利技术采用听觉作为知觉通道的输入，在信息处理过程中涉及较少的高级认知系统，有更广泛的使用人群。

A Speech Cognitive Assessment Method Based on Eye Movement

The invention discloses a speech cognitive evaluation method based on eye movement. The steps of the method are as follows: S1: each segment of speech used for speech cognitive assessment is presented to the tested person through the auditory channel of the tester in turn, and the eye movement data of the tested person is recorded synchronously during the time of presenting the speech stimulus; the eye movement data is the eye movement data and blink data of the tested person when receiving the speech stimulus; S2: To the eye movement data mentioned above; The speech corresponding to the data synchronization is processed to identify whether there is an index feature synchronized with the language structure in the speech in the eye movement data; if there is, it is considered that the subject can understand the language structure content in the speech, if not, it is considered that the subject can not understand the language structure content in the speech. The invention uses hearing as the input of perception channel, involves fewer advanced cognitive systems in the process of information processing, and has wider users.

【技术实现步骤摘要】
一种基于眼部运动的言语认知评估方法
本专利技术属于认知和语言能力评估领域，具体涉及一种基于眼部运动的言语认知评估方法。
技术介绍
认知和语言能力评估是对个体认知水平、能力发展的一个重要评价标准，并在日常生活中受到广泛的应用。随着应用的不断拓展，语言认知评估方法也在不断的发展。教师或者评估人员，通过与被测试者的交谈，即可得到一个初步的评估结果，然而此结果易受主观因素的影响。目前，最常用的语言测试主要通过‘试题’的形式进行，即按照测试的内容设定对应的题目，由被测试者完成该题目，对被测试者的答案进行判别，统计出的答案得分决定了语言测试的成绩。传统的语言测试按照测试的不同方面将试题分为不同类别，通过对各类试题的分数统计，来得到测试者在语言不同方面的测试水平。然而这种方法只提供了一个模糊的分数，对于诸如学生的知识状态、认知结构等问题无法解答。为了在测试中获得更多的信息，语言测试工作者在传统语言测试的基础上结合了认知心理学、计量心理学、现代统计数学等理论，提出了许多语言认知诊断模型，如融合模型(Hartz2002)、DINA模型(JunkerandSijtsma2001)等，以检测被测试者的认知本文档来自技高网...

【技术保护点】
1.一种基于眼部运动的言语认知评估方法，其特征在于，步骤如下：S1：将用于言语认知评估的每段语音通过测试者的听觉通道依次向被测试者呈现，且在呈现语音刺激的时间内，同步记录被测试者的眼部运动数据；所述的眼部运动数据为被测试者接受语音刺激时的眼球运动数据或眨眼数据；S2：对所述的眼部运动数据和该数据同步对应的语音进行处理，识别眼部运动数据中是否存在与语音中的语言结构同步的指标特征；若存在则视为被测试者能够理解该段语音中的语言结构内容，若不存在则视为被测试者无法理解该段语音中的语言结构内容。

【技术特征摘要】
1.一种基于眼部运动的言语认知评估方法，其特征在于，步骤如下：S1：将用于言语认知评估的每段语音通过测试者的听觉通道依次向被测试者呈现，且在呈现语音刺激的时间内，同步记录被测试者的眼部运动数据；所述的眼部运动数据为被测试者接受语音刺激时的眼球运动数据或眨眼数据；S2：对所述的眼部运动数据和该数据同步对应的语音进行处理，识别眼部运动数据中是否存在与语音中的语言结构同步的指标特征；若存在则视为被测试者能够理解该段语音中的语言结构内容，若不存在则视为被测试者无法理解该段语音中的语言结构内容。2.如权利要求1所述的基于眼部运动的言语认知评估方法，其特征在于，所述的S1中，需向被测试者呈现若干组难度不同的刺激语音集合，每一组刺激语音集合中优选包含多段难度相同的语音；优选的，每一组刺激语音集合中的多段语音难度相同或相近；更优选的，每段语音均由多个拥有相同语言结构、相同难度且相同字数的语料组成。3.如权利要求1所述的基于眼部运动的言语认知评估方法，其特征在于，所述的S1中，将一个语料对应的语音向被测试者呈现多次，或者向被测试者呈现多段语料内容相同或相近的语音。4.如权利要求1所述的基于眼部运动的言语认知评估方法，其特征在于，在向被测试者呈现语音刺激时，语音中每个字的呈现时长相同。5.如权利要求1所述的基于眼部运动的言语认知评估方法，其特征在于，在向被测试者呈现语言刺激前，使用听力计对被测试者进行听力检查。6.如权利要求1所述的基于眼部运动的言语认知评估方法，其特征在于，所述的眼部运动数据为眼动电图，采集所述眼动电图的电极布置方式为：在被测试者左眼和/或右眼的上方和下方各贴一个电极。7.一种基于眼部运动的言语认知评估方法，其特征在于，步骤如下：S1：生成若干组不同难度的刺激语音集合，且每组刺激语音集合中包含N段难度等级相同的语音；每段语音由多个具有相同语言结构、相同难度且相同字数的语料组成，且每段语音的总字数相同；S2：将各刺激语音集合中的每段语音通过测试者的听觉通道依次向被测试者呈现，且每次仅呈现一段语音，相邻语音之间具有间隔，语音中每个字的呈现时长相同；S3：在每段语音刺激的呈现时间内，同步记录被测试者的眼部运动数据，所述眼部运动数据采用被测试者在听语音过程中由眼动仪记录的眨眼数据；其中，被测试者在听第j段语音时的眨眼数据为xj，xj为与第j段语音等时长的时间序列，由数字0和1组成，序列值为1表示被测试者在该时刻处于眨眼状态，序列值为0表示被测试者在该时刻不处于眨眼状态；S4：记录被测试者对所有语音刺激的眼部运动数据后，按照刺激语音集合的不同难度将眼部运动数据进行分类，对每一类难度的语音对应的眼部运动数据分别进行同步性分析，分析过程如下：S401：对每一类难度的N条眨眼数据进行预处理：将N条眨眼数据平均，得到1条平均响应数据，以提高数据信噪比S402：对每一类难度语音得到1条平均响应数据，对该数据做离散傅里叶变换，得到该类难度语音对应的频谱；S403:针对每一类难度语音的频谱，对该类难度语音中含有的语言结构对应的频率点幅值进行显著性检验，若该类难度语音中含有的语言结构对...

【专利技术属性】
技术研发人员：丁鼐，金培清，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33