本发明专利技术公开了一种便携式多模态学习分析智能眼镜，可在学习者学习过程中实时监测、分析并反馈包括表情、语音、生理、眼球及头部运动等指标在内的多模态数据及数据分析结果。该智能眼镜的芯片集成了实时数据监测功能、多模态数据分析功能以及数据可视化功能。数据监测功能通过实时获取学习者用户学习过程中表情、语音、生理、眼球运动和头部运动的变化情况；多模态数据分析功能将实时获取的数据存入预先设置的数据结构中进行多模态学习分析；数据可视化功能将数据分析的处理结果以可视化图形的方式显示给学习者用户。本发明专利技术通过便携的智能眼镜实时捕捉学习者用户学习过程中产生的多模态数据、自动分析多模态数据、并可视化地显示数据分析结果。示数据分析结果。示数据分析结果。
【技术实现步骤摘要】
一种便携式多模态学习分析智能眼镜
[0001]本专利技术涉及在线教育
，尤其涉及一种便携式多模态学习分析智能眼镜。
技术介绍
[0002]学习分析——教育学中一个新兴的分支领域——对计算机支持的学习和教学产生了重要影响。学习分析是对学习者及其学习环境的数据测量、收集、分析和汇报；其目的是为了更好地理解和优化学习过程以及学习环境。其中，多模态学习分析研究和应用是学习分析领域的重要分支之一。多模态学习分析需要利用各种分析方法和技术手段采集、分析和挖掘学生学习过程中产生的多模态数据(如生理指标、语音、微表情等)，并以一定的方式将数据分析结果汇报给用户以帮助用户了解和掌握与学习相关的信息。多模态学习分析的开发和应用——包含多模态数据采集、数据分析和结果解读及呈现——是将学习分析运用到教学实践中来支持并促进学习和教学的主要手段之一。
[0003]基于多模态学习分析方法，研究人员可通过设计多模态智能设备对学习和教学过程进行辅助。多模态学习分析可以通过传感器等方式获取学习者学习过程中的数据、再通过人工智能算法(如机器学习)对多模数据进行建模，最后对模态数据结果进行合理解读和可视化呈现。为了实现该目标，一方面需要建立学习分析模块，采用图像获取外设与音频获取外设同时对学生用户在学习过程中的动态进行实时监测；另一方面，可以通过芯片模块程控对学习分析方法进行建模，同时采用创新设计的学习分析周边辅助工具对学生用户在学习过程中的微表情、生理指标等因素进行更加精密、优化和针对的动态监测过程。目前智能眼镜或镜架的相关发展，均未涉及结合智能学习分析方法进行的设计专利技术：一方面，传统电脑无法针对用户个体的体征指标进行个性化信息获取；另一方面，针对利用眼镜作为载体进行创新设计以辅助智能学习分析方法的研究在国内研究中未见述及。因此，本专利技术提出了一种便携式多模态学习分析智能眼镜实时和准确多模态信息获取、分析和反馈，从而实现智能化学习分析的创新。
[0004]与现有技术相比，本专利技术创新地设计了一种便携式多模态学习分析智能眼镜，对学生学习过程进行多模态数据捕捉和分析，以实现最优化动态监测及反馈。与现有技术相比，本专利技术是以学生为中心的、面向学生的多模态学习分析设备，能更直接的提供给学生探索、理解和反思学习过程的机会，从而调动学生的学习自主性、能动性和创新性。该多模态便携设备可解决教育领域现有的学习分析结果分析和呈现滞后，且不能多维度呈现学习状态和学习过程，以及学生难以从多角度解释学习分析结果并指导其下一步学习等难题。与现有技术相比，该便携式多模态学习分析智能眼镜利用数据读取和分析功能从学生实时学习过程中动态地读取数据并进行处理分析，最后给学生展示数据分析结果。与现有技术相比，这种便携式多模态学习分析智能眼镜利用传感器等方式获取学习者学习过程中的数据、建立人工智能算法模型对多模数据进行建模，最后将数据分析结果进行可视化呈现以帮助学生理解其动态变化的学习状态和过程。
技术实现思路
[0005]本专利技术目的在于针对现有技术的不足，提出一种便携式多模态学习分析智能眼镜。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种便携式多模态学习分析智能眼镜，该智能眼镜由镜架模块、智能屏幕模块、眼镜载体模块组成；并利用多模态学习分析方法实时捕捉和分析学习者用户产生的多模态数据，并将可视化分析结果反馈给用户；
[0007]所述的镜架模块包括前仓、移动仓和后仓。所述的前仓外部设置有音频装置和芯片模块，内部设置有陀螺仪模块，音频装置提供语音识别功能，通过音频装置将语言数据实时转化为文本，通过陀螺仪模块来实现头部运动的监测。芯片模块提供数据分析功能，实时读取学生数据进行分析，并将数据存入预设的数据结构中；
[0008]所述的移动仓设置有垂直向下底座摄像头、滚轴、柔性屏幕、出口槽和柔性屏导轨；其中，通过垂向下底座摄像头实现监测眼球运动和面部表情功能；滚轴与柔性屏幕转动连接，柔性屏幕通过柔性屏导轨与镜架模块连接，柔性屏幕可延柔性屏导轨从镜架模块的出口槽处滑出；
[0009]智能眼镜将数据读取和分析功能的处理结果可视化，以多种可视化图形的方式通过柔性屏幕反馈给学生。
[0010]所述的后仓设置在镜架模块外部，后仓上安装有生理指标传感器；通过生理指标传感器来实现对生理指标的监测。
[0011]进一步地，所述的镜架模块、智能屏幕模块和眼镜载体模块通过设置在镜架内的线路连接，且前仓中设置芯片模块以处理实时采集的体征数据。
[0012]进一步地，所述的前仓外部还设置有充电接口、开关和无线传输器；内部还设置有微型激光限位开关、微型齿轮、芯片模块、排线、电池和微型齿条，所述各零部件按照标号顺序依次安装在前仓上；电池通过排线与充电接口、开关连接，并为整个眼镜供电，无线传输器与芯片模块连接；同时，微型激光限位开关与微型齿轮连接，微型齿轮与微型齿条配合，微型齿条与移动仓连接，微型激光限位开关通过扫描移动仓的运动，进而约束移动仓的前后位置极限。
[0013]进一步地，所述的后仓还设置有夹具、无线耳机、耳挂和挂环。所述夹具夹在智能眼镜的镜腿上，并通过耳挂和挂环固定在佩戴者的耳朵上，通过无线耳机接收语音信息。
[0014]进一步地，所述音频装置将语言数据实时转化为文本是利用自然语言处理等技术对语音内容进行分析与编码。
[0015]进一步地，柔性屏幕既可用以日常辅助视力，也可及时显示芯片模块处理的结果，实现显示屏的功能。
[0016]进一步地，语音识别和分析结果可通过结巴分词等算法提取关键词，利用关键词聚类等可视化图形方式展示学习者谈话特征。头部运动分析结果可展示学习者当前的抬头、低头或转头等动作，并将相关频率反馈给学习者。
[0017]进一步地，底座摄像头对到面部表情进行识别，通过芯片模块分析结果，进而通过文字方式展示学习者当前心理情绪特征。所述面部表情的识别分析结果包括学习者专注、愉悦、困惑等不同心理状态；底座摄像头监测到的眼球运动结果可展示学习者当前关注的学习对象，并将关注时长、对象、眼球运动次数等结果反馈给学习者。
[0018]进一步地，所述多模态数据包括表情、语音、生理、眼球及头部运动等指标在内的多模态类型数据。
[0019]进一步地，将生理指标如心率及皮肤电指标结果展示给学习者以显示其当前身体特征及状况。
[0020]本专利技术的有益效果：本专利技术提出的一种便携式多模态学习分析智能眼镜直接给学习者提供探索、理解和反思学习过程和状态的机会，可解决教育领域现有学习分析工具存在的学习分析结果显示滞后，不能多维度呈现学习过程，以及学生难以解释学习分析结果并指导其下一步学习等难题。此技术利用数据读取和分析功能实时获取学习者多模态数据、自动分析数据、并显示数据分析结果，从而调动学生的学习自主性、能动性和创新性，
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种便携式多模态学习分析智能眼镜，其特征在于，该智能眼镜由镜架模块(1)、智能屏幕模块(2)、眼镜载体模块(3)组成；并利用多模态学习分析方法实时捕捉和分析学习者用户产生的多模态数据，并将可视化分析结果反馈给用户；所述的镜架模块(1)包括前仓(4)、移动仓(5)和后仓(6)。所述的前仓(4)外部设置有音频装置(401)和芯片模块(408)，内部设置有陀螺仪模块(407)，音频装置(401)提供语音识别功能，通过音频装置(401)将语言数据实时转化为文本，通过陀螺仪模块(407)来实现头部运动的监测。芯片模块(408)提供数据分析功能，实时读取学生数据进行分析，并将数据存入预设的数据结构中；所述的移动仓(5)设置有垂直向下底座摄像头(501)、滚轴(502)、柔性屏幕(503)、出口槽(504)和柔性屏导轨(505)；其中，通过垂向下底座摄像头(501)实现监测眼球运动和面部表情功能；滚轴(502)与柔性屏幕(503)转动连接，柔性屏幕(503)通过柔性屏导轨(505)与镜架模块(1)连接，柔性屏幕(503)可延柔性屏导轨(505)从镜架模块(1)的出口槽(504)处滑出；智能眼镜将数据读取和分析功能的处理结果可视化，以多种可视化图形的方式通过柔性屏幕(503)反馈给学生。所述的后仓(6)设置在镜架模块(1)外部，后仓(6)上安装有生理指标传感器(602)；通过()生理指标传感器(602)来实现对生理指标的监测。2.如权利要求1所述的一种便携式多模态学习分析智能眼镜，其特征在于，所述的镜架模块(1)、智能屏幕模块(2)和眼镜载体模块(3)通过设置在镜架内的线路连接，且前仓(4)中设置芯片模块(408)以处理实时采集的体征数据。3.如权利要求1所述的一种便携式多模态学习分析智能眼镜，其特征在于，所述的前仓(4)外部还设置有充电接口(402)、开关(403)和无线传输器(404)；内部还设置有微型激光限位开关(405)、微型齿轮(406)、芯片模块(408)、排线(409)、电池(410)和微型齿条(411)，所述各零部件按照标号顺序依次安装在前仓(4)上；电池(410)通过排线(409)与充电接口(402)、开关(403)连接，并...
【专利技术属性】
技术研发人员：欧阳璠，焦鹏程，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。