一种可穿戴眼动和面部表情同步采集系统技术方案

本发明专利技术公开了一种可穿戴眼动和面部表情同步采集设备及系统，属于心理学和情感计算技术领域。一种可穿戴眼动和面部表情的同步采集系统，主要包括同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块，本发明专利技术创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法FILSAC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步。像的严格同步。像的严格同步。

【技术实现步骤摘要】
一种可穿戴眼动和面部表情同步采集系统


[0001]本专利技术涉及心理学和情感计算
，尤其涉及一种可穿戴眼动和面部表情同步采集系统。

技术介绍

[0002]眼动和表情作为人们一种自发的行为，可以直接或间接地反映被试当前的心理状态。眼动分析仪作为眼动行为的重要测量仪器，常用于心理学领域,在心理学实验中的应用主要是通过对眼睛活动的精确描述来推断其所反映的认知活动。其中主要从三个方面来描述人类的眼动行为：注视点，即人眼停顿下来注视某一点；扫视，即人眼从一个注视点往下一个注视点的运动过程；瞳孔大小。这种非侵入式设备能够方便的进行数据采集，操作方便。表情是一种快速的，不易察觉的表情，可以表达了真实的情感和意图，表情和眼动的融合分析可以捕获多模态数据的模态表示和跨模态互补相关性。而融合分析的时间同步十分重要的。人的眼动行为在毫秒级就可以完成的，表情变化微弱且迅速。精确的时间同步是多模融合分析的前提。
[0003]眼动表情融合分析逐渐应用在各个领域，在检测疲劳中，通过观察驾驶员的眼动行为和表情变化，可以判断其是否处于疲劳状态。在临床中，眼动仪可以作为一种诊断的工具，通过测试病人眼动的功能来诊断相应的精神疾病。在焦虑、抑郁、孤独症等精神障碍诊断和研究中，研究者通过心理学刺激范式或认知任务下被试的眼动指标和表情变化，对其精神状态做客观量化的评估。

技术实现思路

[0004]本专利技术提供了一种可穿戴眼动和面部表情的同步采集系统，设计开发了精确测量眼动指标的可穿戴眼动仪，该眼动仪对面部关键区域无遮挡；专利技术了新型瞳孔识别算法，并且能够实时精确的识别瞳孔的边缘与中心点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动和表情的严格同步。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种可穿戴眼动和面部表情同步采集系统，包括有同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块；
[0007]所述同步采集系统模块设计有实时同步机制，采用内存文件系统；
[0008]所述耳挂式托架模块包括包括有一种可穿戴眼动和面部表情同步采集设备，所述一种可穿戴眼动和面部表情同步采集设备包括有3D打印支架，所述3D打印支架上连接有摄像装置；
[0009]所述图像采集模块包括有表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块；
[0010]所述识别算法模块包括有图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块。
[0011]优选地，所述同步采集系统模块包括有实时进程子模块和非实时进程子模块，所述同步采集系统模块上还链接有进程预加载单元、实时同步信号单元和多处理器单元。
[0012]优选地，所述3D打印支架采用弹性尼龙材质制成，所述3D打印支架包括有耳挂支架、延长臂和后方支架，所述后方支架设计为半环状，所述耳挂支架固定连接在后方支架的开口末端上侧，所述耳挂支架与人体耳廓相匹配，所述延长臂固定连接在后方支架的开口末端下侧；所述摄像装置包括有前景摄像头和眼动摄像头，所述前景摄像头固定连接在右侧耳挂支架前端，所述眼动摄像头转动连接在延长臂远离后方支架一端上，所述眼动摄像头设置有两个。
[0013]优选地，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别链接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还链接有红外补光处理单元和滤光处理单元。
[0014]优选地，所述图像去噪技术子模块基于高斯模糊算法，将高斯模糊算法运用于图像中，使图像出现模糊的效果，能够有效的抑制噪声，平滑图像。
[0015]优选地，所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法，其具体步骤如下：
[0016]A1、设置自适应阈值：将每一块区域的像素强度的平均值作为阈值Thread；
[0017]A2、图像二值化处理：利用Thread将图像转化成二值数字图像，公式如下：
[0018][0019]A3、腐蚀优化：用某一大小规格的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0；最终过滤掉一些冗余的边缘分支。
[0020]优选地，所述瞳孔分割子模块基于FILSAC算法，其具体步骤为：
[0021]B1、输入上述处理过的二值图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算出粗略的瞳孔圆心(Ox,Oy)和半径Or，选取以(Ox,Oy)为初始中心，Or
±
δ*Or为半径的区域及该区域内的强度为1的像素点；
[0022]B2、设置随机搜索的总次数N，随机搜索三个不共线的像素点，并对在B1中选取的像素点进行离群点检测，如果这三个像素点不是离群点就利用这三个点拟合圆模型；
[0023]B3、然后将所有非离群像素点代入B2中的圆模型，计算到圆边缘的距离，若距离小于给定阈值，就把这些像素点作为内点，并计算内点的个数；
[0024]B4、如果这三个像素点中出现了离群点，放弃拟合圆模型，并重复B2
‑
B3的步骤，直到搜索次数达到N停止迭代搜索，这时返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。
[0025]与现有技术相比，本专利技术提供了一种可穿戴眼动和面部表情同步采集系统，具备以下有益效果：
[0026]本专利技术提供的一种可穿戴眼动和面部表情的同步采集系统，创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法FILSAC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像
的严格同步；该专利技术能够为情感计算、认知、心理等学科研究提供设备支持，也可以用于精神障碍诊断、疲劳驾驶监测、注意力评估等应用，有广阔的应用价值。
附图说明
[0027]图1为本专利技术提出的一种可穿戴眼动和面部表情的同步采集系统的系统总体框架示意图；
[0028]图2为本专利技术提出的一种可穿戴眼动和面部表情的同步采集系统的同步采集机制时序图；
[0029]图3为本专利技术提出的一种可穿戴眼动和面部表情的同步采集系统的眼动采集设备结构图；
[0030]图4为本专利技术提出的一种可穿戴眼动和面部表情的同步采集系统的瞳孔摄像头电路图；
[0031]图5为本专利技术提出的一种可穿戴眼动和面部表情的同步采集系统的识别算法的流程示意图。
[0032]标号说明：
[0033]1、前景摄像头；2、眼动摄像头；3、耳挂支架；4、延长臂；5、后方支架。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0035]在本专利技术的描述中，需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可穿戴眼动和面部表情同步采集系统，其特征在于，包括有同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块；所述同步采集系统模块设计有实时同步机制，采用内存文件系统；所述耳挂式托架模块包括包括有一种可穿戴眼动和面部表情同步采集设备，所述一种可穿戴眼动和面部表情同步采集设备包括有3D打印支架，所述3D打印支架上连接有摄像装置；所述图像采集模块包括有表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块；所述识别算法模块包括有图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块。2.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述同步采集系统模块包括有实时进程子模块和非实时进程子模块，所述同步采集系统模块上还链接有进程预加载单元、实时同步信号单元和多处理器单元。3.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述3D打印支架采用弹性尼龙材质制成，所述3D打印支架包括有耳挂支架(3)、延长臂(4)和后方支架(5)，所述后方支架(5)设计为半环状，所述耳挂支架(3)固定连接在后方支架(5)的开口末端上侧，所述耳挂支架(3)与人体耳廓相匹配，所述延长臂(4)固定连接在后方支架(5)的开口末端下侧；所述摄像装置包括有前景摄像头(1)和眼动摄像头(2)，所述前景摄像头(1)固定连接在右侧耳挂支架(3)前端，所述眼动摄像头(2)转动连接在延长臂(4)远离后方支架(5)一端上，所述眼动摄像头(2)设置有两个。4.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别链接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还链接有红外补光处理单元和滤光处理单元。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：胡斌，杨民强，彭宏，蔡涵书，唐隆喆，
申请(专利权)人：兰州大学，
类型：发明
国别省市：