多模态数据采集设备及训练中枢疲劳检测模型的方法技术

本发明专利技术涉及一种多模态数据采集设备，包括：灯组部件，其配置为产生用于刺激用户眼部反应的刺激信号；信息采集部件，其配置为采集在所述刺激信号作用下产生的测试信息；以及主控部件，其分别连接至所述灯组部件和所述信息采集部件，并配置为接收所述测试信息，并基于对所述测试信息的分析得到用于中枢疲劳检测的多模态数据。通过本发明专利技术的方案，可以高效及精准地采集到中枢疲劳检测相关的多模态数据。另外，本发明专利技术还提出了一种训练中枢疲劳检测模型的方法及相关产品，可以利用多模态数据采集设备所采集到的多模态数据有效训练中枢疲劳检测模型。检测模型。检测模型。

【技术实现步骤摘要】
多模态数据采集设备及训练中枢疲劳检测模型的方法


[0001]本专利技术一般地涉及计算机视觉
更具体地，本专利技术涉及一种多模态数据采集设备、一种训练中枢疲劳检测模型的方法以及执行前述方法的设备和计算机可读存储介质。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]中枢疲劳检测对保障重要场景的作业安全至关重要。目前，用于疲劳检测的数据主要通过评价量表方式来获取。具体地，这种方式需要受试者针对量表的问题选择匹配的选项，其中不同的选项对应不同的分值，从而能够利用受试者所选的选项及对应的分值计算出受试者的中枢疲劳状态。然而，这种评价量表的方式主观程度高，使得所采集到选项等数据也无法客观反应受试者中枢系统的真实疲劳状态。对此，目前还未有有效的数据采集方案。

技术实现思路

[0004]为了至少解决上述
技术介绍
部分所描述的技术问题，本专利技术提出了一种多模态数据采集设备。利用本专利技术的方案，可以高效及精准地采集到中枢疲劳检测相关的多模态数据。
[0005]另外，本专利技术还提出了一种训练中枢疲劳检测模型的方法，可以利用多模态数据采集设备所采集到的多模态数据有效训练中枢疲劳检测模型。
[0006]鉴于此，本专利技术在如下的多个方面提供解决方案。
[0007]本专利技术的第一方面提供了一种用于中枢疲劳检测的多模态数据采集设备，包括：灯组部件，其配置为产生用于刺激用户眼部反应的刺激信号；信息采集部件，其配置为采集在所述刺激信号作用下产生的测试信息；以及主控部件，其分别连接至所述灯组部件和所述信息采集部件，并配置为接收所述测试信息，以及基于对所述测试信息的分析得到用于中枢疲劳检测的多模态数据。
[0008]在一个实施例中，所述灯组部件包括多个产生不同刺激信号的测试灯，所述主控部件与每个所述测试灯连接，且还配置为调控每个所述测试灯以产生相应的刺激信号。
[0009]在一个实施例中，其中所述灯组部件包括第一测试灯，其配置为产生不同频率的闪烁信号，所述信息采集部件具体配置为采集所述第一测试灯从高频率闪烁信号降至低频率闪烁信号过程中的第一闪光融合临界频率，以及从低频率闪烁信号升至高频率闪烁信号过程中的第二闪光临界频率。
[0010]在一个实施例中，其中所述灯组部件包括第二测试灯，所述第二测试灯配置为产
生视标信号，所述信息采集部件具体配置为采集用户眼部从所述第一测试灯移动至第二测试灯过程中的第一图像信息，所述主控部件具体配置为基于所述第一图像信息确定眼部的扫视速度。
[0011]在一个实施例中，其中所述主控部件具体配置为基于所述第一图像信息确定瞳孔与每个所述第二测试灯之间的夹角以及扫视时长，以及根据所述瞳孔与每个所述第二测试灯之间的夹角以及扫视时长计算眼部的扫视速度。
[0012]在一个实施例中，其中所述灯组部件包括第三测试灯，其配置为产生用于刺激瞳孔收缩的信号，所述信号采集部件具体配置为采集瞳孔在所述信号作用下的收缩过程的第二图像信息，所述主控部件具体配置为基于所述第二图像信息确定瞳孔收缩速度。
[0013]在一个实施例中，其中所述主控部件具体配置为基于所述第二图像信息确定瞳孔收缩前后的大小以及收缩时间，以及根据所述瞳孔收缩前后的大小以及收缩时间计算瞳孔收缩速度。
[0014]在一个实施例中，其中所述信息采集部件还包括图像采集器，其配置为采集用户面部的图像信息和用户眼部在所述刺激信号作用下产生的图像信息，所述主控部件还配置为基于对所述用户面部的图像信息和用户眼部在所述刺激信号作用下产生的图像信息的分析得到所述多模态数据。
[0015]在一个实施例中，其中所述灯组部件还包括用于对用户面部和/或眼部产生补光光源的补光灯，所述图像采集器在所述补光灯的补光光源辅助下进行图像采集。
[0016]本专利技术的第二方面提供了一种训练中枢疲劳检测模型的方法，包括：获取作为训练样本的多模态数据，其中所述多模态数据是由本法民的第一方面所述的多模态数据采集设备生成的；以及利用所述多模态数据对中枢疲劳检测模型进行训练，以基于中枢疲劳检测模型输出用户中枢疲劳的概率。
[0017]本专利技术的第三方面提供了一种设备，包括：处理器；以及存储器，其存储有训练中枢疲劳检测模型的计算机指令，当所述计算机指令由所述处理器运行时，使得所述设备执行根据本专利技术的第二方面所述的方法。
[0018]本专利技术的第四方面提供了一种计算机可读存储介质，包含训练中枢疲劳检测模型的计算机指令，当所述程序指令由处理器执行时，使得实现根据本专利技术的第二方面所述的方法。
[0019]利用本专利技术所提供的方案，可以通过多模态数据采集设备中各个部件之间的配合以智能化地获取多模态数据。可以看出，本专利技术的方案能够避免人为过多干预，从而实现对用于中枢疲劳检测的多模态数据的高效及精准地采集。
[0020]此外，本专利技术还提供了利用多模态数据采集设备所得到的多模态数据来训练中枢疲劳检测模型，以精准和客观的多模态数据作为模型输入来提升中枢疲劳检测模型的训练结果的精准度。
附图说明
[0021]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出根据本专利技术一个实施例的多模态数据采集设备的结构框图；图2是示出根据本专利技术另一个实施例的多模态数据采集设备的结构框图；图3是示出根据本专利技术又一个实施例的多模态数据采集设备的结构框图；图4是示出根据本专利技术实施例的多模态数据采集设备中部分部件的分布示意图；图5是示出根据本专利技术实施例的多模态数据采集设备的应用场景示意图；图6是示出根据本专利技术实施例的训练中枢疲劳检测模型的方法的流程示意图；图7是示出根据本专利技术实施例的训练中枢疲劳检测模型的建模过程示意图；图8是示出根据本专利技术实施例的中枢疲劳检测模型的网络结构框架图；以及图9是示出根据本专利技术实施例的设备的结构框图。
具体实施方式
[0022]下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0023]应当理解，本专利技术的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本专利技术的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据采集设备，其特征在于，包括：灯组部件，其配置为产生用于刺激用户眼部反应的刺激信号；信息采集部件，其配置为采集在所述刺激信号作用下产生的测试信息；以及主控部件，其分别连接至所述灯组部件和所述信息采集部件，并配置为接收所述测试信息，以及基于对所述测试信息的分析得到用于中枢疲劳检测的多模态数据。2.根据权利要求1所述的多模态数据采集设备，其特征在于，所述灯组部件包括多个产生不同刺激信号的测试灯，所述主控部件与每个所述测试灯连接，且还配置为调控每个所述测试灯以产生相应的刺激信号。3.根据权利要求2所述的多模态数据采集设备，其特征在于，其中所述灯组部件包括第一测试灯，其配置为产生不同频率的闪烁信号，所述信息采集部件具体配置为采集所述第一测试灯从高频率闪烁信号降至低频率闪烁信号过程中的第一闪光融合临界频率，以及从低频率闪烁信号升至高频率闪烁信号过程中的第二闪光临界频率。4.根据权利要求3所述的多模态数据采集设备，其特征在于，其中所述灯组部件包括第二测试灯，所述第二测试灯配置为产生视标信号，所述信息采集部件具体配置为采集用户眼部从所述第一测试灯移动至第二测试灯过程中的第一图像信息，所述主控部件具体配置为基于所述第一图像信息确定眼部的扫视速度。5.根据权利要求4所述的多模态数据采集设备，其特征在于，其中所述主控部件具体配置为基于所述第一图像信息确定瞳孔与每个所述第二测试灯之间的夹角以及扫视时长，以及根据所述瞳孔与每个所述第二测试灯之间的夹角以及扫视时长计算眼部的扫视速度。6.根据权利要求2所述的多模态数据采集设备，其特征在于，其中所述灯组部件包括第三测试灯，其配置为产生用于刺激瞳孔收缩的信号，所述信号...

【专利技术属性】
技术研发人员：陈荡荡，和超，张大磊，
申请(专利权)人：北京鹰瞳科技发展股份有限公司，
类型：发明
国别省市：