一种基于视觉的早期疲劳检测方法、装置和存储介质制造方法及图纸

本发明专利技术公开了一种基于视觉的早期疲劳检测方法、装置和存储介质。其中，该早期疲劳检测方法包括：通过第一模型对图像序列进行识别，确定当前帧的行为向量，其中，当前帧为图像序列中的最后一帧；对第一预设时间内的多个行为向量进行统计，获得统计结果；利用训练好的第二模型对统计结果进行分类，得到早期疲劳检测结果。在发明专利技术能够解决无法在早期对疲劳行为提前发出预警的问题，从而给用户更充足的时间进行调整，更多地降低疲劳驾驶风险。更多地降低疲劳驾驶风险。更多地降低疲劳驾驶风险。

【技术实现步骤摘要】
一种基于视觉的早期疲劳检测方法、装置和存储介质


[0001]本文涉及疲劳行为检测技术，尤指一种基于视觉的早期疲劳检测方法、装置和存储介质。

技术介绍

[0002]疲劳驾驶检测技术能够防止交通意外的发生，目前主要的疲劳驾驶检测包括：基于视觉的方法，比如通过眼睛和嘴巴状态进行疲劳检测，该类方法在光照变化时精度较低；基于生理指标的方法，比如通过分析脑电和肌电信号进行疲劳检测，该类方法通常需要放置与人体接触的采集装置，会影响驾驶员的驾驶体验。此外，上述方法通常只有当驾驶员已经处于疲劳状态时才会产生报警，无法在早期对疲劳行为提前发出预警，给出更充足的时间进行调整，降低疲劳驾驶的风险。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请提供了一种基于视觉的早期疲劳预警方法、装置和存储介质，能够基于行为特征进行早期疲劳预警。
[0005]根据本专利技术实施例的一个方面，提供了一种基于视觉的早期疲劳检测方法，包括：通过第一模型对图像序列进行识别，确定当前帧的行为向量，其中，所述当前帧为所述图像序列中的最后一帧；对第一预设时间内的多个所述行为向量进行统计，获得统计结果；利用训练好的第二模型对所述统计结果进行分类，得到早期疲劳检测结果。
[0006]可选地，获取所述图像序列包括：从输入数据中筛选有效帧，其中，所述有效帧包含目标对象，和，相邻两个有效帧之间的时间间隔大于第一间隔阈值；将时间戳最新的有效帧作为所述当前帧，将所述当前帧及其之前连续的有效帧组成所述图像序列，其中，所述图像序列的长度为预设长度。
[0007]可选地，通过第一模型对图像序列进行识别，确定当前帧的行为向量，包括：通过所述第一模型的卷积层提取所述图像序列的静态特征图序列和动态特征图序列，其中，所述卷积层包含三维特征层和/或伪光流特征层；结合所述静态特征图序列和所述动态特征图序列，利用所述第一模型的全连接层进行分类计算，获取所述当前帧的行为向量。
[0008]可选地，当所述卷积层包含所述伪光流特征层时，所述确定当前帧的行为向量包括：基于所述静态特征图序列，通过所述伪光流特征层提取位移特征序列；当所述卷积层仅包含所述伪光流特征层时，将所述位移特征序列作为所述动态特征图序列；
[0009]可选地，当所述卷积层包含所述三维特征层和伪光流特征层时，将所述静态图序列和所述位移特征序列拼接后，输入所述三维特征层获取所述动态特征图序列。
[0010]可选地，所述通过所述伪光流特征层提取位移特征序列，包括:在所述静态特征图序列中筛选出目标静态特征图；在所述目标静态特征图中，获取每个特征点的位移向量，根据多个特征点确定多个所述位移向量，将所有所述位移向量组成位移向量图；将所述静态
特征图序列中的每帧作为所述目标静态特征图确定的对应的位移向量图组成所述位移向量序列。
[0011]可选地，在所述目标静态特征图中，获取每个特征点的位移向量，包括：
[0012]对所述目标静态特征图中的第一特征点，在前一帧静态特征图中，从所述第一特征点的相同位置的邻域内，寻找与所述第一特征点具有最大相似度的第二特征点，基于所述第二特征点的位置和所述第一特征点的位置计算所述位移向量。
[0013]可选地，所述当所述卷积层包含所述三维特征层时，所述确定当前帧的行为向量包括：当所述卷积层仅包含三维特征层时，通过所述三维特征层同时提取所述静态特征图序列和所述动态特征图序列；当所述卷积层包含二维特征层和所述三维特征层时，通过所述二维特征层提取所述静态特征图序列，基于所述静态特征图序列通过所述三维特征层提取所述动态特征图序列。
[0014]可选地，所述行为向量包括以下至少一种：面部表情向量，肢体行为向量和交互行为向量。
[0015]可选地，所述对第一预设时间内的多个所述行为向量进行统计，获得统计结果之前，包括：获取所述第一预设时间内的多个所述行为向量，包括：采用队列结构缓存最新所述第一预设时间中每一帧的行为向量并维护队列，将所述队列作为所述多个所述行为向量，其中，所述队列队末对应的行为向量为所述当前帧的行为向量，所述队列队首对应的行为向量和所述队列队末对应的行为向量的时间戳之差为所述第一预设时间。
[0016]可选地，所述对第一预设时间内的多个所述行为向量进行统计，获得统计结果，包括：对所述第一预设时间内的多个所述行为向量，采用滑窗统计满足第一预设条件的行为向量，获取所述统计结果，其中，所述第一预设条件包含：在所述滑窗内所述行为向量的占空比大于第一阈值时所述行为向量触发开始；在所述滑窗内所述行为向量的占空比小于第二阈值时所述行为向量触发结束；所述统计结果包括以下至少一个：触发次数，平均触发时长，最大触发时长和触发总时长。
[0017]可选地，所述早期疲劳检测结果包括：没有潜在早期疲劳风险，存在潜在早期疲劳风险。
[0018]可选地，所述第二模型的训练方法包括：通过对用户采集的样本数据构建训练数据集；采用所述训练数据集训练初始的第二模型，获取所述训练后的第二模型。
[0019]可选地，所述通过对用户采集的样本数据构建训练数据集，包括：将所述样本数据根据所述第一预设时间的时长进行分段，获取多个样本数据段，其中，所述多个样本数据段的种类包含所述用户判定为疲劳的样本数据段和所述用户判定为不疲劳的样本数据段；从所述多个样本数据段中筛选出目标样本数据段，通过所述第一模型对所述目标样本数据段进行识别，获取所述目标样本数据段对应的样本行为向量序列，统计所述样本行为向量序列，获得所述目标样本数据段的样本统计结果；将所述多个样本数据段每段作为所述目标样本数据段，获取对应的样本统计结果，并将包含样本统计结果的多个样本数据段构建为所述训练数据集。
[0020]可选地，所述样本行为向量序列由样本行为向量组成，其中，所述样本行为向量包括以下：样本面部表情向量，样本肢体行为向量和样本交互行为向量。
[0021]可选地，所述样本统计结果包括以下：触发次数，平均触发时长，最大触发时长和
触发总时长。
[0022]根据本专利技术实施例的另一方面，还提供了一种基于视觉的早期疲劳检测装置，所述装置包括：识别单元，用于通过第一模型对图像序列进行识别，确定当前帧的行为向量，其中，所述当前帧为所述图像序列中的最后一帧；统计单元，用于对第一预设时间内的多个所述行为向量进行统计，获得统计结果；分类单元，用于利用训练好的第二模型对所述统计结果进行分类，得到早期疲劳检测结果。
[0023]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一项所述的早期疲劳检测方法。
[0024]根据本专利技术实施例的另一方面，还提供了一种处理装置，包括：存储器，用于存储计算机可执行指令；处理器，用于执行所述计算机可执行指令，以实现上述任意一项所述的早期疲劳检测方法的步骤。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的早期疲劳检测方法，包括：通过第一模型对图像序列进行识别，确定当前帧的行为向量，其中，所述当前帧为所述图像序列中的最后一帧；对第一预设时间内的多个所述行为向量进行统计，获得统计结果；利用训练好的第二模型对所述统计结果进行分类，得到早期疲劳检测结果。2.根据权利要求1所述检测方法，其特征在于，获取所述图像序列包括：从输入数据中筛选有效帧，其中，所述有效帧包含目标对象，和，相邻两个有效帧之间的时间间隔大于第一间隔阈值；将时间戳最新的有效帧作为所述当前帧，将所述当前帧及其之前连续的有效帧组成所述图像序列，其中，所述图像序列的长度为预设长度。3.根据权利要求1所述检测方法，其特征在于，所述通过第一模型对图像序列进行识别，确定当前帧的行为向量，包括：通过所述第一模型的卷积层提取所述图像序列的静态特征图序列和动态特征图序列，其中，所述卷积层包含三维特征层和/或伪光流特征层；结合所述静态特征图序列和所述动态特征图序列，利用所述第一模型的全连接层进行分类计算，获取所述当前帧的行为向量。4.根据权利要求3述检测方法，其特征在于，当所述卷积层包含所述伪光流特征层时，所述确定当前帧的行为向量包括：基于所述静态特征图序列，通过所述伪光流特征层提取位移特征序列；当所述卷积层仅包含所述伪光流特征层时，将所述位移特征序列作为所述动态特征图序列；当所述卷积层包含所述三维特征层和伪光流特征层时，将所述静态图序列和所述位移特征序列拼接后，输入所述三维特征层获取所述动态特征图序列。5.根据权利要求4所述检测方法，其特征在于，所述通过所述伪光流特征层提取位移特征序列，包括:在所述静态特征图序列中筛选出目标静态特征图；在所述目标静态特征图中，获取每个特征点的位移向量，根据多个特征点确定多个所述位移向量，将所有所述位移向量组成位移向量图；将所述静态特征图序列中的每帧作为所述目标静态特征图确定的对应的位移向量图组成所述位移向量序列。6.根据权利要求5所述检测方法，其特征在于，在所述目标静态特征图中，获取每个特征点的位移向量，包括：对所述目标静态特征图中的第一特征点，在前一帧静态特征图中，从所述第一特征点的相同位置的邻域内，寻找与所述第一特征点具有最大相似度的第二特征点，基于所述第二特征点的位置和所述第一特征点的位置计算所述位移向量。7.根据权利要求3所述检测方法，其特征在于，所述当所述卷积层包含所述三维特征层时，所述确定当前帧的行为向量包括：当所述卷积层仅包含三维特征层时，通过所述三维特征层同时提取所述静态特征图序列和所述动态特征图序列；
当所述卷积层包含二维特征层和所述三维特征层时，通过所述二维特征层提取所述静态特征图序列，基于所述静态特征图序列通过所述三维特征层提取所述动态特征图序列。8.根据权利要求1所述检测方法，其特征在于，所述行为向量包括以下至少一种：面部表情向量，肢体行为向量和交互行为向量。9.根据权利要求1所述检测方法，其特征在于，所述对第一预设时间内的多个所述行为向量进行统计，获得统计结果之前，包括：获取所述第一预设时间内的多个所述行为...

【专利技术属性】
技术研发人员：邱翰，柏邱建，张智瑞，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：