基于阵列镜头的驾驶员疲劳状态识别方法技术

本发明专利技术公开一种基于阵列镜头的驾驶员疲劳状态识别方法，包括：利用阵列镜头获取阵列图像组，对阵列图像组进行超分辨率重建，得到高清图像；根据高清图像，利用人脸检测算法提取人脸区域图像；根据人脸区域图像，确定人眼区域位置；根据确定的人眼区域位置，识别眼睛状态；根据眼睛状态，识别疲劳状态。本发明专利技术利用阵列镜头获取阵列图像组，对阵列图像组进行处理，结合人脸检测、人眼识别、人眼闭合状态检测等，识别驾驶员的疲劳状态，识别结果较为准确，具有自适应能力。

【技术实现步骤摘要】
基于阵列镜头的驾驶员疲劳状态识别方法
本专利技术涉及一种基于阵列镜头的驾驶员疲劳状态识别方法，属于图像处理及计算机视觉处理

技术介绍
现有的驾驶员疲劳状态检测方法主要分为以下三种：第一种是基于驾驶员生理信号的检测，该检测方法主要是通过检测脑电图、心电图、肌电图等一系列生理特征的变化作为检测标准，该方法需要对驾驶员的身体特定部位进行检查，影响驾驶员的正常驾驶行为，且实时性差；第二种是基于驾驶员的操作行为和车辆状态的检测，此类方法是利用驾驶员对方向盘操作时出现的一些特性，以及汽车在一定时间内的行驶轨迹来判断驾驶员是否处于疲劳状态，该方法主要依赖于车载技术实现；第三种是基于驾驶员的面部器官行为特征的检测，即，通过眼睛、嘴巴、鼻子等面部器官的一些行为特征和几何特征来判断疲劳状态，例如，通过检测人眼睁开幅度、眨眼频率和闭眼时间等眼部状态信息，可以反映出驾驶员的疲劳状况，这种方法可通过图像处理及计算机视觉技术实现。现有的基于面部特征检测疲劳状态的方法，基于单幅图像进行处理、检测，动态场景下的识别准确率不高，且没有考虑个体面部特征差异。
技术实现思路
鉴于上述原因，本专利技术的目的在于提供一种基于阵列镜头的驾驶员疲劳状态识别方法，利用阵列镜头获取阵列图像组，对阵列图像组进行处理，结合人脸检测、人眼识别、人眼闭合状态检测等，识别驾驶员的疲劳状态，识别结果较为准确，具有自适应能力。为实现上述目的，本专利技术采用以下技术方案：一种基于阵列镜头的驾驶员疲劳状态识别方法，包括：利用阵列镜头获取阵列图像组，对阵列图像组进行超分辨率重建，得到高清图像；根据高清图像，利用人脸检测算法提取人脸区域图像；根据人脸区域图像，确定人眼区域位置；根据确定的人眼区域位置，识别眼睛状态；根据眼睛状态，识别疲劳状态。对阵列图像进行超分辨率重建的方法是：对所述阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；利用所述阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；对校正后的阵列图像组，进行多视立体匹配；利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；对初始高分辨率图像进行优化。所述多视立体匹配的方法是：从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；根据公式：确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项；求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。在每个像素的当前深度附近再划分若干子深度层，并进行优化重建，直到像素距离差小于设定的距离阈值。所述得到初始高分辨率图像的方法是：输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：gk＝DBPkS+nk(2)其中，k表示阵列镜头的序号，D表示下采样矩阵，B表示模糊矩阵，Pk表示第k幅图像的投影矩阵；S表示理想高分辨率图像，其像素大小为qN1×qN2，q为采样比例，gk是低分辨率阵列图像序列，每一帧大小为N1×N2，gk由低分辨率阵列图像组排列而成，即gk＝[g1，g2，...gN*M]。利用AdaBoost算法提取所述人脸区域图像。所述确定人眼区域位置的方法是：根据所述人脸区域图像，裁剪得到上半部人脸图像；对该上半部人脸图像进行二值化处理，将处理后的图像中的小面积连通域和噪点删除；采用八邻域标记算法标记出图像中的连通域；利用几何矩算法求每个连通域的质心点，标记每个质心点的坐标位置，基于眼睛的几何分布特征确定眼睛的质心点坐标。所述识别眼睛状态的方法是：采用PCA算法计算出个体完全睁眼和完全闭眼时，分别对应的灰度化后眼睛区域的最大灰度值和最小灰度值，通过灰度投影法计算后续眼睛状态的灰度变化值，依据当前灰度变化值与最大灰度值、最小灰度值之间的关系，识别眼睛状态。计算非疲劳状态下的波峰的平均值、疲劳状态下的波谷的平均值，计算两平均值的平均值，将得到的平均值作为疲劳状态判断阈值。本专利技术的优点是：1、本专利技术的驾驶员疲劳状态识别方法，利用阵列镜头重叠的小光圈代替单个镜头的一个大光圈，可获得更多的图像信息，利用阵列图像的相互信息可重建出更加清晰的图像；2、本专利技术的驾驶员疲劳状态识别方法，利用阵列镜头获取同一时间的阵列图像组，在阵列图像组的基础上进行图像处理，对于动态场景，避免了帧间运动估计问题，图像更为清晰、完整；3、本专利技术的驾驶员疲劳状态识别方法，对获取的阵列图像组进行处理，结合人脸检测、人眼识别、人眼闭合状态检测等方法，识别驾驶员的疲劳状态，识别结果较为准确；4、本专利技术的驾驶员疲劳状态识别方法，根据不同个体的眼部特征进行疲劳状态识别，具有良好的自适应性。附图说明图1是本专利技术的方法流程示意图。图2是本专利技术的图像超分辨率重建方法流程示意图。具体实施方式以下结合附图和实施例对本专利技术作进一步详细的描述。如图1、2所示，本专利技术公开的基于阵列镜头的驾驶员疲劳状态识别方法，包括：S1：对阵列镜头进行标定，得到阵列镜头的内参数；阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成，对N*M个镜头进行标定。S2：利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；N*M个镜头撷取N*M个图像，构成阵列图像组，对其中的每个图像，利用相应的镜头内参数进行校正，得到校正后的阵列图像组。S3：对校正后的阵列图像组，进行多视立体匹配；从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0。将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L。两两深度层的间隔可以根据两相邻深度层在参考图像上对应的像素位置差确定。根据公式：确定每个网格点的深度d，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，可以表示为除参考图像的其他图像与参考图像在深度为fx时的投影点的归一化互相关(normalizedcross-correlation)均值。表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项。不同的Dx(fx)和可以得到不同的深度重建效果。求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。由于图像的超分辨率重建要求亚像素级的图像配准，在上述得到的参考图像深度层的基础上，在每个像素的当前深度附近再划分若干子深度层，即，重复上述过程，进行更细的等距深度分层(如d/2)，并进行优化重建，直到像素距离差小于阈值σ＜1，得到运动估计参数S0。S4：利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：针对同一场景的阵列图像组图像，本文档来自技高网...

【技术保护点】
基于阵列镜头的驾驶员疲劳状态识别方法，其特征在于，包括：利用阵列镜头获取阵列图像组，对阵列图像组进行超分辨率重建，得到高清图像；根据高清图像，利用人脸检测算法提取人脸区域图像；根据人脸区域图像，确定人眼区域位置；根据确定的人眼区域位置，识别眼睛状态；根据眼睛状态，识别疲劳状态。

【技术特征摘要】
1.基于阵列镜头的驾驶员疲劳状态识别方法，其特征在于，包括：利用阵列镜头获取阵列图像组，对阵列图像组进行超分辨率重建，得到高清图像；根据高清图像，利用人脸检测算法提取人脸区域图像；根据人脸区域图像，确定人眼区域位置；根据确定的人眼区域位置，识别眼睛状态；根据眼睛状态，识别疲劳状态。2.根据权利要求1所述的基于阵列镜头的驾驶员疲劳状态识别方法，其特征在于，对阵列图像进行超分辨率重建的方法是：对所述阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；利用所述阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；对校正后的阵列图像组，进行多视立体匹配；利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；对初始高分辨率图像进行优化。3.根据权利要求2所述的基于阵列镜头的驾驶员疲劳状态识别方法，其特征在于，所述多视立体匹配的方法是：从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；根据公式：确定每个网格点的深度，其中fx∈L，N是参考图像相邻像素集合，其中Dx(fx)表示参考图像像素点X在深度fx处的灰度一致性，表示参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项；求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。4.根...

【专利技术属性】
技术研发人员：邹建成，颜培州，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京,11