一种基于方向盘图像的司机疲劳检测方法和检测装置制造方法及图纸

本发明专利技术为一种基于方向盘图像的司机疲劳检测方法和检测装置，本方法主要步骤为：取得模板图像，求方向盘圆心位置坐标，取方向盘上特征点，求得当前帧和下一帧中特征点坐标位置，计算方向盘转动的角度并存储；以计算一定时间段内方向盘的零速百分比和角度标准差；采用支持向量机分类算法，训练样本集，求出判断司机是否处于疲劳状态的决策函数。监控时实时采集方向盘图像，由方向盘转角，求出当前零速百分比和角度表准差的值，代入决策函数，结果为1即当前司机为疲劳状态，立即报警。本装置摄像头安装于驾驶室顶，摄像头与中心处理器连接；中心处理器还连接报警模块。本发明专利技术操作简单，测量结果准确，可计算大于一周的方向盘转角，适用范围更广。

Driver fatigue detection method and device based on steering wheel image

The invention relates to a driver fatigue detection method and a device for steering wheel based on image, this method mainly comprises the following steps: obtaining the template image, and the steering wheel center position coordinates, direction feature points set, obtained the current frame and the next frame feature point coordinate position, calculation of steering wheel rotation angle and storage in order to calculate a certain period of time; the wheel speed and the angle of zero percentage standard deviation; the support vector machine algorithm, the training sample set, to calculate decision function to determine whether the driver is fatigue. When monitoring, the steering wheel image is acquired in real time, and the value of the current zero speed percentage and the angle table deviation is calculated by the rotation angle of the steering wheel, and is substituted into a decision function, and the result is 1, that is, the current driver is in a state of fatigue, and the police is called immediately. The camera is installed on the top of the cab, the camera is connected with the central processor, and the central processor is also connected with the alarm module. The invention has simple operation, accurate measuring result, and can calculate the steering wheel angle of more than one week, and has a wide range of application.

【技术实现步骤摘要】
一种基于方向盘图像的司机疲劳检测方法和检测装置
本专利技术涉及车辆司机疲劳检测领域，具体为一种基于方向盘图像的司机疲劳检测方法和检测装置。
技术介绍
随着机动车数量的增多，交通事故也持续增加。统计数据表明，我国每年由于疲劳驾驶导致的死亡人数约9000人，给国家带来了巨大的人员和财产损失。统计数据表明，司机疲劳引起的交通事故占交通事故总数的20％左右，占特大交通事故数的40％以上。如果能在司机疲劳产生的初期给予预警，那么就会减少交通事故的发生，对交通安全意义重大。现有的司机疲劳检测不少是基于人脸技术，因为需要对司机的正常状态和疲劳状态的特征进行识别分类判别，硬件成本较高，算法复杂，实时效果差，难以实现，且因有些司机的疲劳在脸部并没有特别反映，受个人特征影响比较大。研究发现方向盘转角数据能实时反映司机的操作状态，当司机处于疲劳状态时，其对环境的感知能力、判断能力和实际操控能力都会下降，其直接操控的方向盘转角会出现异常波动。通过检测方向盘转角的实时变化，即可判断司机的疲劳状态。其中关键是对方向盘转角的测量。目前，方向盘转角的测量方法安装转角传感器，测量方向盘的旋转角度。比较有代表性的如申请号为201310068176.6、名称为《基于方向盘转角数据的疲劳检测方法及检测装置》的专利技术专利申请和申请号为201510113007.9、名称为《基于方向盘转角信息的驾驶人疲劳状态检测方法》的专利技术专利申请，虽然他们的方案有效地提取了方向盘转角的疲劳特征信息并有效地检测司机的疲劳状态，但也存在明显问题：1、方向盘转角传感器需要直接固定在车辆方向盘上或固定在方向盘转轴上，转角传感器遮挡部分仪表盘，司机察看的仪表的视线被阻挡，另一方面方向盘或其转轴上的传感器还有可能影响方向盘的旋转，影响正常驾驶操作；2、现有方向盘转角传感器没有转角记忆功能，因此当方向盘转动范围大于一周时，转角传感器无法得到正确的转角数据；3、方向盘转角传感器安装困难，通常需要在汽车出厂前固定安装于方向盘或转轴上，且不方便拆卸，移植性差，无法满足现有车辆司机疲劳状态检测的需要。为此又出现的申请号为201210343216.9名称为《一种基于图像的车辆方向盘转角检测方法及检测装置》的方案，其无需安装方向盘转角传感器，在方向盘的背面粘贴两种标记贴和标识线，以方向盘初始状态图像与转动后的图像比较，计算得到方向盘转角。但是其标记过于繁琐，标识线有六条将方向盘分为六个区，每个区内要按规定粘贴三角形的标记贴和弧形标记贴，实施较困难；在方向盘背面粘贴标记，光线较差，影响图像清晰度，司机握着方向盘操作时会遮挡部分标记，也影响检测效果。故也难以实用。传统的基于方向盘转角信息的司机疲劳判别是采用fisher线性判别算法，此方法将车辆的行驶视为直线行驶，采用角度标准差σ和零速百分比PNS这两个指标、用fisher线性判别算法判别司机的疲劳状态。但是车辆的实际行驶有走“S”形、超车变道等情况。以角度标准差σ大于1.2°作为判定疲劳的标准明显不合理。故传统的基于方向盘转角信息的司机疲劳判别方法准确率不高。目前尚未见一种用之有效的简单易行的基于图像的司机疲劳状态检测方法。
技术实现思路
本专利技术的目的是为了克服现有技术中存在的缺陷而提出的一种基于方向盘图像的司机疲劳检测方法，摄像头实时采集方向盘图像，采用模板匹配算法让模板图像与实时图像匹配，通过图像处理得到方向盘转动角度，计算当前零速百分比和角度标准差，用支持向量机算法来得到当前司机的状态。本方法操作简单、实用性强，且对司机状态检测准确。本专利技术的另一目的是提出一种基于方向盘图像的司机疲劳检测装置，包括中心处理器、摄像头和报警模块，摄像头安装于驾驶室内的顶部，方向盘处于摄像头的取景框内，摄像头的视频信号输出线与本装置的中心处理器连接；中心处理器还连接报警模块。本专利技术设计的一种基于方向盘图像的司机疲劳检测方法主要步骤如下：步骤Ⅰ、取得模板图像摄像头安装于驾驶室内的顶部，摄像头的视频信号输出线与检测装置的中心处理器连接；摄像头采集静止的方向盘图像，作为初始图像存储；中心处理器对初始图像进行去噪处理后，存储为模板图像。在方向盘圆上的点与摄像头拍摄到的图像椭圆上的点一一对应，图像椭圆上某一点m(xm，ym)与方向盘圆上的对应点M(xM，yM)之间的对应关系是xM＝xm、式中半径R为椭圆长半轴，R的长度不变。步骤Ⅱ、取得方向盘圆心位置坐标o(x0,y0)步骤Ⅰ所得的任何类型车辆的方向盘模板图像上均可得到方向盘圆心位置坐标，Ⅱ-1、方向盘外轮廓对步骤Ⅰ所得的模板图像采用OpenCV开源视觉库自带的findContours()函数，通过设置相应的参数得到方向盘图像的外轮廓上的各点坐标；Ⅱ-2、方向盘圆心位置坐标由步骤Ⅱ-1确定的方向盘图像的外轮廓上的5个坐标点(xm1,ym1,xm2,ym2,...,xm5,ym5)，确定椭圆方程，得到椭圆中心位置坐标o(x0,y0)；步骤Ⅲ、特征点跟踪本方法采用光流法，针对每一个视频序列，与模板图像匹配，检测当前方向盘图像转动的角度；在方向盘上取具有代表性并易于确定的特征点，具有代表性并易于确定的特征点是方向盘转动后仍能在方向盘图像上明确定位的点。通过迭代求得当前帧中方向盘图像中的特征点坐标位置和在下一帧中的坐标位置，根据该特征点在当前帧的坐标与该特征点在下一帧的坐标计算得出从当前帧到下一帧该特征点转动的角度,也就是方向盘转动的角度；步骤Ⅳ、计算方向盘相邻两帧转动的角度θ以下角度θ的计算采用方向盘圆上特征点A的位置坐标。由步骤Ⅱ确定了方向盘圆心o(x0，y0)，步骤Ⅲ确定了当前帧特征点A位置A0(xM01，yM01)的坐标，当方向盘转动一个角度θ后，再确定特征点位置A0(xM01，yM01)对应的下一帧的特征点位置A1(xM11，yM11)的坐标。圆心o(x0，y0)和A0(xM01，yM01)、A1(xM11，yM11)连线的夹角为θ1，根据余弦定理即特征点A转动角度，由两点间距离公式算出：步骤Ⅴ、方向盘图像的特征点转动角度令方向盘圆心坐标为o(x0，y0)，第k帧图像、第k+1帧图像中特征点的坐标分别为Dk(xMk，yMk)、Dk+1(xM(k+1)，yM(k+1))，相邻两帧图像中特征点转动角度小于90°。当yMk≥y0、yM(k+1)≥y0时：若满足xM(k+1)≥xMk，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度；若满足xM(k+1)≤xMk，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度。当yMk≤y0、yM(k+1)≤y0时：若满足xM(k+1)≥xMk，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度；若满足xM(k+1)≤xMk，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度。当yMk≥y0、yM(k+1)≤y0时：若满足xMk≥x0、xM(k+1)≥x0，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度；若满足xMk≤x0、xM(k+1)≤x0，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度。当yMk≤y0、yM(k+1)≥y0时：若满足xMk≥x0、xM(k+1)≥x0，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度；若满足xMk≤x0、xM(k+1本文档来自技高网...

【技术保护点】
一种基于方向盘图像的司机疲劳检测方法，主要步骤如下：步骤Ⅰ、取得模板图像摄像头安装于驾驶室内的顶部，摄像头的视频信号输出线与检测装置的中心处理器连接；摄像头采集静止的方向盘图像，作为初始图像存储；中心处理器对初始图像进行去噪处理后，存储为模板图像；在方向盘圆上的点与摄像头拍摄到的图像椭圆上的点一一对应，图像椭圆上某一点m(x

【技术特征摘要】
1.一种基于方向盘图像的司机疲劳检测方法，主要步骤如下：步骤Ⅰ、取得模板图像摄像头安装于驾驶室内的顶部，摄像头的视频信号输出线与检测装置的中心处理器连接；摄像头采集静止的方向盘图像，作为初始图像存储；中心处理器对初始图像进行去噪处理后，存储为模板图像；在方向盘圆上的点与摄像头拍摄到的图像椭圆上的点一一对应，图像椭圆上某一点m(xm，ym)与方向盘圆上的对应点M(xM，yM)之间的对应关系是xM＝xm、式中半径R为椭圆长半轴，R的长度不变；步骤Ⅱ、取得方向盘圆心位置坐标o(x0,y0)Ⅱ-1、方向盘外轮廓对步骤Ⅰ所得的模板图像采用OpenCV开源视觉库自带的findContours()函数，通过设置相应的参数得到方向盘图像的外轮廓上的各点坐标；Ⅱ-2、方向盘圆心位置坐标由步骤Ⅱ-1确定的方向盘图像的外轮廓上的5个坐标点(xm1,ym1,xm2,ym2,...,xm5,ym5)，确定椭圆方程，得到椭圆中心位置坐标o(x0,y0)；步骤Ⅲ、特征点跟踪本方法采用光流法，针对每一个视频序列，与模板图像匹配，检测当前方向盘图像转动的角度；在方向盘上取具有代表性并易于确定的特征点，具有代表性并易于确定的特征点是方向盘转动后仍能在方向盘图像上明确定位的点；通过迭代求得当前帧中方向盘图像中的特征点坐标位置和在下一帧中的坐标位置，根据该特征点在当前帧的坐标与该特征点在下一帧的坐标计算得出从当前帧到下一帧该特征点转动的角度,也就是方向盘转动的角度；步骤Ⅳ、计算方向盘相邻两帧转动的角度θ以下角度θ的计算采用方向盘圆上特征点A的位置坐标；由步骤Ⅱ确定了方向盘圆心o(x0，y0)，步骤Ⅲ确定了当前帧特征点位置A0(xM01，yM01)的坐标，当方向盘转动一个角度θ后，再确定特征点A0(xM01，yM01)对应的下一帧特征点位置A1(xM11，yM11)的坐标；圆心o(x0，y0)和A0(xM01，yM01)、A1(xM11，yM11)连线的夹角为θ1，即特征点A转动角度，步骤Ⅴ、方向盘图像的特征点转动角度令方向盘圆心坐标为o(x0，y0)，第k帧图像、第k+1帧图像中特征点的坐标分别为Dk(xMk，yMk)、Dk+1(xM(k+1)，yM(k+1))，相邻两帧图像中特征点转动角度小于90°；当yMk≥y0、yM(k+1)≥y0时：若满足xM(k+1)≥xMk，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度；若满足xM(k+1)≤xMk，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度；当yMk≤y0、yM(k+1)≤y0时：若满足xM(k+1)≥xMk，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度；若满足xM(k+1)≤xMk，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度；当yMk≥y0、yM(k+1)≤y0时：若满足xMk≥x0、xM(k+1)≥x0，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度；若满足xMk≤x0、xM(k+1)≤x0，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度；当yMk≤y0、yM(k+1)≥y0时：若满足xMk≥x0、xM(k+1)≥x0，说明第k+1帧图像相对于第k帧图像逆时针转动一个角度；若满足xMk≤x0、xM(k+1)≤x0，说明第k+1帧图像相对于第k帧图像顺时针转动一个角度；本方法规定下一帧方向盘相对当前帧方向盘顺时针转动角度θ为负，逆时针转动则θ为正；依次累加每帧方向盘图像转动角度，当某时间段内累加值大于360°，即此时间段内方向盘相对模板图像的位置逆时针转动超过一周；当累加值小于-360°，即此时间段内方向盘相对模板图像的位置顺时针转动超过一周；步骤Ⅵ、提取技术指标零速百分比和角度标准差当某时间段t内方向盘角度改变的频度减少，也就是出现了司机对方向盘的修正频度减少特征时，方向盘不动的时间增多，作为本方法的技术指标——零速百分比PNS，表征所选时间段内方向盘不动的程度，所述时间段t为50～80秒；零速百分比PNS的定义如下式所示:本发明采样频率为8～12帧/秒，PNSi代表第i帧的零速百分比，Ni代表第i帧前t秒内角速度的总采样点数，ni代表第i帧前t秒内角速度在±0.1°/s之间的点数；另一技术指标角度标准差的定义如下式所示：其中：θj为第j帧对应的方向盘转动的角度，μ表示m2帧内平均每帧方向盘转动角度值；步骤Ⅶ、支持向量机分类算法综合步骤Ⅵ所得的零速百分比PNS和角度标准差σ，采用支持向量机分类算法判断司机是否处于疲劳状态；支持向量机分类算法先训练样本集，在样本空间中找到一个划分不同类别样本的超平面，该超平面对应的模型为ωTx+b＝0，模型参数ω为法向量、b为位移项，T为转置、x为零速百分比和角度标准差组成的自变量；由超平面模型求出的决策函数f(x)＝sgn[(ω*×x)+b*]其中sgn[(ω*×x)+b*]为符号函数，当ω*×x+b>0f(x)＝1,当ω*×x+b＝0f(x)＝0,当ω*×x+b<0f(x)＝-1；根据车辆行驶在上述不同路段下的W个训练样本，W为80～150，由支持向量机分类算法学习，求出区分司机处于清醒状态还是疲劳状态的决策函数f(x)；在司机实际驾驶过程中摄像头实时采集方向盘图像，经过处理得出方向盘转角，进而求出当前零速百分比和角度表准差的值，当前零速百分比和角度表准差的值代入已经求出的决策函数f(x)，若f(x)＝1则说明当前司机处于疲劳状态，系统立即报警。2.根据权利要求1所述的基于方向盘图像的司机疲劳检测方法，其特征在于：所述步骤Ⅰ包括如下步骤：Ⅰ-1...

【专利技术属性】
技术研发人员：李海标，蒋鹏民，黄名柏，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45