一种基于机器视觉的方向盘及操作手检测方法及系统技术方案

本发明专利技术公开了一种基于机器视觉的方向盘及操作手检测方法及系统，通过hough椭圆检测出方向盘位置，结合灰度信息和肤色信息准确检测方向盘上360个单一感兴趣区域是否存在手，从而判断单帧图像的全方向盘上是否存在操作手，并结合多帧检测和多帧判断，决定是否应该发出报警信号，提醒驾驶员，减少交通事故的发生；实时性高、准确率高、鲁棒性和稳定性高。

【技术实现步骤摘要】
一种基于机器视觉的方向盘及操作手检测方法及系统
本专利技术涉及图像处理
，尤其是涉及一种基于机器视觉的方向盘及操作手检测方法及系统。
技术介绍
交通事故的发生与驾驶员不正确的驾驶操作有密切关系，一些驾驶行为极易被驾驶员轻视，但却容易造成非常严重的后果，尤其是驾驶员双手离开方向盘。当遇到紧急情况，如突发的车辆爆胎、道路情况发生变化或前方突然出现车辆等，极易造成驾驶员无法对车辆进行快速有效的控制，从而造成极其严重的后果。基于生理信号测量方向盘上操作手的方法受检测设备复杂程度和价格因素影响的同时，还需要驾驶员佩戴仪器，对驾驶员的驾驶操作有一定的影响，因此难以推广实现。基于传感器检测车辆状态从而检测方向盘上操作手的方法测量结果易受驾驶操作存在个体差异因素的影响，同时还存在测量数据不够准确和硬件成本较高等问题的限制，导致误报警率较高，因此也未能取得较好的应用效果。现有的方向盘上操作手检测算法操作简单，主要是先标定出图像中方向盘的位置，然后进行感兴趣区域的截取，最后在感兴趣区域上进行操作手检测。现有方法需要人工手动标出方向盘的位置，并且感兴趣区域的截取中采取倾斜的矩形，后期进行检测时需要将角度做归一化处理，增大了算法处理时间，并且感兴趣区域的尺寸固定，判断是否有操作手的比例阈值固定，不能自适应各种场景类型，若驾驶员手臂自然垂下放在腿上时，会产生误检。
技术实现思路
本专利技术的目的在于克服上述技术不足，提出一种基于机器视觉的方向盘及操作手检测方法及系统，解决现有技术中的上述技术问题。为达到上述技术目的，本专利技术的技术方案提供一种基于机器视觉的方向盘及操作手检测方法，包括：S1、采集一帧方向盘图像，使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线，并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点；S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片，第一图片的全部范围为感兴趣区域，对感兴趣区域进行预处理；S3、获取一个单一感兴趣区域，所述单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点，然后以选取的点为中心，截取大小为size，角度为0的矩形作为单一感兴趣区域，size的大小根据感兴趣区域大小自适应变化；S4、获取S3中获取的单一感兴趣区域的二值化图像，将该二值化图像表示在二维坐标系中并向X轴方向投影，得到该二值化图像每一列的灰度值为255的像素点数A，寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L，该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1；S5、对S3获取的单一感兴趣区域进行肤色检测，获取该单一感兴趣区域的二值化图像，二值化图像中手部肤色灰度值为255，识别椭圆线检测点落在该单一感兴趣区域的点集，检测点集中的点的灰度值为255的个数N；S6、当L>第二阈值T2且N>第三阈值T3时，判断S3获取的单一感兴趣区域存在操作手，否则，判断S3获取的单一感兴趣区域不存在操作手；S7、循环执行S3-S6步骤，以S3获取的单一感兴趣区域的中心点为起始点，以1°为步长按照顺时针方向逐个获取单一感兴趣区域，判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手；S8、判断存在操作手的单一感兴趣区域是否连续，计算连续的存在操作手的单一感兴趣区域的个数B，当B>第四阈值T4时，判断S1中采集的一帧方向盘图像中存在操作手，否则，判断S1中采集的一帧方向盘图像中不存在操作手；S9、循环执行步骤S1-S8，采集设定帧数的方向盘图像，综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。本专利技术还提供一种基于机器视觉的方向盘及操作手检测系统，包括：椭圆检测模块：采集一帧方向盘图像，使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线，并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点；感兴趣区域获取模块：从方向盘图像中截取方向盘所在的外接矩形作为第一图片，第一图片的全部范围为感兴趣区域，对感兴趣区域进行预处理；单一感兴趣区域获取模块：获取一个单一感兴趣区域，所述单一感兴趣区域是先在第一图片上选取椭圆线检测点中的任一个点，然后以选取的点为中心，截取大小为size，角度为0的矩形作为单一感兴趣区域，size的大小根据感兴趣区域大小自适应变化；第一检测模块：获取单一感兴趣区域获取模块中获取的单一感兴趣区域的二值化图像，将该二值化图像表示在二维坐标系中并向X轴方向投影，得到该二值化图像每一列的灰度值为255的像素点数A，寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L，该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1；第二检测模块：对单一感兴趣区域获取模块获取的单一感兴趣区域进行肤色检测，获取该单一感兴趣区域的二值化图像，二值化图像中手部肤色灰度值为255，识别椭圆线检测点落在该单一感兴趣区域的点集，检测点集中的点的灰度值为255的个数N；单一感兴趣区域判断模块：当L>第二阈值T2且N>第三阈值T3时，判断单一感兴趣区域获取模块获取的单一感兴趣区域存在操作手，否则，判断单一感兴趣区域获取模块获取的单一感兴趣区域不存在操作手；第一循环模块：循环执行单一感兴趣区域获取模块至单一感兴趣区域判断模块的操作，以单一感兴趣区域获取模块获取的单一感兴趣区域的中心点为起始点，以1°为步长按照顺时针方向逐个获取单一感兴趣区域，判断以椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手；单帧判断模块：判断存在操作手的单一感兴趣区域是否连续，计算连续的存在操作手的单一感兴趣区域的个数B，当B>第四阈值T4时，判断椭圆检测模块中采集的一帧方向盘图像中存在操作手，否则，判断椭圆检测模块中采集的一帧方向盘图像中不存在操作手；多帧判断模块：循环执行椭圆检测模块至单帧判断模块的操作，采集设定帧数的方向盘图像，综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。与现有技术相比，本专利技术的有益效果包括：本专利技术采取hough椭圆检测进行方向盘的定位，能够由算法自动定位出方向盘所在椭圆线，自动化程度高；采取旋转角度为0的单一感兴趣区域，方法简单，实时性高；现有技术中只通过判断单一感兴趣区域的二值化图像确定该区域是否存在类似手形，若存在驾驶员手臂自然垂下并且靠近方向盘，从成像的角度看类似手在方向盘上，容易造成误检的情况，而本专利技术添加一个约束条件，利用椭圆线在方向盘中央(方向盘形状可看做两个椭圆，椭圆线一定在两个椭圆中间)，即使存在手臂自然垂下的情况，方向盘所在椭圆线上依然不会存在手部，只有当手真正覆盖在方向盘上，椭圆线才会被覆盖，提高了算法的准确率；现有技术中的多个阈值均采用固定阈值的方法，不能自适应各种场景和不同大小的图像，本专利技术根据感兴趣区域的尺寸大小自适应确定单一感兴趣区域尺寸，同时根据单一感兴趣尺寸自适应确定阈值T1、T2、T3，提高算法的鲁棒性；本专利技术采用多帧判断决定是否提醒驾驶员，提高准确性和稳定性以及算法速度。附图说明图1是本专利技术提供的一种基于机器视觉的方向盘及操作手检测方法流程图；图2是本专利技术提供的一种基于机器视觉的方向盘及操作手检测系统本文档来自技高网...

【技术保护点】
一种基于机器视觉的方向盘及操作手检测方法，其特征在于，包括步骤：S1、采集一帧方向盘图像，使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线，并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点；S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片，所述第一图片的全部范围为感兴趣区域，对感兴趣区域进行预处理；S3、获取一个单一感兴趣区域，所述单一感兴趣区域是先在所述第一图片上选取所述椭圆线检测点中的任一个点，然后以选取的点为中心，截取大小为size，角度为0的矩形作为单一感兴趣区域，size的大小根据感兴趣区域大小自适应变化；S4、获取S3中获取的单一感兴趣区域的二值化图像，将该二值化图像表示在二维坐标系中并向X轴方向投影，得到该二值化图像每一列的灰度值为255的像素点数A，寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L，该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1，T1根据size自适应变化；S5、对S3获取的单一感兴趣区域进行肤色检测，获取该单一感兴趣区域的二值化图像，二值化图像中手部肤色灰度值为255，识别所述椭圆线检测点落在该单一感兴趣区域的点集，检测点集中的点的灰度值为255的个数N；S6、当L>第二阈值T2且N>第三阈值T3时，判断S3获取的单一感兴趣区域存在操作手，否则，判断S3获取的单一感兴趣区域不存在操作手，T2、T3根据size自适应变化；S7、循环执行S3‑S6步骤，以S3获取的单一感兴趣区域的中心点为起始点，以1°为步长按照顺时针方向逐个获取单一感兴趣区域，判断以所述椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手；S8、判断存在操作手的单一感兴趣区域是否连续，计算连续的存在操作手的单一感兴趣区域的个数B，当B>第四阈值T4时，判断S1中采集的一帧方向盘图像中存在操作手，否则，判断S1中采集的一帧方向盘图像中不存在操作手；S9、循环执行步骤S1‑S8，采集设定帧数的方向盘图像，综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。...

【技术特征摘要】
1.一种基于机器视觉的方向盘及操作手检测方法，其特征在于，包括步骤：S1、采集一帧方向盘图像，使用hough椭圆检测算法检测方向盘图像获取方向盘所在的椭圆线，并以每间隔1°确定椭圆线上的一个点的方式确定椭圆线上的360个点为椭圆线检测点；S2、从方向盘图像中截取方向盘所在的外接矩形作为第一图片，所述第一图片的全部范围为感兴趣区域，对感兴趣区域进行预处理；S3、获取一个单一感兴趣区域，所述单一感兴趣区域是先在所述第一图片上选取所述椭圆线检测点中的任一个点，然后以选取的点为中心，截取大小为size，角度为0的矩形作为单一感兴趣区域，size的大小根据感兴趣区域大小自适应变化；S4、获取S3中获取的单一感兴趣区域的二值化图像，将该二值化图像表示在二维坐标系中并向X轴方向投影，得到该二值化图像每一列的灰度值为255的像素点数A，寻找该二值化图像特定的连续的若干列并计算连续的若干列的长度L，该二值化图像特定的连续的若干列满足其中每列的像素点数A均大于第一阈值T1，T1根据size自适应变化；S5、对S3获取的单一感兴趣区域进行肤色检测，获取该单一感兴趣区域的二值化图像，二值化图像中手部肤色灰度值为255，识别所述椭圆线检测点落在该单一感兴趣区域的点集，检测点集中的点的灰度值为255的个数N；S6、当L>第二阈值T2且N>第三阈值T3时，判断S3获取的单一感兴趣区域存在操作手，否则，判断S3获取的单一感兴趣区域不存在操作手，T2、T3根据size自适应变化；S7、循环执行S3-S6步骤，以S3获取的单一感兴趣区域的中心点为起始点，以1°为步长按照顺时针方向逐个获取单一感兴趣区域，判断以所述椭圆线检测点为中心的360个单一感兴趣区域是否存在操作手；S8、判断存在操作手的单一感兴趣区域是否连续，计算连续的存在操作手的单一感兴趣区域的个数B，当B>第四阈值T4时，判断S1中采集的一帧方向盘图像中存在操作手，否则，判断S1中采集的一帧方向盘图像中不存在操作手；S9、循环执行步骤S1-S8，采集设定帧数的方向盘图像，综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员。2.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法，其特征在于，步骤S2中：对感兴趣区域进行灰度化和边缘检测的预处理操作。3.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法，其特征在于，步骤S4中：对S3中获取的单一感兴趣区域进行二值化操作获取二值化图像的方法为：利用肤色信息经验值对单一感兴趣区域进行肤色检测，得到二值化图像，二值化图像中肤色像素点灰度值为255，非肤色像素点灰度值为0或者计算单一感兴趣区域的平均灰度，将平均灰度作为阈值对单一感兴趣区域进行灰度二值化，得到二值化图像。4.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法，其特征在于，步骤S8中：所述单一感兴趣区域的中心点是所述椭圆线检测点，如果若干单一感兴趣区域的中心点是在椭圆线上连续的点，则判断各单一感兴趣区域连续。5.如权利要求1所述的基于机器视觉的方向盘及操作手检测方法，其特征在于，步骤S9中综合设定帧数的方向盘图像的操作手判断结果决定是否提醒驾驶员的步骤为：获取设定帧数的方向盘图像中不存在操作手的帧数C，如果C>第五阈值T5，则提醒驾驶员注意安全驾驶。6.一种基于机器视觉的方向盘及操作手检测系统，其特征在于，包括：椭圆检测模块：采...

【专利技术属性】
技术研发人员：徐文平，韩守东，夏鑫鑫，
申请(专利权)人：湖北天业云商网络科技有限公司，
类型：发明
国别省市：湖北,42