用于确定驾驶员的专注度的装置、具有其的系统及其方法制造方法及图纸

本发明专利技术涉及用于确定驾驶员的专注度的装置、具有其的系统及其方法。一种用于确定驾驶员的专注度的装置，包括：关注区域限定处理器，被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；驾驶员眼睛凝视检测处理器，被配置为根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，被配置为计算每个眼睛凝视点的专注度信息；图像坐标系处理器，被配置为将关注区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；以及专注度确定处理器被配置为基于专注度信息在图像坐标系中确定驾驶员的专注度。

【技术实现步骤摘要】
用于确定驾驶员的专注度的装置、具有其的系统及其方法相关申请的交叉引用本申请基于并且要求保护于2016年11月8日提交给韩国知识产权局的韩国专利申请号10-2016-0148016的优先权权益，通过引用将本公开的全部内容结合在此。
本公开涉及一种用于确定驾驶员的专注度的装置、具有该装置的系统及其方法，并更具体地，涉及一种能够基于驾驶员的专注度信息(例如，眼睛凝视点位置、眼睛凝视移动速度等)确定驾驶员的当前专注度并且基于确定结果向驾驶员发出预警以致使驾驶员安全驾驶的技术。
技术介绍
存在导致发生诸如鲁莽驾驶、道路上发生突然危险情形等汽车事故的各种因素，并且包括驾驶加速、开车昏睡、以及鲁莽驾驶的交通事故主要起因的比例每年都在增加。睡意警报系统和速度警报系统是当超过速度极限或者当通过检查车辆速度或驾驶员的眼睛闭合状态而闭上眼睛时周期性地向驾驶员发出警报的现有技术。然而，关于驾驶时的疏忽盲目状态(诸如使用移动手机、无意识状态下驾驶等)的警报系统机能不全。即，需要驾驶员在驾驶时持续性地检查实时改变的信息，例如，前方行驶车辆、标识、车道等，然而，当驾驶员无意识地疏忽或当施加大量认知的负荷时，驾驶员难以适当地处理信息。然而，在常规警报系统中，通过简单地检测驾驶员眼睛的闭合度或眨眼确定驾驶员的状态，由此导致在确定驾驶员的专注度时出现错误。
技术实现思路
本公开致力于解决现有技术中出现的上述所述问题，同时保持现有技术实现的优点的完整性。本公开的一方面提供一种用于确定驾驶员的专注度的装置、具有该装置的系统、及其方法，其能够基于例如眼睛凝视点位置、眼睛凝视移动速度等驾驶员的专注度信息确定驾驶员的当前专注度并且基于确定结果向驾驶员发出预警以使驾驶员安全驾驶。本专利技术构思所解决的技术问题并不局限于上述所述问题，并且从本公开所属领域技术人员的下列描述中，能够清晰地理解此处未提及的任何其他技术问题。根据本公开的示例性实施方式，用于确定驾驶员的专注度的装置包括：关注区域限定处理器，关注区域限定处理器被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；驾驶员眼睛凝视检测处理器，驾驶员眼睛凝视检测处理器被配置为根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，驾驶员专注度信息计算处理器被配置为计算每个眼睛凝视点的专注度信息；图像坐标系处理器，图像坐标系处理器被配置为将感测器区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；以及专注度确定处理器，专注度确定处理器被配置为基于专注度信息在图像坐标系内确定驾驶员的专注度。该装置进一步包括驾驶员注意力引导控制处理器，在驾驶员的专注度小于参考值的情况下，驾驶员注意力引导控制处理器被配置为向驾驶员提供预警警报、指导、以及注意力引导中的至少一项。在驾驶员的专注度小于参考值并且通过控制支持设备驱动车辆的情况下，驾驶员注意力引导控制处理器被配置为控制驾驶控制权(drivingcontrolright)的传递比(transferratio)与驾驶控制权的传递时间点(transfertimepoint)，其中，驾驶控制权被传递给驾驶员。关注区域限定处理器被配置为通过调整信息的优先级而限定感测器区域，驾驶员在驾驶时需要根据实时发生的驾驶情形检查信息的优先级。驾驶时实时发生的驾驶情形包括驾驶车道中前方行驶车辆的速度变化、相邻车道上行驶的车辆的中断、车辆方向上的安全距离变化、以及行驶车道变换中的至少一项。驾驶员专注度信息计算处理器被配置为计算眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度作为专注度信息。专注度确定处理器被配置为从眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值(areavalue)。专注度确定处理器被配置为以监控处理器模式确定眼睛凝视点之中的第一眼睛凝视点与最后眼睛凝视点之间连接的线作为参考线并且使用参考线与眼睛凝视点之间的距离计算眼睛凝视点的位置的离散值。专注度确定处理器被配置为计算通过使用线将眼睛凝视点彼此连接而限定的形状的面积作为眼睛凝视点的面积值。专注度确定处理器被配置为计算关注区域与眼睛凝视点之间的相对距离并且确定关注区域与眼睛凝视点之间的相关度。专注度确定处理器被配置为根据关注区域与眼睛凝视点之间的相关度而不同程度地量化驾驶员的专注度。在眼睛凝视点的面积值小于第一参考值、眼睛凝视移动速度的平均值小于第二参考值、或眼睛凝视点的位置的离散值小于第三参考值的情况下，专注度确定处理器被配置为确定驾驶员的专注度高或驾驶员凝视关注区域以外的点。根据本公开的另一示例性实施方式，用于确定驾驶员的专注度的系统包括：图像获取设备，图像获取设备被配置为获取车辆前方图像和驾驶员面部图像；驾驶员专注度确定处理器，驾驶员专注度确定处理器被配置为从驾驶员面部图像中检测驾驶员的眼睛凝视移动、相对于驾驶员的每个眼睛凝视点计算专注度信息、并且基于专注度信息确定驾驶员的专注度；以及输出，在通过驾驶员专注度确定处理器确定驾驶员的专注度小于参考值的情况下，输出被配置为向驾驶员输出专注度引导预警警报。输出包括：显示器，显示器被配置为显示预警消息、预警灯、以及增强现实屏幕的预警屏幕中的至少一项；扬声器，扬声器被配置为输出预警声音；以及振动器，振动器被配置为向驾驶员提供振动模拟源。驾驶员专注度确定处理器包括：关注区域限定处理器，关注区域限定处理器被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；驾驶员眼睛凝视检测处理器，驾驶员眼睛凝视检测处理器被配置为根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，驾驶员专注度信息计算处理器被配置为计算每个眼睛凝视点的专注度信息；图像坐标系处理器，图像坐标系处理器被配置为将关注区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；以及专注度确定处理器，专注度确定处理器被配置为基于专注度信息在图像坐标系内确定驾驶员的专注度。驾驶员专注度信息计算处理器被配置为计算眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度作为专注度信息。专注度确定处理器被配置为从眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值。根据本公开的另一方面，用于确定驾驶员的专注度的方法包括：基于关于行驶车辆的前方图像信息的交通有关信息限定感测器区域；根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；计算每个眼睛凝视点的专注度信息；将关注区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；并且基于专注度信息在图像坐标系内确定驾驶员的专注度。通过计算眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度作为专注度信息而执行对驾驶员的专注度的计算。通过从每个眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值并且将眼睛移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值中的每个与预定的对应参考值进行比较已确定驾驶员的专注度而执行对驾驶员的专注度的确定。根据上述情形，基于专注度信息(例如，眼睛凝视点位置本文档来自技高网...

【技术保护点】
一种用于确定驾驶员的专注度的装置，所述装置包括：关注区域限定处理器，被配置为基于关于行驶车辆的前方图像信息的交通相关信息限定关注区域；驾驶员眼睛凝视检测处理器，被配置为根据驾驶员的眼睛凝视移动从所述驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，被配置为计算所述眼睛凝视点中的每个的专注度信息；图像坐标系处理器，被配置为将所述关注区域转换至图像坐标系并且将所述眼睛凝视点的位置转换至所述图像坐标系；以及专注度确定处理器，被配置为基于所述专注度信息在所述图像坐标系中确定所述驾驶员的专注度。

【技术特征摘要】
2016.11.08 KR 10-2016-01480161.一种用于确定驾驶员的专注度的装置，所述装置包括：关注区域限定处理器，被配置为基于关于行驶车辆的前方图像信息的交通相关信息限定关注区域；驾驶员眼睛凝视检测处理器，被配置为根据驾驶员的眼睛凝视移动从所述驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，被配置为计算所述眼睛凝视点中的每个的专注度信息；图像坐标系处理器，被配置为将所述关注区域转换至图像坐标系并且将所述眼睛凝视点的位置转换至所述图像坐标系；以及专注度确定处理器，被配置为基于所述专注度信息在所述图像坐标系中确定所述驾驶员的专注度。2.根据权利要求1所述的装置，进一步包括驾驶员注意力引导控制处理器，所述驾驶员注意力引导控制处理器被配置为在所述驾驶员的专注度小于参考专注度值时，向所述驾驶员提供预警警报、指导、以及注意力引导中的至少一项。3.根据权利要求2所述的装置，其中，所述驾驶员注意力引导控制处理器被配置为：在所述驾驶员的专注度小于所述参考专注度值并且通过控制支持设备驱动所述车辆时，控制使得所述驾驶员能够控制所述车辆的驾驶控制权的传递比和传递时间点。4.根据权利要求1所述的装置，其中，所述关注区域限定处理器被配置为通过根据在驾驶时实时发生的驾驶情形调整所述驾驶员需要检查的信息的优先级来限定所述关注区域。5.根据权利要求4所述的装置，其中，在驾驶时实时发生的驾驶情形包括驾驶车道上前方行驶车辆的速度变化、相邻车道上行驶的车辆的中断、车辆方向上的安全距离的变化、以及所述驾驶车道的变换中的至少一项。6.根据权利要求1所述的装置，其中，所述驾驶员专注度信息计算处理器被配置为计算所述眼睛凝视点的位置以及所述眼睛凝视点之间的眼睛凝视移动速度作为所述专注度信息。7.根据权利要求6所述的装置，其中，所述专注度确定处理器被配置为从所述眼睛凝视点的所述专注度信息中计算所述眼睛凝视移动速度的平均值、所述眼睛凝视点的位置的离散值、以及所述眼睛凝视点的面积值。8.根据权利要求7所述的装置，其中，所述专注度确定处理器被配置为在监控单位图案中确定所述眼睛凝视点之中的第一眼睛凝视点与最后眼睛凝视点之间连接的线作为参考线并且使用所述参考线与所述眼睛凝视点之间的距离计算所述眼睛凝视点的位置的所述离散值。9.根据权利要求7所述的装置，其中，所述专注度确定处理器被配置为计算通过使用线将所述眼睛凝视点彼此连接而限定的形状的面积作为所述眼睛凝视点的所述面积值。10.根据权利要求7所述的装置，其中，所述专注度确定处理器被配置为计算所述关注区域与所述眼睛凝视点之间的相对距离并且确定所述关注区域与所述眼睛凝视点之间的相关度。11.根据权利要求10所述的装置，其中，所述专注度确定处理器被配置为根据所述关注区域与所述眼睛凝视点之间的相关度不同程度地量化所述驾驶员的专注度。12.根据权利要求7所述的装置，其中，当所述眼睛凝视点的所述面积值小于第一参考值、所述眼睛凝视移动速度的所述平均值小于第二参考值、...

【专利技术属性】
技术研发人员：柳成淑，金镇权，李秉俊，金三龙，
申请(专利权)人：现代自动车株式会社，
类型：发明
国别省市：韩国,KR