乘员观察装置制造方法及图纸

本发明专利技术提供一种能够将乘员的状态推定的精度维持得高的乘员观察装置。乘员观察装置具备：摄像部，其拍摄车辆的乘员的头部；眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的一部分；嘴巴检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的嘴巴的一部分；以及状态推定部，其基于所述眼睛检测部的检测结果和所述嘴巴检测部的检测结果来推定所述乘员的状态，所述状态推定部根据所述眼睛检测部的检测结果或基于所述眼睛检测部的检测结果而进行的处理的结果，来变更使所述眼睛检测部的检测结果和所述嘴巴检测部的检测结果分别反映于所述乘员的状态的推定的比例。

【技术实现步骤摘要】
乘员观察装置
本专利技术涉及乘员观察装置。
技术介绍
关于利用装置来检查获知以车辆的驾驶员为首的乘员的状态的结构正在推进研究。在乘员的状态中，包括是否感到睡意、集中程度、感情等。作为为了检查获知乘员的状态而重要的因素，可举出眼睛的状态。因此，利用相机来拍摄乘员并解析图像而观察眼睛的状态的装置的实用化正在推进。例如，在日本专利第5343631号公报中公开了一种驾驶支援装置，该驾驶支援装置具备：摄像单元，其拍摄驾驶员的脸部；检测单元，其根据由所述摄像单元拍摄到的脸部图像来检测驾驶员的嘴巴或手的动作及眼睛的开闭；第一特征检测单元，其根据由所述检测单元检测到的所述嘴巴的铅垂方向成分的形状变化来检测哈欠，根据所述嘴巴的水平方向成分的形状变化来检测叹气或深呼吸，根据所述嘴巴的形状变化来检测所述驾驶员的脖子或头的运动动作，检测相对于所述驾驶员的脸部接近或离开的手的动作；第二特征检测单元，其根据所述眼睛的闭上时间来检测闭眼率；以及判定单元，其根据由所述第一特征检测单元及所述第二特征检测单元检测到的特征动作的历时变化来判定所述驾驶员的清醒状态、相对于睡意的苦战或纠葛状态、瞌睡的初始状态及瞌睡状态。然而，在以往的技术中，使眼睛的状态、嘴巴的动作反映于乘员的状态推定的比例是固定的，因此状态推定的精度有时会下降。
技术实现思路
本专利技术考虑这样的情况而完成，其目的之一在于，提供能够将乘员的状态推定的精度维持得高的乘员观察装置。本专利技术的乘员观察装置采用了以下的结构。(1)：本专利技术的一方案的乘员观察装置具备：摄像部，其拍摄车辆的乘员的头部；眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的一部分；嘴巴检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的嘴巴的一部分；以及状态推定部，其基于所述眼睛检测部的检测结果和所述嘴巴检测部的结果来推定所述乘员的状态，所述状态推定部根据所述眼睛检测部的检测结果或基于所述眼睛检测部的检测结果而进行的处理的结果，来变更使所述眼睛检测部的检测结果和所述嘴巴检测部的结果分别反映于所述乘员的状态的推定的比例。(2)：在上述(1)的方案中，所述眼睛检测部至少检测所述乘员的眼睛的轮廓的一部分，所述乘员观察装置还具备睁眼率导出部，该睁眼率导出部基于由所述眼睛检测部检测到的轮廓中的多个特征点的位置关系，来导出所述乘员的眼睛的睁眼率，所述状态推定部基于所述乘员的眼睛的睁眼率和所述嘴巴检测部的结果来推定所述乘员的状态，基于所述眼睛检测部的检测结果而进行的处理的结果是通过所述睁眼率导出部的处理而得到的所述乘员的眼睛的睁眼程度。(3)：在上述(2)的方案中，所述状态推定部在所述乘员的眼睛的睁眼程度为规定程度以下的状态持续了规定期间以上的情况下，变更使所述眼睛检测部的检测结果和所述嘴巴检测部的结果反映于所述乘员的状态的推定的比例。(4)：在上述(1)～(3)的方案中，所述状态推定部在变更使所述眼睛检测部的检测结果和所述嘴巴检测部的结果反映于所述乘员的状态的推定的比例的情况下，减小使所述眼睛检测部的结果反映于所述乘员的状态的推定的比例。根据上述(1)～(4)的方案，能够将乘员的状态推定的精度维持得高。根据上述(3)的方案，即使关于眼睛细小的乘员，也能够将乘员的状态推定的精度维持得高。附图说明图1是示出乘员观察装置的结构和使用环境的一例的图。图2是例示了摄像部的设置位置的图。图3是示意性地示出眼睛检测部的处理的内容的图。图4是用于对睁眼率导出部的处理进行说明的图。图5是示出容易产生规定的现象的人物的一部分的图。图6是示出容易产生规定的现象的人物的一部分的图。图7是示出容易产生规定的现象的人物的一部分的图。图8是示出由图像处理装置进行的处理的流程的一例的流程图。具体实施方式以下，参照附图，对本专利技术的乘员观察装置的实施方式进行说明。乘员观察装置搭载于车辆。车辆是四轮车辆、二轮车辆等。在以下的说明中，设为车辆是四轮车辆。虽然以车辆是右舵的车辆为前提，但在适用于左舵的车辆的情况下，使以下的说明中的左右关系相反而换种措辞即可。图1是示出乘员观察装置1的结构和使用环境的一例的图。乘员观察装置1例如具备摄像部10和图像处理装置20。图像处理装置20例如具备眼睛检测部24、嘴巴检测部26、睁眼率导出部28及状态推定部30。乘员观察装置1例如推定车辆的乘员的状态，将推定结果向各种车载装置100输出。乘员至少包括驾驶员，也可以包括副驾驶员座乘员。各种车载装置100是驾驶支援装置、自动驾驶控制装置、智能体装置及其他装置，乘员观察装置1推定并输出与各种车载装置100的种类、目的相应的乘员的状态。乘员的状态包括睡意、视线的朝向、感情等中的一部分或全部。在以下的说明中，设为乘员观察装置1推定乘员的睡意。图2是例示了摄像部10的设置位置的图。摄像部10例如设置于车辆的仪表板的中央部，拍摄车辆的乘员的至少头部。图中，SW是转向盘，DS是驾驶员座，AS是副驾驶员座。摄像部10例如包括拍摄红外线的红外线相机和将可见光作为彩色图像而拍摄的RGB相机中的一方或双方。更优选的是，摄像部10至少包括红外线相机，也可以进一步包括RGB相机。在以下的说明中，设为摄像部10专门包括红外线相机，关于包括RGB相机的情况将在后文叙述。返回图1，对图像处理装置20的各部分进行说明。图像处理装置20的构成要素例如通过CPU(CentralProcessingUnit)等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部也可以由LSI(LargeScaleIntegration)、ASIC(ApplicationSpecificIntegratedCircuit)、FPGA(Field-ProgrammableGateArray)、GPU(GraphicsProcessingUnit)等硬件(包括电路部：circuitry)实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(HardDiskDrive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，通过存储介质向驱动装置装配而安装。关于眼睛检测部24的功能，作为一例，对提取边缘后检测眼睛的方法进行说明。眼睛检测部24例如在由摄像部10拍摄到的图像(以下，称作拍摄图像)中提取边缘。边缘是指与自身的周边的像素的像素值之差比基准大的像素(或像素群)，即特征性的像素。眼睛检测部24例如使用SOBEL滤波器等边缘提取滤波器来提取边缘。使用SOBEL滤波器仅仅是一例，眼睛检测部24也可以基于其他滤波器或算法来提取边缘。眼睛检测部24例如基于在拍摄图像中提取出的边缘的分布来检测拍摄图像中的至少乘员的眼睛的一部分。眼睛检测部24也可以不是通过提取边缘而是通过向由深度学习等机器学习方法生成的已学习模型输入拍摄图像而直接检测眼睛的一部本文档来自技高网...

【技术保护点】
1.一种乘员观察装置，其中，/n所述乘员观察装置具备：/n摄像部，其拍摄车辆的乘员的头部；/n眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的一部分；/n嘴巴检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的嘴巴的一部分；以及/n状态推定部，其基于所述眼睛检测部的检测结果和所述嘴巴检测部的结果来推定所述乘员的状态，/n所述状态推定部根据所述眼睛检测部的检测结果或基于所述眼睛检测部的检测结果而进行的处理的结果，来变更使所述眼睛检测部的检测结果和所述嘴巴检测部的检测结果分别反映于所述乘员的状态的推定的比例。/n

【技术特征摘要】
20190314 JP 2019-0476611.一种乘员观察装置，其中，
所述乘员观察装置具备：
摄像部，其拍摄车辆的乘员的头部；
眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的一部分；
嘴巴检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的嘴巴的一部分；以及
状态推定部，其基于所述眼睛检测部的检测结果和所述嘴巴检测部的结果来推定所述乘员的状态，
所述状态推定部根据所述眼睛检测部的检测结果或基于所述眼睛检测部的检测结果而进行的处理的结果，来变更使所述眼睛检测部的检测结果和所述嘴巴检测部的检测结果分别反映于所述乘员的状态的推定的比例。


2.根据权利要求1所述的乘员观察装置，其中，
所述眼睛检测部至少检测所述乘员的眼睛的轮廓的一部分，
所述乘员观察装置还具备睁眼率导出部，该睁...

【专利技术属性】
技术研发人员：齐藤航太，崔胜镐，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：日本;JP