本公开涉及一种乘员状态检测方法及装置、电子设备和存储介质，通过获取至少一个包括至少两张二维场景图像的二维场景图像组和车辆内部的目标三维空间，每个二维场景图像组通过车辆内部至少两个图像采集装置在同一时刻采集得到。根据目标三维空间对每个二维场景图像组进行身体特征点匹配，得到身体特征点在目标三维空间中的位置的三维特征信息。根据至少一个身体特征点的三维特征信息检测对应乘员的状态。本公开实施例能够通过多个图像采集装置采集车辆内部场景，解决单个图像采集装置采集场景存在盲区的问题。同时，还通过多个车辆内场景的三维特征信息确定乘员在车内的运动情况，以实现对乘员状态进行检测。以实现对乘员状态进行检测。以实现对乘员状态进行检测。
【技术实现步骤摘要】
乘员状态检测方法及装置、电子设备和存储介质
[0001]本公开涉及计算机
，尤其涉及一种乘员状态检测方法及装置、电子设备和存储介质。
技术介绍
[0002]如今随着车辆智能化进程不断推进，同时为了满足驾驶员或其他乘客对安全性、舒适性以及娱乐性等各种需求，众多汽车终端厂商引入了DMS，OMS等智能车舱设备进行乘员状态检测。由于车舱内部空间较大、车内座椅等存在遮挡物等问题，当前车舱设备存在检测盲区的问题。同时，相关技术基于智能车舱设备采集的二维图像进行状态检测，难以对景深方向进行检测。
技术实现思路
[0003]本公开提出了一种乘员状态检测方法及装置、电子设备和存储介质，旨在对车内场景进行准确的检测。
[0004]根据本公开的第一方面，提供了一种乘员状态检测方法，包括：
[0005]获取至少一个二维场景图像组，每个所述二维场景图像组包括至少两张二维场景图像，每个所述二维场景图像组通过车辆内部至少两个图像采集装置在同一时刻采集得到；
[0006]确定所述车辆内部的目标三维空间；
[0007]根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息，所述三维特征信息用于表征车辆内部乘员的身体特征点在所述目标三维空间中的位置；
[0008]根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态。
[0009]在一种可能的实现方式中，所述根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息包括：
[0010]提取所述二维场景图像组中的每个二维场景图像中身体特征点；
[0011]基于提取出的所述身体特征点，对每个所述二维场景图像组中的至少两个所述二维场景图像进行身体特征点匹配，得到至少一个身体特征点组；
[0012]确定每个所述身体特征点组在所述目标三维空间对应的三维特征点；
[0013]根据同一时刻每个所述三维特征点得到所述身体特征点对应的三维特征信息。
[0014]在一种可能的实现方式中，所述确定每个所述身体特征点组在所述目标三维空间对应的三维特征点包括：
[0015]对于每个所述特征点组，确定采集其中每个身体特征点对应二维场景图像的图像采集装置的外参；
[0016]根据每个所述身体特征点对应图像采集装置的外参和在所述二维场景图像中的位置确定在所述目标三维空间中的映射线；
[0017]确定每个所述身体特征点组中至少两个所述身体特征点的映射线交点为三维特征点。
[0018]在一种可能的实现方式中，所述根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态包括：
[0019]根据至少一个所述身体特征点对应的三维特征信息确定所述乘员的三维动作；
[0020]根据所述三维动作对至少一个所述乘员进行状态检测。
[0021]在一种可能的实现方式中，所述根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态包括：
[0022]根据由时序连续的多个二维场景图像组分别确定的所述至少一个所述身体特征点在预定时间段内的三维特征信息，检测对应的乘员的动态动作；根据所述动态动作确定所述乘员的状态。
[0023]在一种可能的实现方式中，所述状态检测包括手势检测和疲劳检测中至少一种。
[0024]在一种可能的实现方式中，所述根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息，包括：
[0025]对每一个所述二维场景图像组中的第一二维场景图像和第二二维场景图像，响应于第一二维场景图像中的目标身体特征点在第二二维场景图像中不存在匹配的身体特征点，根据所述第一二维场景图像中的目标身体特征点的特征信息，确定所述目标身体特征点的三维特征信息。
[0026]在一种可能的实现方式中，所述根据所述第一二维场景图像中的目标身体特征点的特征信息，确定所述目标身体特征点的三维特征信息，包括：
[0027]根据所述第一二维场景图像中的目标身体特征点的特征信息，以及所述目标身体特征点的邻近身体特征点的三维特征信息，估计所述目标身体特征点的三维特征信息。
[0028]在一种可能的实现方式中，所述至少两个图像采集装置分别安装在内后视镜位置和后排照明灯位置，或者所述至少两个图像采集装置均设置在车辆的内后视镜位置。
[0029]根据本公开的第二方面，提供了一种乘员状态检测装置，包括：
[0030]图像获取模块，用于获取至少一个二维场景图像组，每个所述二维场景图像组包括至少两张二维场景图像，每个所述二维场景图像组通过车辆内部至少两个图像采集装置在同一时刻采集得到；
[0031]空间确定模块，用于确定所述车辆内部的目标三维空间；
[0032]信息确定模块，用于根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息，所述三维特征信息用于表征车辆内部乘员的身体特征点在所述目标三维空间中的位置；
[0033]状态检测模块，用于根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态。在一种可能的实现方式中，所述信息确定模块包括：
[0034]特征点提取子模块，用于提取所述二维场景图像组中的每个二维场景图像中身体特征点；
[0035]特征点组确定子模块，用于基于提取出的所述身体特征点，对每个所述二维场景图像组中的至少两个所述二维场景图像进行身体特征点匹配，得到至少一个身体特征点组；
[0036]三维点确定子模块，用于确定每个所述身体特征点组在所述目标三维空间对应的三维特征点；
[0037]第一特征信息确定子模块，用于根据同一时刻每个所述三维特征点得到所述身体特征点对应的三维特征信息。
[0038]在一种可能的实现方式中，所述三维点确定子模块包括：
[0039]参数确定单元，用于对于每个所述特征点组，确定采集其中每个身体特征点对应二维场景图像的图像采集装置的外参；
[0040]映射线确定单元，用于根据每个所述身体特征点对应图像采集装置的外参和在所述二维场景图像中的位置确定在所述目标三维空间中的映射线；
[0041]三维点确定单元，用于确定每个所述身体特征点组中至少两个所述身体特征点的映射线交点为三维特征点。
[0042]在一种可能的实现方式中，所述状态检测模块包括：
[0043]动作检测子模块，用于根据至少一个所述身体特征点对应的三维特征信息确定所述乘员的三维动作；
[0044]状态检测子模块，用于根据所述三维动作对至少一个所述乘员进行状态检测。
[0045]在一种可能的实现方式中，所述状态检测模块包括：
[0046]动态动作检测子模块，用于根据由时序连续的多个二维场景图像组分别确定的所述至少一个所述身体特征点在预定时间段内的三维特征信息，检测对应的乘员的动态动作；
[0047本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种乘员状态检测方法，包括：获取至少一个二维场景图像组，每个所述二维场景图像组包括至少两张二维场景图像，每个所述二维场景图像组通过车辆内部至少两个图像采集装置在同一时刻采集得到；确定所述车辆内部的目标三维空间；根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息，所述三维特征信息用于表征车辆内部乘员的身体特征点在所述目标三维空间中的位置；根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态。2.根据权利要求1所述的方法，其中，所述根据所述目标三维空间对每个所述二维场景图像组进行身体特征点匹配，得到所述身体特征点的三维特征信息包括：提取所述二维场景图像组中的每个二维场景图像中身体特征点；基于提取出的所述身体特征点，对每个所述二维场景图像组中的至少两个所述二维场景图像进行身体特征点匹配，得到至少一个身体特征点组；确定每个所述身体特征点组在所述目标三维空间对应的三维特征点；根据同一时刻每个所述三维特征点得到所述身体特征点对应的三维特征信息。3.根据权利要求2所述的方法，其中，所述确定每个所述身体特征点组在所述目标三维空间对应的三维特征点包括：对于每个所述特征点组，确定采集其中每个身体特征点对应二维场景图像的图像采集装置的外参；根据每个所述身体特征点对应图像采集装置的外参和在所述二维场景图像中的位置确定在所述目标三维空间中的映射线；确定每个所述身体特征点组中至少两个所述身体特征点的映射线交点为三维特征点。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态包括：根据至少一个所述身体特征点对应的三维特征信息确定所述乘员的三维动作；根据所述三维动作对至少一个所述乘员进行状态检测。5.根据权利要求4所述的方法，其中，所述根据至少一个所述身体特征点的三维特征信息检测对应的乘员的状态包括：根据由时序连续的多个二维场景图像组分别确定的所述至少一个所述身体特征点在预定时间段内的三维特征信息，检测对应的乘员的动态动作；根据所述动态动作确定所述乘员的状态。6.根据权利要求4或5所述...
【专利技术属性】
技术研发人员：陈筱，范亦卿，陶莹，许亮，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。