一种基于车内OMS相机计算乘客坐高及座舱成员分类方法技术

本发明专利技术公开了一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，主要包括以下几个步骤：提取主副驾人体坐高关键点信息、乘客骨架坐高计算、座舱成员类别逻辑判断。本发明专利技术的分类方法所受相机畸变影响较小，可快速计算、分辨出副驾乘客类别，通过与车内预警系统联用可有效提高乘客乘坐安全性；该方法科学有效、误差较现有技术有较大幅度的降低，可进一步提高乘用车使用安全预警的精准度。使用安全预警的精准度。使用安全预警的精准度。

【技术实现步骤摘要】
一种基于车内OMS相机计算乘客坐高及座舱成员分类方法


[0001]本专利技术涉及智能汽车
，尤其是涉及一种基于车内OMS相机计算乘客坐高及座舱成员分类方法。

技术介绍

[0002]随着汽车行业的发展，驾驶员和乘客的安全成为重中之重。为了提升驾驶员和乘客安全，座舱监控(In
‑
cabin monitoring)应运而生，通过实时监控整个车内环境来提高驾驶员及乘客的安全。和座舱监控相关的DMS和OMS也发展起来。OMS(Occupancy Monitoring System)通过乘客坐高区分乘客是否是儿童是保护乘客安全的主要方式之一，其原理是通过图像处理的方式得到副驾驶的真实坐高，判断副驾乘客是否是小孩，如果是将触发车内预警系统。因为实际遇到车祸时，如果副驾乘坐的是小孩，副驾的安全气囊弹出的位置不是小孩的身体而是头部，将会对小孩造成车祸后的二次伤害。因此对于副驾儿童的预警是一项很重要的安全措施。
[0003]目前有关求解人体坐高的方法主要是通过图像内参照物和人的比例去求解坐高，这种方法虽然原理简单易操作，但计算出的人体的误差比较大，尤其是当相机存在较大的畸变时，求出的结果很难达到预期的效果。

技术实现思路

[0004]针对现有技术不足，本专利技术了一种基于车内OMS相机对于计算乘客坐高及座舱成员分类的方法。
[0005]本专利技术解决上述技术问题采用的技术方案为：
[0006]一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，具体包括以下步骤：
[0007](1)提取主副驾人体坐高关键点信息：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息并进行筛选和删除误检测骨架信息，最后对车内的骨架进行分类、编号并保存每个骨架的关键点信息；
[0008](2)乘客骨架坐高计算：先计算出车内OMS相机内参以及相机到座椅的距离作为已知参数；然后将求得的已知参数带入图像像素坐标系转世界坐标的公式中计算出对应位置乘客的坐高；最后将每一帧图像内的乘客坐高高度信息存储到坐高特征容器中；
[0009](3)座舱成员类别逻辑判断：设定区分儿童/成人的坐高阈值为M cm，然后从坐高特征容器中的时间序列上所存储的乘客坐高高度值与M比较以判断座舱成员的类别。
[0010]进一步地，步骤(1)所述的提取主副驾人体坐高关键点信息具体为：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息，并对提取到的人体骨架关键点进行编号，编号规则为：未检测到脸部关键点的骨架不进行编号并使用图像处理进行剔除，对检测到脸部关键点的骨架进行编号，编号顺序为人体姿态
识别检测到骨架的先后顺序排列；按照人体姿态识别里面识别的关键点占据图像的位置来确定骨架所属类别，区分出主驾驶、副驾驶以及后排的乘客骨架；提取主副驾驶的颈部和股部关键点作为求解坐高的关键点，并将座舱内乘客数量、颈部和股部关键点保存到骨架特征结构体中，为后续求解单帧图像内乘客坐高做准备。
[0011]进一步地，步骤(2)中所述的相机内参计算方法：用棋盘格标定板录制20
‑
25张图像，然后用matlab的Camera Calibrator小程序标定车内相机，求出相机的内参fx，fy，u0，v0。
[0012]进一步地，步骤(2)中所述的相机到座椅的距离计算方法：在座椅处贴上25cm的3x3的棋盘格，记实际相邻角点距离dw(cm)，利用角点检测检测出棋盘格的角点与坐标转换的变换公式结合，计算出相机镜头到人坐在座椅上的水平距离Zc，公式如下：
[0013][0014]其中，dw为棋盘格实际相邻两个角点之间的距离，dx为对应两个角点之间x坐标的像素差值，dy为对应两个角点之间y坐标的像素差值；fx、fy为相机的内参。
[0015]进一步地，步骤(2)中所述的乘客的坐高计算方法：调整座椅的距离，会得到不同位置的Zc，将之前得到主副驾坐高关键点的像素坐标一起代入像素坐标转世界坐标的公式中，求出主副驾乘客的车内真实的坐高height(cm)，公式如下：
[0016][0017]其中，(x1，y1)为乘客颈部的关键点像素坐标(pix)，(x2，y2)为乘客股部的关键点像素坐标(pix)，Zc相机镜头到人坐在座椅上的水平距离，fx、fy为相机内参。
[0018]进一步地，步骤(2)中所述的乘客坐高高度信息存储方法：将求得每一帧图像的乘客坐高信息保存到长度为N的序列中，定义存储坐高信息的时间序列vec_passenger_heights，序列大小为N，序列排号依次为N1‑
N
N
，存储方式具体为：存入第一帧的坐高信息到N1存入第二帧的坐高信息到N2...存入第n帧的坐高信息到N
N
；
[0019]vec_passenger_heights清空规则：
[0020]①
当vec_passenger_heights存满时，删除第一次存入的坐高信息，将当前帧坐高信息存在序列尾端；
[0021]②
当判断出座舱乘员类别时，立即清空序列中的所有坐高信息；
[0022]③
当超过一段时间，没有新的坐高信息存入时，清空序列中的所有坐高信息。
[0023]进一步地，步骤(3)所述的座舱成员类别逻辑判断方法：
[0024]1)设定存储座舱乘客坐高信息的时间序列vec_passenger_heights长度N，定义一个累加器numl，num2；
[0025]2)当vec_passenger_heights序列长度大于等于N时，序列从最后往前遍历，判断每一帧的值跟坐高阈值之间关系，小于M cm累加器num1加一，大于M cm累加器num2加一；
[0026]3)统计序列中小于M cm和大于M cm的帧数，计算小于M cm的概率是否大于0.8，如果大于乘客识别为儿童；计算大于M cm的概率是否大于0.8，如果大于乘客识别为成人。
[0027]与现有技术相比，本专利技术具备的有益效果：
[0028]本专利技术提供的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标估计及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，受相机畸变影响较小，可快速计算、分辨出副驾乘客类别，通过与车内预警系统联用可有效提高乘客乘坐安全性；该方法科学有效、误差较现有技术有较大幅度的降低，可进一步提高乘用车使用安全预警的精准度。
附图说明
[0029]图1为步骤(2)中所述的乘客坐高高度信息存储方法存入第一帧的坐高信息示意图；
[0030]图2为步骤(2)中所述的乘客坐高高度信息存储方法存入第二帧的坐高信息示意图；
[0031]图3为步骤(3)中所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：包括以下步骤：(1)提取主副驾人体坐高关键点信息：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别提取座舱内图像的人体骨架关键点信息并进行筛选和删除误检测骨架信息，最后对车内的骨架进行分类、编号并保存每个骨架的关键点信息；(2)乘客骨架坐高计算：先计算出车内OMS相机内参以及相机到座椅的距离作为已知参数；然后将求得的已知参数带入图像像素坐标系转世界坐标的公式中计算出对应位置乘客的坐高；最后将每一帧图像内的乘客坐高高度信息存储到坐高特征容器中；(3)座舱成员类别逻辑判断：设定区分儿童/成人的坐高阈值为M cm，然后从坐高特征容器中的时间序列上所存储的乘客坐高高度值与M比较以判断座舱成员的类别。2.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(1)所述的提取主副驾人体坐高关键点信息具体为：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息，并对提取到的人体骨架关键点进行编号，编号顺序为人体姿态识别检测到骨架的先后顺序排列；按照人体姿态识别里面识别的关键点占据图像的位置来确定骨架所属类别，区分出主驾驶、副驾驶以及后排的乘客骨架；提取主副驾驶的颈部和股部关键点作为求解坐高的关键点，并将座舱内乘客数量、颈部和股部关键点保存到骨架特征结构体中，为后续求解单帧图像内乘客坐高做准备。3.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的相机内参计算方法：用棋盘格标定板录制20
‑
25张图像，然后用matlab的Camera Calibrator小程序标定车内相机，求出相机的内参fx，fy，u0，v0。4.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的相机到座椅的距离计算方法：在座椅处贴上25cm的3
×
3的棋盘格，记实际相邻角点距离dw(cm)，利用角点检测检测出棋盘格的角点与坐标转换的变换公式结合，计算出相机镜头到人坐在座椅上的水平距离Zc，公式如下：其中，dw为棋盘格实际相邻两个角点之间的距离，dx为对应两个角点之间x坐标的像素差值，dy为对应两个角点之间y坐标的像素差值；fx、fy为相机的内参。5.根...

【专利技术属性】
技术研发人员：王臣豪，符树敏，
申请(专利权)人：宁波春建电子科技有限公司，
类型：发明
国别省市：