一种基于Kinect位姿识别的倒车入库方法技术

本发明专利技术公开了一种基于Kinect位姿识别的倒车入库方法，包括五个步骤：模型构建、数据采集、预处理、位姿解算及决策控制；其中，模型构建对驾驶员作预先的模型构建，获取身份图及惯用手；数据采集采用Kinect相机采集驾驶员的深度图像；预处理结合已构建的模型及实时采集的数据对驾驶员进行身份鉴别及朝向判断；位姿解算结合三角函数，对驾驶员的骨骼坐标点进行解算，所得角度信息作为位姿解算结果；决策控制将位姿解算结果进行解析并驱动车辆完成相应动作，最终完成倒车入库。本发明专利技术使得驾驶人员能够在车辆外采用不同位姿完成对车辆的控制，解决了狭窄空间下，驾驶员倒车后无法开启车门的问题，同时也减少了剐蹭现象的发生，大大提高了倒车入库的安全性。高了倒车入库的安全性。高了倒车入库的安全性。

【技术实现步骤摘要】
一种基于Kinect位姿识别的倒车入库方法


[0001]本专利技术涉及智能泊车领域，尤其涉及一种基于Kinect位姿识别的倒车入库方法。该方法使用双目相机Kinect进行预先的模型重建，再采集图像，根据骨骼模型对人体位姿进行判别，并对判别结果进行解析，转换成具体的控制指令，驱动车辆完成倒车入库。

技术介绍

[0002]城市车辆数量急剧增长带来了车位数量紧张、车位排布紧密的问题，加之部分停车不规范现象的发生，使得停车难度大幅上升。许多新手驾驶员面临的首要问题是：如何快速且安全地倒车入库。驾驶员在车内操控时，视野受到限制，仅能凭借反光镜及车载雷达观察周边环境，还需要同时控制油门、刹车、方向盘等，操作难度大且耗时较长。尤其在停车空间狭小的情况下，极易发生剐蹭现象。停车后，相邻车位的车辆及障碍物的存在常导致无法开启车门需要重新停车。复杂的泊车环境，带来了经济损失、精力消耗、人员伤亡、泊车剐蹭相邻车位车辆带来的口角矛盾等问题。
[0003]Kinect相机是微软官方产出的一款深度相机，可以获取RGB图像及深度图像。为解决上述倒车困难的问题，本专利技术提出一种基于Kinect位姿识别的倒车入库方法。

技术实现思路

[0004]本专利技术的目的是针对现有技术的不足而提供的一种基于Kinect位姿识别的倒车入库方法，该方法分为五个模块，模型构建模块，数据采集模块，预处理模块，位姿解算模块及决策控制模块。其中，模型构建模块预先获得驾驶员的模型信息，数据采集模块由Kinect相机完成，采集到观测范围内的深度图像，预处理模块结合模型信息获得处理后的骨骼坐标，位姿解算模块及决策控制模块由车载系统完成，根据骨骼坐标解算角度信息，并判别位姿，控制小车的行进，以安全快捷地完成倒车入库。
[0005]实现本专利技术目的的具体技术方案是：
[0006]一种基于Kinect位姿识别的倒车入库方法，其特点是该方法按以下步骤进行：
[0007]步骤1：模型构建：初始化Kinect相机，通过Kinect相机所摄深度图像及Kinect for Window软件开发工具包即SDK获得驾驶员的骨骼信息，获取肩中心关节点、头关节点、脊柱关节点、左肩关节点和右肩关节点的坐标值，每个坐标位置通过(x，y，z)表示，解算出驾驶员的身份图，用于对驾驶员身份的识别；根据肩中心关节点、左肩关节点和右肩关节点的坐标值，解算出驾驶员的惯用手，用于对驾驶员朝向的判定；为保证准确性，要至少解算三次；且惯用手判断结果连续三次一致；
[0008]步骤2：数据采集：初始化Kinect相机，设置摄像头仰角及放置距离，Kinect相机采集到包含驾驶员的深度图像；
[0009]步骤3：预处理：通过Kinect相机所摄深度图像及Kinect SDK，获得人体骨骼数据信息，即人体骨骼关节点的坐标值；根据实时采集到的骨骼数据信息，结合步骤1的身份图及惯用手对驾驶员进行身份鉴别及朝向匹配；
[0010]步骤4：位姿解算：选取人体左肩关节点、左肘关节点、左腕关节点、右肩关节点、右肘关节点和右腕关节点，以左右分为两组，每组三个点；鉴于驾驶员面对相机操作，忽略X轴方向上的值，获取肩关节点、肘关节点及腕关节点的二维坐标，构成三角形，结合三角函数，进行角度解算；
[0011]步骤5：决策控制：根据决策判断规则，分别对左右手的位姿解算结果进行解析，获得位姿判定结果，再根据决策控制规则，对车辆发出前进、后退、左转、右转的决策控制命令，驱动车辆完成倒车入库。
[0012]作为优选，所述身份图的解算过程为：以肩中心关节点为中心，计算肩中心关节点至头关节点的距离，肩中心关节点至脊柱关节点的距离，肩中心关节点至左肩关节点的距离，肩中心关节点至右肩关节点的距离，得到四者的比例关系，作为驾驶员的身份图；作为优选，所述惯用手的解算过程为：将肩中心关节点至左肩关节点的距离与肩中心关节点至右肩关节点的距离进行比较，根据二者的大小关系，得到驾驶员的惯用手为左还是右，若肩中心关节点至左肩关节点的距离较大，则认为惯用手为右手，反之为左手。
[0013]作为优选，Kinect相机包含一个彩色摄像头、一个红外投影仪及一个深度摄像头，其中，彩色摄像头用于拍摄视角范围内的彩色图像，红外投影机主动投射近红外线光谱，照射到粗糙物体后发生反射，进而被深度摄像头采集到，通过计算光的时间差计算出深度，从而采集得到深度图像。Kinect相机具有骨骼追踪技术，Kinect SDK为开发人员开发和部署响应人类工作、手势和声音指令的交互程序奠定了坚实的基础，使用官方的Kinect SDK可以正确读取出人体的骨骼信息，即预设的20个关节点的坐标位置，每个坐标位置通过(x，y，z)表示。
[0014]作为优选，驾驶员的身份鉴别过程为：对实时采集到的头关节点、肩中心关节点、脊柱关节点、左肩关节点和右肩关节点的坐标位置进行比例计算，并与步骤1的身份图进行比较，一致则认为驾驶员身份通过验证；作为优选，驾驶员的朝向匹配过程为：根据步骤1的惯用手，对骨骼模型的方向进行校准，若惯用手为右手，则实时采集的肩中心关节点至左肩关节点的距离要大于肩中心关节点至右肩关节点的距离，若连续三次与该判断标准不符，则认为需要将所有收到的左肩关节点、左肘关节点、左腕关节点、右肩关节点、右肘关节点和右腕关节点进行左右转换。
[0015]作为优选，位姿解算为：选取人体左肩关节点、左肘关节点、左腕关节点、右肩关节点、右肘关节点、右腕关节点这六个关节点，以左右分为两组，每组三个点，计算出肘关节处的夹角大小。以左肘关节点角度为例，计算方法为，忽略X轴方向数据，获取左肩关节点、左肘关节点、左腕关节点的二维坐标位置，进而计算两两之间的边长，再根据三边长度，解算出肘关节点的夹角大小。为保证解算效率，设置判断频率为1秒钟两次。
[0016]作为优选，决策判断规则为：对位姿解算的结果即肘关节处的角度进行解析，解析结果对应有至顶、向上、向下和至底；当肘关节的角度在0
°‑5°
范围内，判定驾驶员的位姿为至顶，当肘关节的角度在20
°‑
80
°
范围内，判定驾驶员的位姿为向上，当肘关节的角度在100
°‑
160
°
范围内，判定驾驶员的位姿为向下，当肘关节的角度在175
°‑
180
°
范围内，判定驾驶员的位姿为至底；5
°‑
20
°
，80
°‑
100
°
，160
°‑
175
°
，作为分隔有效角度范围的无效角度边界，保证判断结果的准确性；作为优选，决策控制规则为：左右手均至顶，对应为，开启位姿识别倒车入库功能；左右手均向上，对应为，车辆前进；左右手均向下，对应为，车辆后退；左
手向上，右手向下，对应为，车辆左转；左手向下，右手向上，对应为，车辆右转；左右手均至底，对应为，倒车入库成功，关闭位姿识别倒车入库功能。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kinect位姿识别的倒车入库方法，其特征在于，所述方法包括以下具体步骤：步骤1：模型构建：初始化Kinect相机，通过Kinect相机所摄深度图像及Kinect for Window软件开发工具包即SDK获得驾驶员的骨骼信息，获取肩中心关节点、头关节点、脊柱关节点、左肩关节点和右肩关节点的坐标值，每个坐标位置通过(x，y，z)表示，解算出驾驶员的身份图，用于对驾驶员身份的识别；根据肩中心关节点、左肩关节点和右肩关节点的坐标值，解算出驾驶员的惯用手，用于对驾驶员朝向的判定；步骤2：数据采集：初始化Kinect相机，设置摄像头仰角及放置距离，Kinect相机采集到包含驾驶员的深度图像；步骤3：预处理：通过Kinect相机所摄深度图像及Kinect SDK，获得人体骨骼数据信息，即人体骨骼关节点的坐标值；根据实时采集到的骨骼数据信息，结合步骤1的身份图及惯用手对驾驶员进行身份鉴别及朝向匹配；步骤4：位姿解算：选取人体左肩关节点、左肘关节点、左腕关节点、右肩关节点、右肘关节点和右腕关节点，以左右分为两组，每组三个点；鉴于驾驶员面对相机操作，忽略X轴方向上的值，获取肩关节点、肘关节点及腕关节点的二维坐标，构成三角形，结合三角函数，进行角度解算；步骤5：决策控制：根据决策判断规则，分别对左右手的位姿解算结果进行解析，获得位姿判定结果，再根据决策控制规则，对车辆发出前进、后退、左转、右转的决策控制命令，驱动车辆完成倒车入库。2.根据权利要求1所述的基于Kinect位姿识别的倒车入库方法，其特征在于，步骤1所述解算出驾驶员的身份图，其解算过程为：以肩中心关节点为中心，计算肩中心关节点至头关节点的距离，肩中心关节点至脊柱关节点的距离，肩中心关节点至左肩关节点的距离，肩中心关节点至右肩关节点的距离，得到四者的比例关系，作为驾驶员的身份图；所处解算出驾驶员的惯用手，其解算过程为：将肩中心关节点至左肩关节点的距离与肩中心关节点至右肩关节点的距离进行比较，根据二者的大小关系，得到驾驶员的惯用手为左还是右，若肩中心关节点至左肩关节点的距离较大，则认为惯用手为右手，反之为左手。3.根据权利要求1所述的基于Kinect位姿识别的倒车入库方法，其特征在于，所述的Kinect相机包含一个彩色摄像头、一个红外投影仪及一个深度摄像头，其中，彩色摄像头用于拍摄视角范围内的彩色图像，红外投影机主动投射近红外线光谱，照射到粗糙物体后发生反射，进而被深度摄像头采集到，通过计算光的时间差计算出深度，从而采集得到深度图像。4.根据权利要求1所述的基于Kinect位姿识别的倒车入库方法，其特征在于，步骤3所述对驾驶员进行身份鉴别及朝向匹配，其身份鉴别：对实时采集到的头关节点、肩中心关节点、脊柱关节点、左肩关节点和右肩关节点的坐标位置进行比例计算，并与步骤1的身份图进行比较，一致则认为驾驶员身份通过验证；...

【专利技术属性】
技术研发人员：谭楠，黄昶，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：