一种车外人体骨骼二维坐标与三维坐标的实时转换方法、操作车辆的方法及汽车技术

本发明专利技术一种车外人体骨骼二维坐标与三维坐标的实时转换方法、操作车辆的方法及汽车，坐标转换时，确定车外摄像头捕捉的人体骨骼点与3D虚拟形象骨骼点的对应关系；然后将第一帧图像骨骼点二维坐标转换成3D虚拟形象坐标系的二维坐标并令所有坐标Z轴为0，得到第一帧图像在3D虚拟形象坐标系中的三维坐标。按同样方法得到后续输入的每帧图像中人体骨骼点在3D虚拟形象坐标系的二维坐标；利用勾股定理，计算后续每帧图像每个骨骼点在3D虚拟形象坐标系中的Z轴坐标，即可得到每帧图像的三维坐标。本发明专利技术只需要利用摄像头捕捉到的人体骨骼点二维坐标，通过传输二维坐标来减轻传输压力，再利用几何关系转换为三维坐标，硬件要求低。硬件要求低。硬件要求低。

【技术实现步骤摘要】
一种车外人体骨骼二维坐标与三维坐标的实时转换方法、操作车辆的方法及汽车


[0001]本专利技术涉及车载智能网联
，特别是汽车电子电气系统、车载娱乐系统等，具体为一种车外人体骨骼二维坐标与三维坐标的实时转换方法、操作车辆的方法及汽车。

技术介绍

[0002]随着汽车智能化的发展，人车交互的智能、好玩成为更多车主最求的目标，为此，众多汽车厂商为提升用户的个性化需求，打造出各种拟人化的虚拟形象，同时也基于虚拟形象打造出更多的用户体验场景来增加人车交互体验感。车内虚拟形象模拟车外人物动作，车外手势、姿态控制车辆也将成为提升人车交互体验感的场景之一。在这个过程中，需要将车外人物动作转换为车辆可识别的信号以驱动虚拟形象，进而在车外仅仅通过动作即完成对车辆的某些操作。
[0003]相比基于游戏终端（比如Kinect）、手机终端等设备，车机具有硬件条件不足、网络带宽有限、车辆网络信号不稳定等劣势，若采用传统的视频流传输驱动虚拟形象的方式，不仅需要专业的采集设备，且高流量、高带宽的传输导致实时性不能够得到保证。
[0004]申请号为201310227144.6、名称为《一种单目机器视觉中平面坐标与空间三维坐标点的转换方法》的中国专利技术专利所提出的方法需已知平面一个点的三维坐标以及视线方向，存在的不足是需要三维坐标，对采集设备提出了更高的要求。申请号为201710573316.3、名称为《一种基于人体骨骼节点距离的动作识别方法》的中国专利技术专利所提出的动作识别方法是基于Kinect识别出的三维骨骼点，同样需要三维坐标。申请号为CN202111085862.5、名称为《一种基于并联卷积神经网络的人体骨骼动作识别方法》的中国专利技术专利所提出的动作识别方式是基于训练的动作集利用算法识别人体动作，只有动作集中的动作才能被识别，且需要复杂的算法。

技术实现思路

[0005]针对现有技术存在的上述不足，本专利技术的目的是提出一种车外人体骨骼二维坐标与三维坐标的实时转换方法，本专利技术只需要利用车机摄像头捕捉到的车外人体骨骼点二维坐标，通过传输二维坐标点位来减轻传输压力，再将二维坐标转换为三维坐标，从而可提升实时性。
[0006]本专利技术的技术方案是这样实现的：一种车外人体骨骼二维坐标与三维坐标的实时转换方法，按如下步骤进行，1）预先确定车外摄像头捕捉的人体骨骼点与车内3D虚拟形象骨骼点的对应关系；在车内3D虚拟形象所有骨骼点中设置一个骨骼点为根节点；根节点为不移动的点；车外摄像头捕捉的人体骨骼点中必有一个骨骼点与根节点对应；2）接收车外摄像头采集的第一帧图像数据，根据步骤1）确定的对应关系，将第一帧图像数据中人体骨骼点原始二维坐标转换成车内3D虚拟形象坐标系的二维坐标，即XY轴
坐标；3）令第一帧图像数据在车内3D虚拟形象坐标系中所有坐标的Z轴坐标为0，得到第一帧图像数据在车内3D虚拟形象坐标系中的三维坐标；计算第一帧图像数据在车内3D虚拟形象坐标系中任意相邻且连接的两节点之间的长度，称之为原始长度；4）接收第二帧图像数据，重复步骤2），得到第二帧图像数据中人体骨骼点在车内3D虚拟形象坐标系的二维坐标；5）假设每段骨骼长度不变，利用勾股定理，计算第二帧图像数据每个骨骼点在车内3D虚拟形象坐标系中相对第一帧图像数据的Z轴坐标，得到第二帧图像数据在车内3D虚拟形象坐标系中的三维坐标；6）后续接收到的每帧图像数据，均重复步骤4）和步骤5），即可得到每帧图像数据在车内3D虚拟形象坐标系中的三维坐标。
[0007]其中，步骤2）将第一帧图像数据中人体骨骼点原始二维坐标转换成车内3D虚拟形象坐标系的二维坐标的过程如下，2.1）选取一段骨骼长度在动作前后变化不大的骨骼作为参照，计算该骨骼在车外摄像头捕捉的原始坐标系中的长度L1和其在车内3D虚拟形象坐标系中的长度L2，计算缩放比例λ；2.2）设置根节点在车内3D虚拟形象坐标系中的二维坐标；2.3）选取根节点的一个子节点，计算在原始坐标系中该子节点相对于根节点的相对二维坐标N1，并将相对二维坐标N1的X轴坐标和Y轴坐标按照比例λ进行等比例缩放，计算出在车内3D虚拟形象坐标系中该子节点相对于根节点的相对二维坐标N2，根据车内3D虚拟形象坐标系中的根节点二维坐标和相对二维坐标N2，计算得到该子节点在车内3D虚拟形象坐标系中的二维坐标；2.4）重复步骤2.3），计算根节点所有子节点在车内3D虚拟形象坐标系中的二维坐标；2.5）以根节点的各个子节点分别作为父节点，将父节点作为根节点，重复步骤2.3），得到该父节点的所有子节点在车内3D虚拟形象坐标系中的二维坐标；根节点的子节点为与根节点直接相连的节点；任何父节点的子节点为与父节点直接相连且远离根节点的节点；2.6）重复步骤2.5），直到计算出该帧图像数据所有人体骨骼点在车内3D虚拟形象坐标系中的二维坐标。
[0008]其中，步骤5）计算第二帧图像数据每个人体骨骼点在车内3D虚拟形象坐标系中相对第一帧图像数据的Z轴坐标，其步骤如下，5.1）因为根节点不移动，假设第二帧图像数据在车内3D虚拟形象坐标系中根节点的Z轴坐标为0；5.2）计算第二帧图像数据在车内3D虚拟形象坐标系下根节点与其一个子节点在平面上的实际长度L3，结合步骤3）得到的对应两节点的原始长度L2，将原始长度L2和实际长度L3作为直角三角形的两条边构造直角三角形，其中原始长度L2和实际长度L3中较长的作为斜边，另一个作为一条直角边，利用勾股定理计算得到的另一条直角边的长度即为该子节点的Z轴坐标z1；Z轴坐标是取正值还是负值，根据具体场景中人体运动习惯进行规定；
5.3）重复步骤5.2），计算出根节点其余子节点的Z轴坐标；5.4）以根节点的各个子节点分别作为父节点，重复步骤5.2），将父节点作为根节点，计算出根节点的各个子节点的子节点的Z轴坐标；5.5）按步骤5.4）的方法依次类推，计算出每个人体骨骼点在车内3D虚拟形象坐标系中相对第一帧图像数据的Z轴坐标。
[0009]步骤1）确定车外摄像头捕捉的人体骨骼点与车内3D虚拟形象骨骼点的对应关系时，如果车外摄像头捕捉的人体骨骼点大于车内3D虚拟形象骨骼点，则舍弃车外摄像头捕捉的人体骨骼点中对运动姿态的确定影响相对较小的骨骼点，使车外摄像头捕捉的人体骨骼点小于等于车内3D虚拟形象骨骼点。
[0010]步骤1）中，如果车外摄像头捕捉的人体骨骼点中没有合适的一个骨骼点与3D虚拟形象中的根节点有对应，则在车外摄像头捕捉的人体骨骼点中构造一个骨骼点，使该构造的骨骼点与3D虚拟形象中的根节点对应；该构造的骨骼点再与其周围的骨骼点根据需要连接得到新的车外摄像头捕捉的人体骨骼点；该构造的骨骼点的二维坐标由与其连接的周围的骨骼点的坐标确定。
[0011]优选地，该构造的骨骼点满足，在新的车外摄像头捕捉的人体骨骼点中，该构造的骨骼点位于人体动作幅度相对最小的区域。
[0012]进一步地，该构造的骨骼点位于人体肩部和腰部之间且处于竖直中心线上。
[0013]步骤1）确定车外摄像头捕捉的人体骨骼点与车内3D虚拟形象骨骼点的对应关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车外人体骨骼二维坐标与三维坐标的实时转换方法，其特征在于：按如下步骤进行，1）预先确定车外摄像头捕捉的人体骨骼点与车内3D虚拟形象骨骼点的对应关系；在车内3D虚拟形象所有骨骼点中设置一个骨骼点为根节点；根节点为不移动的点；车外摄像头捕捉的人体骨骼点中必有一个骨骼点与根节点对应；2）接收车外摄像头采集的第一帧图像数据，根据步骤1）确定的对应关系，将第一帧图像数据中人体骨骼点原始二维坐标转换成车内3D虚拟形象坐标系的二维坐标，即XY轴坐标；3）令第一帧图像数据在车内3D虚拟形象坐标系中所有坐标的Z轴坐标为0，得到第一帧图像数据在车内3D虚拟形象坐标系中的三维坐标；计算第一帧图像数据在车内3D虚拟形象坐标系中任意相邻且连接的两节点之间的长度，称之为原始长度；4）接收第二帧图像数据，重复步骤2），得到第二帧图像数据中人体骨骼点在车内3D虚拟形象坐标系的二维坐标；5）假设每段骨骼长度不变，利用勾股定理，计算第二帧图像数据每个骨骼点在车内3D虚拟形象坐标系中相对第一帧图像数据的Z轴坐标，得到第二帧图像数据在车内3D虚拟形象坐标系中的三维坐标；6）后续接收到的每帧图像数据，均重复步骤4）和步骤5），即可得到每帧图像数据在车内3D虚拟形象坐标系中的三维坐标。2.根据权利要求1所述的一种车外人体骨骼二维坐标与三维坐标的实时转换方法，其特征在于：步骤2）将第一帧图像数据中人体骨骼点原始二维坐标转换成车内3D虚拟形象坐标系的二维坐标的过程如下，2.1）选取一段骨骼长度在动作前后变化不大的骨骼作为参照，计算该骨骼在车外摄像头捕捉的原始坐标系中的长度L1和其在车内3D虚拟形象坐标系中的长度L2，计算缩放比例λ；2.2）设置根节点在车内3D虚拟形象坐标系中的二维坐标；2.3）选取根节点的一个子节点，计算在原始坐标系中该子节点相对于根节点的相对二维坐标N1，并将相对二维坐标N1的X轴坐标和Y轴坐标按照比例λ进行等比例缩放，计算出在车内3D虚拟形象坐标系中该子节点相对于根节点的相对二维坐标N2，根据车内3D虚拟形象坐标系中的根节点二维坐标和相对二维坐标N2，计算得到该子节点在车内3D虚拟形象坐标系中的二维坐标；2.4）重复步骤2.3），计算根节点所有子节点在车内3D虚拟形象坐标系中的二维坐标；2.5）以根节点的各个子节点分别作为父节点，将父节点作为根节点，重复步骤2.3），得到该父节点的所有子节点在车内3D虚拟形象坐标系中的二维坐标；根节点的子节点为与根节点直接相连的节点；任何父节点的子节点为与父节点直接相连且远离根节点的节点；2.6）重复步骤2.5），直到计算出该帧图像数据所有人体骨骼点在车内3D虚拟形象坐标系中的二维坐标。3.根据权利要求1所述的一种车外人体骨骼二维坐标与三维坐标的实时转换方法，其特征在于：步骤5）计算第二帧图像数据每个人体骨骼点在车内3D虚拟形象坐标系中相对第一帧图像数据的Z轴坐标，其步骤如下，
5.1）因为根节点不移动，假设第二帧图像数据在车内3D虚拟形象坐标系中根节点的Z轴坐标为0；5.2）计算第二帧图像数据在车内3D虚拟形象坐标系下根节点与其一个子节点在平面上的实际长度L3，结合步骤3）得到的对应两节点的原始长度L2，将原始长度L2和实际长度L3作为直角三角形的两条边构造直角三角形，其中原始长度L2和实际长度L3中较长的作为斜边，另一个作为一条直角边，利用勾股定理计算得到的另一条直角边的长度即为该子节点的Z轴坐标z1；Z轴坐标是取正值还是负值，根据具体场景中人体运动习惯进行规定；5.3）重复步骤...

【专利技术属性】
技术研发人员：张丹，田尊明，陈光银，陈楚，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：