【技术实现步骤摘要】
一种基于联合2D-3D神经网络的3D驾驶员姿态估计方法
本专利技术涉及模式识别和视频分析领域，更具体地说，是一种基于联合2D-3D神经网络的3D驾驶人姿态估计方法。
技术介绍
人体姿态估计是计算机视觉领域中的一个重要的研究课题,且被广泛的使用在多个应用中，如虚拟现实，增强现实和安全警告。基于深度学习的驾驶员姿态估计是指在有驾驶员驾驶的图片或视频中标记出驾驶员上半身的关节点位置。面对真实的驾驶环境，我们需要得到更精准的检测结果、能够实现实时性结果反馈以及更好拟合现实三维空间(3D姿态估计)。在过去的工作中，大多数的3D人体姿态估计技术都是依赖于两种形式的输入：RGB图像和深度图像。RGB图像很容易受到像阴影和光照变换等因素的影响。因此，TOF作为一种能够同时捕捉红外图像和深度图像的成像设备被引入进来。作为客观世界的一种基本表达，3D物体经常被不同的模态数据表示，例如点云、多视图、体素和网格。深度图在本质上是一系列点的集合。因此，我们可以通过组合不同来源的数据信息得到更加精确的人体3D姿态估计。姿态估计方法可以分...
【技术保护点】
1.一种基于联合2D-3D神经网络的3D驾驶员姿态估计方法，其特征在于：包括设计卷积神经网络、训练卷积神经网络和关节点定位三个过程：/n设计卷积神经网络，包括以下步骤：/n1)设计卷积神经网络的模块PointConvNet和ImgConvNet；/n2)将PointConvNet和ImgConvNet的特征联结后接上全连接层，设定输出维度，即关节点个数×3；/n训练卷积神经网络，包括以下步骤：/n3)获取有红外图像和深度图像以及有关节点标签的驾驶员图片集合，将深度图像转换成点云数据并进行预处理，将红外图像和点云数据以及关节点标签转换成输入标准格式；其中70％作为训练集，30...
【技术特征摘要】
1.一种基于联合2D-3D神经网络的3D驾驶员姿态估计方法，其特征在于：包括设计卷积神经网络、训练卷积神经网络和关节点定位三个过程：
设计卷积神经网络，包括以下步骤：
1)设计卷积神经网络的模块PointConvNet和ImgConvNet；
2)将PointConvNet和ImgConvNet的特征联结后接上全连接层，设定输出维度，即关节点个数×3；
训练卷积神经网络，包括以下步骤：
3)获取有红外图像和深度图像以及有关节点标签的驾驶员图片集合，将深度图像转换成点云数据并进行预处理，将红外图像和点云数据以及关节点标签转换成输入标准格式；其中70％作为训练集，30％作为测试集；
4)初始化神经网络的参数；
5)通过不断迭代前向传播、反向传播训练神经网络模型；
关节点定位，包括以下步骤：
6)输入测试数据，利用由训练过程得到的神经网络模型计算得到检测结果即每个关节点三维坐标的位置；
7)根据检测结果在三维空间中用圆点标出每个关节点的位置，并用直线将相关联的关节点连接。
2.根据权利要求1所述的方法，其特征在于，所述步骤1)包括以下具体步骤：
11)设计1层卷积核大小为1×3的卷积层，4层卷积核大小为1×1的卷积层，一层2×2的池化层以及一个残差连接组成PointConvNet，5层卷积层中滤波器的个数分别是64,64,64,128,2048；残差连接设置在两个通道数为64的卷积层之间；
12)ImgConvNet由五层卷积层的卷积核，两个池化层以及两个全连接层组成；第一层是卷积核为7×7的卷积层，第二层是2×2的池化层，第三层是卷积核为5×5的卷积层，第四层是2×2的池化层，第五、六、七层分别是卷积核为3×3、3×3、5×5的卷积层，第八层是2×2的池化层，第九层是维度为4096的全连接层，第十层是维度为2048的全连接层。
3.根据权利要求1所述的方法，其特征在于，所述步骤2)包括以下具体步骤：
21)卷积神经网络模型使用PointConvNet和ImgConvNet分别从点云和红外图像中提取特征；
22)将提取的特征拼接起来，接上4层全连接层，维度分别为1024,512,256,27。
4.根据权利要求1所述的方法，其特征在于，所述步骤3)包括以下具体步骤：
31)预处理数据集的标签信息，将每张图像的每个关节点标签格式化为(xi,yi,zi)写入一个h5文件中；其中x,y,z是关节点在三维空间中的坐标，i是驾驶员的第i...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。