一种基于不完备特征的头部姿态跟踪装置及方法制造方法及图纸

本发明专利技术公开了一种基于不完备特征的头部姿态跟踪装置及方法，基于计算机视觉的头部姿态检测系统，对实时采集的视频流进行归一化处理，然后通过CNN训练的模型进行特征确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θxθyθz]，再发送给随动云台，因而，本发明专利技术能够提供准确的头部位置姿态信息，实时性高且鲁棒性好。

【技术实现步骤摘要】
一种基于不完备特征的头部姿态跟踪装置及方法
本专利技术属于目标检测跟踪和远程控制
，更为具体地讲，涉及一种基于不完备特征的头部姿态跟踪装置及方法。
技术介绍
头部姿态检测广泛应用于虚拟现实与人机交互、智能机器人控制和疲劳驾驶检测等领域。统计数据表明，25％—30％的道路交通事故是由驾驶人注意力分散造成的。研究驾驶人的头部姿态，进而对驾驶人的注意力进行分析，对于降低交通事故的发生率。因此，头部姿态检测对于分析驾驶人的驾驶行为、驾驶人的精神状态等具有重要意义。虚拟现实应用是一个高度逼真地模拟人在自然环境中的视、听、动等行为的人机交互技术。虚拟现实的交互是通过人类自然技能与虚拟环境进行交互观察与操作，这种操作涉及视觉、听觉、触觉等多种感知功能。利用头部姿态检测与跟踪技术的人机交互系统能使现实世界与虚拟世界建立有机联系，构建更加逼真的虚拟现实环境，同时也有助于对高级的主动视觉反馈系统的研究智能移动服务机器人是头部姿态检测的重要应用领域，智能轮椅作为一种具有代表性的智能移动服务机器人，是当前研究的热点。但是在目前应用的电动轮椅中，使用者还是主要靠操纵杆或按钮来手动控制轮椅的运动，而对于一些严重残疾人士如四肢瘫痪者，摇杆控制以及部分肢体控制例如手势控制等方法受到了很大的制约，因此，头势控制作为一种新型的人机交互方式成为了近年来研究的热点。目前采用的头部姿态检测方法分为以下几类：1、佩戴运动传感器方法：此类方法通过在测试对象头部安装加速度计和陀螺仪传感器，通过接收传感器运动数据判断头姿，此类方法但需要佩戴装置，用户体验较差，且存在零度漂移问题，每次使用之前需要校准，操作繁琐。2、LED标定方法：通过佩戴有一定数量LED的头套，利用摄像头捕捉头套图像，再根据LED的位置判断当前的位置，同样，此方法精度高，但仍需佩戴装置并且进行校准。3、基于图像的人脸头部姿态估计算法：主要分为基于模型的方法和基于人脸表观的方法。其中，基于模型的方法实现简单、计算高效准确、易于理解，由于受非约束坏境中的投影几何形变、背影光照变化、前景遮挡问题和低分辨率等因素的影响，而准确的特征点检测在姿态变化较大，光线条件不好的条件下仍然是一个急待解决的挑战。使得不完备特征情况下的头部姿态多自由度估计一直是一个亟需解决的问题。为了解决上述方法存在的问题，本专利技术采用计算机视觉与传感器融合检测头部姿态的方法，并利用深度学习解决不完备特征时目标跟踪不准确的问题，利用深度卷积神经网络解决头部姿态检测中受非约束坏境中的投影几何形变、背影光照变化、前景遮挡问题和低分辨率等问题，较为准确地实现不完备特征情况下的头部姿态多自由度估计。同时控制摄像头跟随操作人员头部姿态进行现场视频采集，解决操作复杂等问题，采用双目视觉摄像头，模拟人眼解决视场小、缺乏深度信息等问题。采取环幕显示与VR头盔显示等不同显示方法，对不同的检测方案与不同的需求提供解决方案。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于不完备特征的头部姿态跟踪装置及方法，基于深度学习的头部姿态识别和不完备特征的头部姿态识别，提供准确的头部位置姿态信息，实时性高且鲁棒性好。为实现上述专利技术目的，本专利技术一种基于不完备特征的头部姿态跟踪装置，其特征在于，包括：连接本地控制台和随动云台的PC机；所述本地控制台包括图像传感器和惯性传感器；图像传感器包括一组固定在操作人员面部前方，用于拍摄驾驶员面部图像的单目摄像头和红外摄像头，以及固定在操作人员头部左右两侧各一组的单目摄像头和红外摄像头；其中，单目摄像头用于装置白天工作，红外摄像头用于夜间工作；惯性传感器包括三轴陀螺仪、三轴磁力计和三轴加速度计；通过图像传感器和惯性传感器的互补特性，采集驾驶员头部姿态视频并上传至PC机；所述PC机收到本地控制台上传的视频后，进行归一化处理，然后通过CNN训练的模型进行特征，确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θxθyθz]，再发送给随动云台；所述随动云台包括双目视觉摄像头及其驱动电机，双目视觉摄像头用于实时采集工作环境图片，并上传至PC机，用于驾驶员观看，驱动电机根据头部姿态的Pitch、Yaw、Roll三个角度值[θxθyθz]驱动双目摄像头跟随操作人员头部动作。本专利技术还提供一种基于不完备特征的头部姿态跟踪方法，其特征在于，包括以下步骤：(1)、图像采集在白天，通过单目摄像头采集驾驶员头部姿态图片，在夜间通过红外摄像头采用驾驶员头部姿态图片，再将采集的图片上传至PC机；(2)、图片归一化PC机收到图片后，先对图片进行空间尺度归一化和灰度幅值归一化，然后调节图像的对比度，并采用Gamma曲线校正方法进行校正；(3)、面部特征确认将归一化后的图片通过卷积神经网络CNN模型进行确认，如果卷积神经网络确认面部特征成功，则执行步骤(5)；如果卷积神经网络确认面部特征失败，则执行步骤(4)；(4)、采用对抗网络模型对面部不完备特征进行补全采用对抗网络模型对面部不完备特征进行去遮挡或还原，再通过对抗网络模型进行像素级别的自动修复与平滑，完成特征完备部分的图像细节保持和特征缺失部分的自动修复，然后进入步骤(5)；(5)、面部跟踪(5.1)、通过金字塔LucasKannade光流法对当前帧图片中定位到的人脸特征点(xi,yi)得到下一帧的人脸特征点(xi+1,yi+1)，再通过金字塔LucasKannade光流法反向跟踪点(xi+1,yi+1)，估计出上一帧的人脸特征点(xi,yi)，将(xi,yi)与(xi+1,yi+1)之间的欧式距离标记为正向反向误差di；(5.2)、计算当前帧所有人脸特征点与当前帧估计的人脸特征点距离的中值，记为如果则重新初始化人脸位置，返回步骤(3)；(5.3)、过滤掉的人脸特征点，同时，计算所有xi+1与xi的归一化互相关，然后去除归一化互相关大于归一化互相关的中值的点，最后，通过剩余的人脸特征点来评估下一帧的人脸框；(6)、面部特征点描述(6.1)、将每一帧中的人脸框划分为4×4大小相等的cell，16个相邻的cell构成一个人脸框，用block表示；(6.2)、计算单个cell中某一像素点(x,y)的横向梯度H(x,y)和纵向梯度V(x,y)，并据此计算出每个像素点的梯度方向值；H(x,y)＝v(x+1,y)-v(x-1,y)V(x,y)＝v(x,y+1)-v(x,y-1)其中，v(x,y)为该像素点的像素值；(6.3)、计算每个像素点(x,y)的梯度方向G(x,y)和幅值m(x,y)；m(x,y)＝[H(x,y)2+V(x,y)2]1/2G(x,y)＝tan-1(V(x,y)/H(x,y))(6.4)、然后每个cell按梯度方向G(x,y)投票，权重为幅值m(x,y)，这样获得每个cell的9维向量；再将同一个block中的所有cell的向量连接起来得到一个block的特征向量，将所有的block向量连接起来得到整个人脸框的HOG特征矩阵ψk；(6.5)、通过下式对稀疏系数γk进行估计，获得对特征的稀疏编码本文档来自技高网...

【技术保护点】
一种基于不完备特征的头部姿态跟踪装置，其特征在于，包括：连接本地控制台和随动云台的PC机；所述本地控制台包括图像传感器和惯性传感器；图像传感器包括一组固定在操作人员面部前方，用于拍摄驾驶员面部图像的单目摄像头和红外摄像头，以及固定在操作人员头部左右两侧各一组的单目摄像头和红外摄像头；其中，单目摄像头用于装置白天工作，红外摄像头用于夜间工作；惯性传感器包括三轴陀螺仪、三轴磁力计和三轴加速度计；通过图像传感器和惯性传感器的互补特性，采集驾驶员头部姿态视频并上传至PC机；所述PC机收到本地控制台上传的视频后，进行归一化处理，然后通过CNN训练的模型进行特征，确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θx θy θz]，再发送给随动云台；所述随动云台包括双目视觉摄像头及其驱动电机，双目视觉摄像头用于实时采集工作环境图片，并上传至PC机，用于驾驶员观看，驱动电机根据头部姿态的Pitch、Yaw、Roll三个角度值[θx θy θz]驱动双目摄像头跟随操作人员头部动作。...

【技术特征摘要】
1.一种基于不完备特征的头部姿态跟踪装置，其特征在于，包括：连接本地控制台和随动云台的PC机；所述本地控制台包括图像传感器和惯性传感器；图像传感器包括一组固定在操作人员面部前方，用于拍摄驾驶员面部图像的单目摄像头和红外摄像头，以及固定在操作人员头部左右两侧各一组的单目摄像头和红外摄像头；其中，单目摄像头用于装置白天工作，红外摄像头用于夜间工作；惯性传感器包括三轴陀螺仪、三轴磁力计和三轴加速度计；通过图像传感器和惯性传感器的互补特性，采集驾驶员头部姿态视频并上传至PC机；所述PC机收到本地控制台上传的视频后，进行归一化处理，然后通过CNN训练的模型进行特征，确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θxθyθz]，再发送给随动云台；所述随动云台包括双目视觉摄像头及其驱动电机，双目视觉摄像头用于实时采集工作环境图片，并上传至PC机，用于驾驶员观看，驱动电机根据头部姿态的Pitch、Yaw、Roll三个角度值[θxθyθz]驱动双目摄像头跟随操作人员头部动作。2.一种基于不完备特征的头部姿态跟踪方法，其特征在于，包括以下步骤：(1)、图像采集在白天，通过单目摄像头采集驾驶员头部姿态图片，在夜间通过红外摄像头采用驾驶员头部姿态图片，再将采集的图片上传至PC机；(2)、图片归一化PC机收到图片后，先对图片进行空间尺度归一化和灰度幅值归一化，然后调节图像的对比度，并采用采用Gamma曲线校正方法进行校正；(3)、面部特征确认将归一化后的图片通过卷积神经网络CNN模型进行确认，如果卷积神经网络确认面部特征成功，则执行步骤(5)；如果卷积神经网络确认面部特征失败，则执行步骤(4)；(4)、采用对抗网络模型对面部不完备特征进行补全采用对抗网络模型对面部不完备特征进行去遮挡或还原，再通过对抗网络模型进行像素级别的自动修复与平滑，完成特征完备部分的图像细节保持和特征缺失部分的自动修复，然后进入步骤(5)；(5)、面部跟踪(5.1)、通过金字塔LucasKannade光流法对当前帧图片中定位到的人脸特征点(xi,yi)得到下一帧的人脸特征点(xi+1,yi+1)，再通过金字塔LucasKannade光流法反向跟踪点(xi+1,yi+1)，估计出上一帧的人脸特征点(xi,yi)，将(xi,yi)与(xi+1,yi+1)之间的欧式距离标记为正向反向误差di；(5.2)、计算当前帧所有人脸特征点与当前帧估计的人脸特征点距离的中值，记为如果则重新初始化人脸位置，返回步骤(3)；(5.3)、过滤掉的人脸特征点，同时，计算所有xi+1与xi的归一化互相关，然后去除归一化互相关大于归一化互相关的中值的点，最后，通过剩余的人脸特征点来评估下一帧的人脸框。(6)、面部特征点描述(6.1)、将每一帧中的人脸框划分...

【专利技术属性】
技术研发人员：陈东义，黄志奇，赵明皓，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51