一种基于姿态识别的全景观测方法技术

本发明专利技术公开了一种基于姿态识别的全景观测方法。本发明专利技术包括如下步骤：步骤1.在车辆外部安装四个球形摄像机；其中，两个球形摄像机用于拍摄车辆前景，称为前景球机；另两个球形摄像机用于拍摄车辆后景，称为后景球机；步骤2.检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角，并将其输入给前景球机或后景球机；步骤3.前景球机或后景球机根据输入的人脸的偏航角和俯仰角，偏转相应的偏航角和俯仰角后捕捉外景，并将外景图片传送给车辆内部的数据处理单元；步骤4.数据处理单元将收到的外景图片，即双目视差图，处理成为裸眼3D图像传送给车辆内的显示屏。本发明专利技术使得视角更为灵活，能够使屏幕有效地利用。

A panoramic observation method based on attitude recognition

The invention discloses a panoramic observation method based on gesture recognition. The method comprises the following steps: step 1. in the outside of the vehicle to install four spherical camera; among them, two spherical cameras are used for shooting vehicle prospects, called the prospect of ball machine; the other two spherical camera for shooting vehicle rear view, called the background ball machine; step 2. pose detection of car drivers, get the face the yaw angle and pitching angle, and the input to the foreground or background ball ball machine; step 3. ball machine or background foreground ball machine according to the input face of the yaw angle and pitching angle, the deflection corresponding to the yaw angle and pitching angle after the capture of location, location and image transmitted to the vehicle interior data processing unit; step 4. data processing unit will receive the location picture, namely binocular disparity map, as the naked eye 3D image transmitted to the vehicle display. The invention makes the visual angle more flexible and enables the screen to be effectively utilized.

【技术实现步骤摘要】
一种基于姿态识别的全景观测方法
本专利技术属于计算机
，尤其针对头部姿态识别与裸眼3D技术在疲劳驾驶中的应用，具体涉及一种基于姿态识别与裸眼3D技术的全景观测方法。技术背景汽车作为现代交通最重要的载运工具，其安全性问题成为焦点。虽然各色智能化的汽车安全系统已经相对性的提高了汽车行驶的安全性能，比如夜视，去雾器，全景泊车，但是现有的技术仍旧不能够将汽车的安全系统作为一个整体进行控制，汽车的安全模式不能够达到最大化的利用和整合，仅仅针对某一种情况采取相应的安全措施，不能够做到对多种行驶环境进行处理。为了提高汽车行驶的安全性，进一步优化汽车安全系统，汽车功能的智能化应运发展。本专利技术将裸眼3D应用于汽车周边环境的显示，能够更加真实立体的反映车外路况，同时通过人脸姿态识别技术，用摄像头采集含有头部姿态信息的图像，并自动在图像中检测和跟踪人的姿态，进而通过人的姿态来对车外摄像头采集进行相应的控制，具有便捷性，安全性的特点。且本专利技术通过增加去雾、夜视、防逆光、防强光等技术，增强了系统自身的实用性。本专利技术提供了一套完整的汽车安全系统方案，符合时代发展的潮流，增强驾驶安全性，促进汽车智能化发展。
技术实现思路
本专利技术主要通过计算机对人脸姿态采集并且识别来控制车外球机(球形摄像机)的转动，提供一种基于姿态识别的全景观测方法。从而将球机捕捉到的图像经过特殊处理后通过显示屏反馈给驾驶员，另外还加入三个负反馈环节来让系统自我调节稳定性。传统的全景观测系统是通过汽车外安装四个固定视角的摄像头将画面传入车内显示屏上并利用图像拼接技术将各个摄像头捕捉到的画面拼接而显示。本专利技术所述的创新点在于：1.检测车内司机人脸的姿态，经过关键点定位后求出与正脸关键点坐标之间的仿射矩阵，计算偏航角，并将经过放大后的偏航角输入给球机。2.将球机捕捉到的画面经过去雾、夜视、防逆光等特殊处理后传送给显示屏。3.将处理完的图像转化为双目视差图，便于利用裸眼3D显示屏显示。本专利技术采用关键点标记和透视变换的方法让计算机识别人脸的偏航角和俯仰角，球机在球机根据偏转角度调节自身转速，以快速达到稳定，继续捕获图像。同时利用单位负反馈调节画面的亮度和对比度，从而使得所采集的画面能够达到相对较为清晰，便于直接做图像处理。并且直接利用外部转动状态一致的两个球机捕捉的双目视差图，而后经过处理成为裸眼3D图像显示。本专利技术解决其技术问题所采用的技术方案具体包括如下步骤：步骤1.在车辆外部安装四个球形摄像机；其中，两个球形摄像机用于拍摄车辆前景，称为前景球机；另两个球形摄像机用于拍摄车辆后景，称为后景球机；步骤2.检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角，并将其输入给前景球机或后景球机；步骤3.前景球机或后景球机根据输入的人脸的偏航角和俯仰角，偏转相应的偏航角和俯仰角后捕捉外景，并将外景图片传送给车辆内部的数据处理单元；步骤4.数据处理单元将收到的外景图片，即双目视差图，处理成为裸眼3D图像传送给车辆内的显示屏。进一步的，步骤1所述的检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角的方法为：1-1.利用不偏人脸分类器对车内摄像头拍摄的图片进行人脸检测，如果是正脸图像，则开始进行关键点定位，得到正脸图像的关键点集，即标准模型；1-2.对车内摄像头当前拍摄的图片进行人脸检测，并对检测出的人脸进行关键点定位，得到关键点集，即待测模型；1-3.计算标准模型的纵向最大距离y0，计算待测模型的纵向最大距离y，得到俯仰角θ＝arccos(y/y0)；计算标准模型的横向最大距离x0，计算待测模型的横向最大距离x，得到偏航角θ′＝arccos(x/x0)。进一步的，所述关键点定位方法为：①对人脸图片数据库中的每一张图片，根据标注的m个关键点计算该图片的平均脸点集；②对人脸图片数据库中的每一张图片，对选中图片中标注的所有关键点，根据先后顺序依次进行遍历，每次遍历操作如下：以当前关键点为中心，M个像素值为边长对当前关键点作正方形，截取选中图片中相应位置作为一补丁图片；③将人脸图片数据库中所有图片的同一位置关键点i对应的补丁图片取平均，得到该关键点i对应的平均补丁xi；④对步骤①获得的平均补丁xi进行灰度化，且对灰度化后的像素值进行直方图均衡化；其中，每一个平均脸点集包含的关键点为X0,X1,X2,X3,X4......Xm；之后调用分类器对车内摄像头拍摄的图片进行人脸检测，计算出人脸的中心坐标，将平均脸点集的每一个关键点的坐标加上检测出的人脸的中心坐标得到新的点集；⑤在检测出的人脸上找到该新的点集坐标对应的所有关键点，根据先后顺序依次进行遍历，每次遍历操作如下：以当前关键点为中心，M′个像素值为边长对当前关键点作正方形，截取该检测出的人脸中相应位置Xi″，其中M′＞M；并且在M′×M′的区域内创建滑框，依次选取该滑框内M×M的区域与平均补丁xi做卷积，找出卷积结果出现的像素值最大的点，并且标上记号。进一步的，计算该图片的平均脸点集的方法为：①对人脸图片数据库中的每一张图片，标注多个关键点并保存每一关键点的坐标；②将人脸图片数据库中所有的图片转化为灰度图，并对图片的像素值进行直方图均衡化；③对人脸图片数据库中的每一张图片，针对该图片中的所有关键点坐标，分别减去该图片的重心坐标，并归一化后求出普氏距离；④根据最小二乘法求出当普氏距离最小时的旋转参数；⑤根据旋转参数对该图片的各个关键点的坐标进行对齐，然后求出各个关键点位置的平均坐标；⑥将得到的各平均坐标构成的点集称作该图片的平均脸。进一步的，通过对标准模型和待测模型作最小外接矩形后求外接矩形的边长得出x、x0、y和y0。进一步的，该数据处理单元对收到的外景图片进行预处理，其方法如下：利用雾图模型对该外景图像I(x)进行去雾处理，得到无雾的图像J(x)，I(x)＝J(x)t(x)+A(1-t(x))其中，A是全球大气光成分，t(x)为透射率。进一步的，该数据处理单元对收到的外景图片进行预处理，其方法为：首先将该外景图像灰度化，即将三通道的图像转为单通道的图像；然后根据人眼对不同范围内的灰度值的敏感程度不同，将灰度值划分为各个不同的范围，对每一灰度值范围选取一对应的线性函数；然后根据该外景图像各点的灰度值判断各自所属灰度值范围，找出各个点在原三通道图像中的对应点；然后对于三通道图像各对应的点，根据对应的线性函数对该点进行相应的分段线性灰度变换。进一步的，将所述裸眼3D图像的显示方法为：①初始化图像的亮度b＝125，对比度系数a＝0.7；②依据图像的灰度值b*对原三通道图像进行分段线性调节，即b*∈(0,16)，则g(i,j)＝3*f(i,j)，b*∈(16,80)，则g(i,j)＝2*f(i,j)+16，b*∈(80,94)，则g(i,j)＝3*f(i,j)-45，b*∈(94,255)，则g(i,j)＝0.11*f(i,j)+226.7；f(i,j)表示原图像像素，g(i,j)表示目标图像像素。进一步的，该数据处理单元生成裸眼3D图像的方法为：①对双目视差图进行眼模版匹配，得到左眼视锥平移矩阵和左眼视锥投影矩阵；②构造左眼的视锥平移与投影模型、右眼的视锥平移与投影模型；然后结合左眼视锥平移矩阵和左眼视锥投影矩阵得到左、右眼非对本文档来自技高网...

【技术保护点】
一种基于姿态识别的全景观测方法，其特征在于包括如下步骤：步骤1.在车辆外部安装四个球形摄像机；其中，两个球形摄像机用于拍摄车辆前景，称为前景球机；另两个球形摄像机用于拍摄车辆后景，称为后景球机；步骤2.检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角，并将其输入给前景球机或后景球机；步骤3.前景球机或后景球机根据输入的人脸的偏航角和俯仰角，偏转相应的偏航角和俯仰角后捕捉外景，并将外景图片传送给车辆内部的数据处理单元；步骤4.数据处理单元将收到的外景图片，即双目视差图，处理成为裸眼3D图像传送给车辆内的显示屏。

【技术特征摘要】
2017.02.23 CN 20171010023091.一种基于姿态识别的全景观测方法，其特征在于包括如下步骤：步骤1.在车辆外部安装四个球形摄像机；其中，两个球形摄像机用于拍摄车辆前景，称为前景球机；另两个球形摄像机用于拍摄车辆后景，称为后景球机；步骤2.检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角，并将其输入给前景球机或后景球机；步骤3.前景球机或后景球机根据输入的人脸的偏航角和俯仰角，偏转相应的偏航角和俯仰角后捕捉外景，并将外景图片传送给车辆内部的数据处理单元；步骤4.数据处理单元将收到的外景图片，即双目视差图，处理成为裸眼3D图像传送给车辆内的显示屏。2.根据权利要求1所述的一种基于姿态识别的全景观测方法，其特征在于步骤1所述的检测车内驾驶人员的人脸姿态，得到人脸的偏航角和俯仰角的方法为：1-1.利用不偏人脸分类器对车内摄像头拍摄的图片进行人脸检测，如果是正脸图像，则开始进行关键点定位，得到正脸图像的关键点集，即标准模型；1-2.对车内摄像头当前拍摄的图片进行人脸检测，并对检测出的人脸进行关键点定位，得到关键点集，即待测模型；1-3.计算标准模型的纵向最大距离y0，计算待测模型的纵向最大距离y，得到俯仰角θ＝arccos(y/y0)；计算标准模型的横向最大距离x0，计算待测模型的横向最大距离x，得到偏航角θ′＝arccos(x/x0)。3.根据权利要求2所述的一种基于姿态识别的全景观测方法，其特征在于步骤1-2所述的关键点定位方法如下：①对人脸图片数据库中的每一张图片，根据标注的m个关键点计算该图片的平均脸点集；②对人脸图片数据库中的每一张图片，对选中图片中标注的所有关键点，根据先后顺序依次进行遍历，每次遍历操作如下：以当前关键点为中心，M个像素值为边长对当前关键点作正方形，截取选中图片中相应位置作为一补丁图片；③将人脸图片数据库中所有图片的同一位置关键点i对应的补丁图片取平均，得到该关键点i对应的平均补丁xi；④对步骤①获得的平均补丁xi进行灰度化，且对灰度化后的像素值进行直方图均衡化；其中，每一个平均脸点集包含的关键点为X0,X1,X2,X3,X4......Xm；之后调用分类器对车内摄像头拍摄的图片进行人脸检测，计算出人脸的中心坐标，将平均脸点集的每一个关键点的坐标加上检测出的人脸的中心坐标得到新的点集；⑤在检测出的人脸上找到该新的点集坐标对应的所有关键点，根据先后顺序依次进行遍历，每次遍历操作如下：以当前关键点为中心，M′个像素值为边长对当前关键点作正方形，截取该检测出的人脸中相应位置Xi″，其中M′＞M；并且在M′×M′的区域内创建滑框，依次选取该滑框内M×M的区域与平均补丁xi做卷积，找出卷积结果出现的像素值最大的点，并且标上记号。4.根据权利要求3所述的一种基于姿态识别的全景观测方法，其特征在于图片的平均脸点集的计算方法为：①对人脸图片数据库中的每一张图片，标...

【专利技术属性】
技术研发人员：蒋继扬，颜成钢，张新，徐双，李亚菲，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33