一种集成成像显示系统中实现动态手势识别与控制方法技术方案

一种集成成像显示系统中实现动态手势识别与控制方法属图像处理技术领域，本发明专利技术利用光场相机的图像采集系统、图像采集服务器端、三维立体图像的显示系统、显示系统的服务器端和动态手势识别系统，首先进行光场图像的采集，再对所拍摄视点进行图像分割和虚拟试点生成，三维重建后对立体图像进行显示，最后对控制图像的手势进行识别和训练；本发明专利技术能克服观看三维场景需佩戴3D眼镜等所造成的视觉疲劳、需借助设备控制图像的移动等问题，达到在集成成像显示系统中实现动态手势识别和控制三维图像的效果。

【技术实现步骤摘要】
一种集成成像显示系统中实现动态手势识别与控制方法
本专利技术属图像处理
，具体涉及一种集成成像显示系统中实现动态手势识别与控制方法。
技术介绍
当今社会，人们观看大屏幕三维内容和场景的需求与日俱增，如观看3D电影、3D游戏体验等等。然而，许多3D电影都是使用复杂的3D视频捕捉和立体摄影技术制作的。在观看3D图像或视频时，视觉疲劳和不适仍然是不令人满意的体验，而且大部分场景观看者还要佩戴厚重的3D眼镜，这一系列问题阻碍了3D服务的广泛推广。另外，计算机人机交互技术已经取得一定成就，而体感识别技术也渐渐在人机界面中发挥着非常关键的作用及价值。体感手势识别技术是体感识别技术的主要技术，其操作方式非常灵活，并且和人类思维更加契合，和人类的使用习惯更加贴近，是现今相关领域的研究重点。
技术实现思路
针对目前已有技术存在的缺陷，如观看三维立体图像时配戴眼镜的不适感，以及无法随意控制三维立体图像的移动，提供一种集成成像显示系统中实现动态手势识别与控制方法。本专利技术的一个目的在于克服观看三维场景需要佩戴3D眼镜等设备所造成的本文档来自技高网...

【技术保护点】
1.一种集成成像显示系统中实现动态手势识别与控制方法，其特征在于包括下列步骤：/n1.1使用相机阵列对人或静物进行图像采集，包括下列步骤：/n1.1.1服务器(6)端利用相机标定软件Calibration获取16台相机(2)的内部参数，对偏离位置的相机进行手动微调，微调结束后再次对相机阵列进行标定；/n1.1.2拍摄对象要站立或坐在舞台(4)正中央，上肢能随意移动，目视前方，然后，启动StreamPix软件进行图像采集；/n1.1.3调用畸变校正软件VideoDistortion对图像或者视频进行畸变校正，校正后的图像以bmp文件格式存储为16个视点图像；/n1.2对所拍摄的16个视点图像进行...

【技术特征摘要】
1.一种集成成像显示系统中实现动态手势识别与控制方法，其特征在于包括下列步骤：
1.1使用相机阵列对人或静物进行图像采集，包括下列步骤：
1.1.1服务器(6)端利用相机标定软件Calibration获取16台相机(2)的内部参数，对偏离位置的相机进行手动微调，微调结束后再次对相机阵列进行标定；
1.1.2拍摄对象要站立或坐在舞台(4)正中央，上肢能随意移动，目视前方，然后，启动StreamPix软件进行图像采集；
1.1.3调用畸变校正软件VideoDistortion对图像或者视频进行畸变校正，校正后的图像以bmp文件格式存储为16个视点图像；
1.2对所拍摄的16个视点图像进行前景分割与深度估计，包括下列步骤：
1.2.1使用全卷积神经网络FCN，对视点图像直接进行像素级别的语义分割，基于CNN来实现；
1.2.2采用基于EPI的光场深度估计方法，首先提取图像阵列的EPI，构建并最小化能量函数优化深度图，以得到最终的深度图；
1.3对深度估计后的视点图像进行三维重建，在得到视点图像深度图后，通过由图像坐标系--世界坐标系的坐标转换得到点云图像，变换的约束条件为相机的内参，公式如下：



其中：x，y，z为点云坐标系；x′，y′，z′为世界坐标系；D为深度值，在得到点云数据后，想要得到更直观的三维模型，需使用贪婪投影三角化算法将点云三角网格化，贪婪投影三角化算法的步骤如下：
(1)选取投影平面z＝0，将散乱点云投影至该平面；
(2)使用Delaunay生长算法构造平面三角网；
1.4运用DIBR技术，根据已拍摄的16个真实视点图像的深度信息，得到更多虚拟视点的深度信息，每一个虚拟视点，都是根据距离它最近的四个真实视点生成；
1.5服务器(6)端的计算机将生成的多视点图像信号转换为网络信号发送给LED显示屏，位于LED显示屏前端的柱透镜光栅将显示屏发出的光线光学解码会聚于中心深度平面，形成立体图像；
1.6使用Kinect传感器及神经网络模型对手势进行识别及训练，包括下列步骤：
1.6.1将Kinect传感器放置于LED屏幕的前方或一侧，获取人体手部的深度信息，对人体手部实现准确、实时地定位跟踪；
1.6.2使用双边滤波器，在预处理阶段需要对深度图像进行噪声的滤波操作；
1.6.3在OpenCV平台上，运用CamShift算法，得到多个动态手势点的具体位置；对于CamShift算法的具体执行，分为三个部分：
一、彩色投影图--反向投影：
(1)RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间；
(2)对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说能查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表；
(3)将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图；这个过程就叫反向投影，颜色概率分布图是一个灰度图像；
二、meanshift算法：
meanshift算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标，meanshift算法过程为：
(1)在颜色概率分布图中选取搜索窗W；
(2)计算零阶距：
M00＝∑x∑yI(x，y)(b)
其中：x，y为搜索窗中像素点的横、纵坐标；
计算一阶距：
M10＝∑x∑yxI(x，y)；M01＝∑x...

【专利技术属性】
技术研发人员：王世刚，杨铭，韦健，赵岩，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22