互动投影系统及方法技术方案

本发明专利技术提供了一种能够全面真实地实现三维互动投影的系统及方法。通过摄像头组在一定的投影区域内采集人体以及其他物体的各个可视轮廓面，然后通过图像处理单元对采集的图像进行分离、校正、及三维重构，再通过通信单元传递给三维互动单元，在投影区域内实现三维的互动。根据本发明专利技术，人体链状模型通过应用计算机视觉技术自动建立，人物手势以及动作能够自动识别并根据语义数据库解析后与三维互动单元进行实时交互。

【技术实现步骤摘要】

本专利技术涉及人机互动领域，特别涉及一种。
技术介绍
随着微电子技术的不断发展，计算机被广泛地应用到了人类社会的各个领域，各种人机互动设备与方法应运而生，主要完成以下的功能工业管理控制功能；辅助设计功能；显示输出功能；编辑文本数据、图像数据和流媒体数据的功能；影音、游戏等娱乐功能。 按照人机交互设备可以分成以下几类 1、通过传感器实现的交互主要包括生产线产品生产流程管理、产品质量控制、反向工程。2、通过特定工具实现的交互主要包括通过手写笔和其他设备实现的计算机辅助设计。3、通过鼠标和键盘实现的交互主要包括文字录入与编辑、图像数据和流媒体数据的编辑、计算所程序的编写等等。上述方法在其本身所处的范围中能够很好地发挥作用，但在互动投影方面无法达到理想的效果。传统的键盘鼠标和工业传感器都无法捕捉到完整的人体运动和姿态信息。 而通过互动投影系统，可完全获取人体的运动和姿态信息，通过处理后的这些信息，控制投影系统做出不同的反应，表现出不同的影响效果。随着近年来，计算机视觉技术的不断发展，我们可以通过图像处理的方法捕捉人体运动状态和当前姿态，该方法不仅具有实时高效的特点，兼具有非接触的特征，非常适合互动投影系统。公开号为CN 101776952A的中国专利技术公开了一种互动投影系统，该系统实现了一种二维平面的人机交互投影。而二维投影往往只能涉及到物体的某个面，并不能把物体全面真实地展现在人们面前。理想的人机交互投影应当能够正确处理人体链状模型的姿态及其动作语义信息，并与三维虚拟世界物体进行实时交互. 而用于人体重构的人体链状模型以往的工作都是基于手工操作的，在得到特征点的运动序列之后，需要人工寻找运动序列中重构点数目满足要求的某一帧，然后手工标注出所有正确的特征点的名称。这样的操作方法，过程繁琐，效率低下；缺乏刚体间连线的提示信息，标注时很容易出现错误，同时由于重构时的错误发生并不能保证所有参与标注的特征点都是正确重构的特征点。所以，传统的人机交互投影无法实现人体动作导向的实时三维互动.
技术实现思路
为解决上述问题，本专利技术提供了一种三维的，能够更全面真实的实现互动投影。通过图像处理技术，红外光投影技术，捕捉操作者的运动状态和当前姿态，将捕捉的运动状态进行图像处理，在图像处理中进行三维重构将其转换为控制信息，接着将控制信息传递给3D表现模块，最后表现模块根据控制信息展现出所对应的场景，从而提供一种互动投影系统，实现非接触方式的3D人机交互。为了实现三维投影，本专利技术公开了一种互动投影系统，包括视频图像投影单元，图像采集单元，所述的互动投影系统还包括图像数据处理单元、通信单元及三维互动单元； 所述视频图像投影单元用于投影图像； 所述图像采集单元用于采集视频图像投影单元投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元； 图像数据处理单元对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元； 通信单元将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元； 三维互动单元自通信单元接收由图像数据处理单元捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。根据本专利技术提供的互动投影系统——优选技术方案是所述图像采集单元包括用于发射红外光的红外LED灯具阵组及及用于采集多目视觉图像多目视觉摄像头组。根据本专利技术提供的互动投影系统——优选技术方案是所述图像采集单元还设有使摄像头自由旋转的旋转装置，同时设有过滤可见光的透红外亚克力薄板。根据本专利技术提供的互动投影系统——优选技术方案是所述红外LED灯矩阵组的 LED灯向投影面倾斜一定角度；所述角度的范围为40至50度，最优角度为45度。根据本专利技术提供的互动投影系统——优选技术方案是所述摄像头的镜头前设有一层红外带通滤波片，并采用红外广角摄像头。根据本专利技术提供的互动投影系统——优选技术方案是所述图像数据处理单元包括 背景分离模块，用于将图像数据中的背景图像和前景图像进行分离； 运动捕捉模块，用于对分离模块分离的运动前景图像分析并标记运动区域； 三维重构模块，用于对运动捕捉模块标记的运动前景图像区域进行空间重构； 语义识别模块，利用动作语义数据库，对三维重构模块得到的人体链状模型和运动序列进行快速查询，确定运动序列中刚体所表示的意义。根据本专利技术提供的互动投影系统——优选技术方案是所述背景分离模块包括 图像平滑模块，用于对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据。前景提取模块，建立一个混合高斯模型平滑后的图像背景和前景进行分离，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x,y)点的亮度满足 IB (x, y) ~ N(u, d) 这样我们的背景模型的每个象素属性包括两个参数平均值u和方差d。对于一幅给定的图像G，如果 EXp(-(IG(X，y)-u(X，y)r2/(2*cr2)) >T，认为(χ, y)是背景点，反之是前景点。同时，随着时间的变化，背景图像也会发生缓慢的变化，这时我们要不断更新每个象素点的参数 u(t+l, χ, y) = a*u(t, χ, y) + (l-a)*I (χ, y) 这里，a称为更新参数，表示背景变化的速度，一般情况下，我们不更新方差d(实验中发现更不更新d，效果变化不大)。使用K(基本为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。对高斯模型中方差和均值两个参数的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。在学习的过程中对这两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。根据本专利技术提供的互动投影系统——优选技术方案是所述运动捕捉模块包括 —轮廓标记模块，利用前景提取模块提取的前景图像，检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域。一坐标计算模块，用于计算轮廓标记后的图像数据坐标，具体过程首先将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。根据本专利技术提供的互动投影系统——优选技术方案是所述三维重构模块包括 一多目视觉校准模块，利用运动捕捉模块提取的轮廓，以及预先用标准棋盘网格校准的摄像机的内外参数反求轮廓的空间位置，同时提取所有轮廓的拓扑特征点； 一拓扑计算模块，利用预先采集的T字型拓扑模型，以及拓扑模型提供的人体链状结构对前景图像中各个刚体所包含的特征点进行名称确定，进而建立人体链状模型。根据本专利技术提供的互动投影系统——优选技术方案是所述本文档来自技高网...

【技术保护点】
１．一种互动投影系统，包括视频图像投影单元（１），图像采集单元（２），其特征在于，所述互动投影系统还包括图像数据处理单元（３）、通信单元（４）及三维互动单元（５）；所述视频图像投影单元（１）用于投影图像；所述图像采集单元（２）用于采集视频图像投影单元（１）投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元（３）；图像数据处理单元（３）对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元（４）；通信单元（４）将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元（５）；三维互动单元（５）自通信单元（４）接收由图像数据处理单元（３）捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。

【技术特征摘要】
1.一种互动投影系统，包括视频图像投影单元(1)，图像采集单元(2)，其特征在于，所述互动投影系统还包括图像数据处理单元(3)、通信单元(4)及三维互动单元(5)；所述视频图像投影单元(1)用于投影图像；所述图像采集单元(2)用于采集视频图像投影单元(1)投影区域内的场景图像，并将采集到的场景图像传送给所述图像数据处理单元(3)；图像数据处理单元(3)对接收到的场景图像进行背景和前景分离，标记运动物体轮廓在前景图像中的像素区域，对前景图像进行三维重构并对三维重构后的运动物体进行解析得到动作语义信息，将得到的图像三维坐标和动作语义信息传送给所述通信单元(4)； 通信单元(4)将接收到的图像三维坐标以及动作语义信息传送给所述三维互动单元(5)；三维互动单元(5)自通信单元(4)接收由图像数据处理单元(3)捕捉到的图像三维坐标以及动作语义信息，根据所述图像三维坐标和语义信息输出相应的三维互动效果。2.根据权利要求1所述的互动投影系统，其特征在于，所述通信单元(4)包括 坐标传输模块(41)，用于传输所述图像三维坐标；语义传输模块(42)，用于传输所述动作语义信息。3.根据权利要求1所述的互动投影系统，其特征在于，所述图像采集单元(2)包括 用于发射红外光的红外LED灯具阵组；及用于采集多目视觉图像的摄像头组。4.根据权利要求1所述的互动投影系统，其特征在于，所述图像采集单元(2)包括 使摄像头自由旋转的摄像头旋转装置；以及过滤可见光的透红外亚克力薄板。5.根据权利要求1所述的互动投影系统，其特征在于，所述图像数据处理单元(3)包括背景分离模块(31)，用于将图像数据中的背景图像和前景图像进行分离；运动捕捉模块(32)，用于对分离模块(31)分离的运动前景图像分析并标记运动区域;三维重构模块(33)，用于对运动捕捉模块(32)标记的运动前景图像区域进行空间重构；语义识别模块(34)，利用动作语义数据库，对三维重构模块(33)得到的人体链状模型和运动序列进行快速查询，确定运动序列中刚体所表示的意义。6.根据权利要求5所述的互动投影系统，其特征在于，所述背景分离模块(31)包括 图像平滑模块(311)，用于对摄像机所获取的图像数据进行高斯卷积，得到一张平滑后的图像数据；前景提取模块(312)，建立一个混合高斯模型对图像平滑模块(311)获得平滑图像的背景和前景进行分离，具体如下，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x,y)点的亮度满足 IB (X，y) N (u，d) u为平均值，d为方差，对于一幅给定的图像 G，如果 EXp(-(IG(X，y)-U(X，y)r2/(2*cr2)) >T，认为(x,y)是背景点，反之是前景点；利用公式u (t+Ι，X，y) = a*u (t，χ, y) + (l_a) *I (χ, y对变化的图像进行更新，这里a称为更新参数，表示背景变化的速度；使用K个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点， 否则为前景点，采取不同的更新机制对高斯模型中方差和均值两个参数的更新，并引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类，最终实现背景和前景的分离。7.根据权利要求6所述的互动投影系统，其特征在于，所述背景分离模块中的K取值范围为3到5。8.根据权利要求5所述的互动投影系统，其特征在于，所述运动捕捉模块(32)包括 轮廓标记模块(321)，利用前景提取模块(312)提取的前景图像，检索运动物体的轮廓，计算轮廓的数目并标记每个轮廓在前景图像中的像素区域；坐标计算模块(322)，用于计算轮廓标记后的图像数据坐标，具体过程首先将每个轮廓所处的像素区域转换为图像纹理坐标范围，然后对每个轮廓的坐标范围进行计算，得到每个轮廓的中心位置坐标，最后记录下每个坐标，剔除一部分冗余数据，得到最终有效的坐标位置。9.根据权利要求5所述的互动投影系统，其特征在于，所述三维重构模块(33)包括 多目视觉校准模...

【专利技术属性】
技术研发人员：田学文，
申请(专利权)人：北京天盛世纪科技发展有限公司，
类型：发明
国别省市：11