基于单个摄像机的沉浸式户外活动交互平台的实现方法技术

基于单个摄像机的沉浸式户外活动交互平台的实现方法，基于混合现实技术，结合计算机图形学技术，提供一种应用在户外大屏幕的人机交互方法，通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼，当指定的相关部位到达触发区域，则自动触发事先设置的增强现实的信息，并将采集到的现实中用户姿态图像与增强的二维画面或三维虚拟模型叠加，通过户外高清LED大屏幕显示给用户。最终，用户可以在大屏幕中看到真实与虚拟相结合的互动效果。

Method for realizing interactive platform of immersion outdoor activity based on single camera

Implementation method of immersive outdoor activities interactive platform of single camera based on mixed reality technology based on the combination of computer graphics technology, provides a method used in outdoor large screen interactive, through high-definition video capture technology and human skeletal reconstruction technology, real time calculation of the user specified when the relevant parts of the bones, reach the trigger area is automatic trigger set in advance of the augmented reality information, and the collected real user gesture image and two-dimensional picture enhancement or 3D virtual model superimposed by outdoor HD LED screen display to the user. In the end, users can see the real and virtual interaction effects in the large screen.

【技术实现步骤摘要】

本专利技术属于计算机图像处理
，涉及混合现实技术，为一种特别面向户外大屏幕的基于混合现实的人机交互方法。
技术介绍
当前主流的混合现实应用大都是为低于30英寸以下屏幕开发，由于户外活动的要求，一般都采用至少大于100英寸的LED高清大屏幕作为展示屏幕。另一方面，当前主要的用户动作肢体交互方式为仅依靠图形学方式计算和图形学方式结合红外及深度探测方式进行计算，这种方式较著名的设备为微软的Kinect，该方式要求用户在一定的范围内运动，才能够较为准确的计算测定，由于该设备是为低于60英寸的电视屏幕准备，因此该设备工作的最佳距离设定在距离屏幕的2至3米。对于户外至少100英寸以上的大屏幕，该距离显然不能满足要求，本专利技术采用仅依靠图像学的人体骨骼重建方法进行计算，配合使用高清摄像机，能够户外大屏幕的要求，将用户的活动空间设定在最佳观看距离。
技术实现思路
本专利技术针对现有技术中的问题，结合计算机图形学技术和混合现实技术，提供一种应用在户外大屏幕的人机交互方法，通过高清摄像采集技术及人体骨骼重建技术，实时计算用户的骨骼，并以计算结果实现人机互动功能。最终，用户可以在大屏本文档来自技高网...

【技术保护点】
基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是基于混合现实技术，将真实世界中单个摄像机采集的用户姿态图像输入混合现实服务器，在混合现实服务器中与事先设定的增强内容叠加，并通过户外大屏幕显示给用户，所述增强内容包括二维画面和三维虚拟模型，用户利用不同的姿态同事先设定的增强内容进行互动，所述交互平台的实现方法具体包括以下步骤：首先执行配准训练，包含二个步骤：1）准备阶段，对户外的真实世界与混合现实服务器的虚拟世界进行配准：11）在地面上划一条垂直于户外大屏幕的垂直线，垂足位于户外大屏幕底边中点；12）在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度L1，基准长...

【技术特征摘要】
1.基于单个摄像机的沉浸式户外活动交互平台的实现方法，其特征是基于混合现实技术，将真实世界中单个摄像机采集的用户姿态图像输入混合现实服务器，在混合现实服务器中与事先设定的增强内容叠加，并通过户外大屏幕显示给用户，所述增强内容包括二维画面和三维虚拟模型，用户利用不同的姿态同事先设定的增强内容进行互动，所述交互平台的实现方法具体包括以下步骤: 首先执行配准训练，包含二个步骤: 1)准备阶段，对户外的真实世界与混合现实服务器的虚拟世界进行配准: 11)在地面上划一条垂直于户外大屏幕的垂直线，垂足位于户外大屏幕底边中点； 12)在所述垂直线上确定用户交互定位点，用户交互定位点与户外大屏幕距离为基准长度LI，基准长度LI大于户外大屏幕的高度； 13)将真实摄像机放置于用户交互定位点上方高于1.5米的位置，真实摄像机镜头方向保持水平且面向户外大屏幕，即摄像机拍摄内容为整个大屏幕；在虚拟世界中设置对应于现实世界的交互场景，包括与现实中户外大屏幕相同尺寸及相同位置的虚拟户外大屏幕、虚拟用户交互定位点以及虚拟摄像机，虚拟摄像机与虚拟户外大屏幕的距离为基准长度LI’，LI’等于LI，虚拟摄像机拍摄的内容为整个虚拟大屏幕；将虚拟摄像机同真实摄像机所拍摄的画面相叠加，以真实世界的户外大屏幕作为参照物，对真实世界的户外大屏幕的尺寸及虚拟户外大屏幕的尺寸进行至少一次的配准； 14)在真实世界中，将真实摄像机由用户交互定位点移动至位于户外大屏幕侧边或顶部的工作位置，并在用户交互定位点上，以垂直于地面，也即平行于户外大屏幕树立一个基准尺L2，L2的高度大于等于I米； 15)移动虚拟摄像机至虚拟世界中对应于步骤14)真实摄像机的工作位置，并在虚拟世界中的用户交互定位点上，以垂直于地面，树立一个同真实世界相对应的虚拟基准尺L2’，L2’的高度大于等于I米且等于L2，以真实基准尺L2为参照物，对真实基准尺L2和虚拟基准尺L2’进行配准； 16)保存此时虚拟世界场景的位置和角度信息； 2)补充配准阶段: 21)在真实世界中，将真实摄像机放置于户外大屏幕侧边或顶部的工作位置，根据真实摄像机的图像采集范围选定用户的互动位置，在选定的互动位置处贴上触发图标，同时将触发图标的范围内作为用户的活动范围，即超过此活动范围的动作将得不到识别； 2...

【专利技术属性】
技术研发人员：李静，
申请(专利权)人：南京融图创斯信息科技有限公司，
类型：发明
国别省市：