一种基于WebGL的实时虚实融合直播系统及方法技术方案

本发明专利技术提出的一种基于WebGL的实时虚实融合直播系统及方法，该系统及方法使用WebGL接口在Web端实现了一种实时虚实融合的有效方法。该系统由5个模块组成：视频模型生成模块、视频直播模块、GIS服务模块、虚实融合模块以及场景操纵器模块。该系统实现了Web端上多视频流实时虚实融合的显示效果，提升了虚实融合显示的匹配准确度，具有需求资源少，跨平台兼容性好，可扩展性强的优点。

A real time virtual live fusion direct seeding system and method based on WebGL

The invention proposes a real-time virtual reality fusion live broadcast system and method based on WebGL. The system and method realizes an effective method of real-time virtual reality fusion at the Web end by using WebGL interface. The system consists of 5 modules: the video model generation module, the video broadcast module, the GIS service module, the virtual reality fusion module and the scene manipulator module. The system achieves the display effect of real-time video and virtual fusion on the Web terminal, and improves the matching accuracy of virtual reality fusion display. It has the advantages of less resource requirements, better compatibility across platforms, and strong scalability.

【技术实现步骤摘要】
一种基于WebGL的实时虚实融合直播系统及方法
本专利技术属于计算机视觉中的虚拟现实
，主要涉及一种基于WebGL的实时虚实融合直播系统及方法。
技术介绍
随着计算机图形技术与互联网技术的发展，传统的二维图像渐渐不能满足现代人们对展示和理解场景的需要，而虚拟现实技术的出现弥补了这个缺点。因此，近年来，虚拟现实技术及其相关领域发展迅速，被广泛用于模拟训练，视频监控，城市漫游，军事演示，景区展示等领域。虚拟三维场景能够让用户得到更加立体与真实的体验。当虚拟场景的环境信息与真实环境信息越相似，用户得到的真实感越高，而且虚拟场景能够使用户更好、更自由地了解对应的真实场景，增加了场景的沉浸感和体验感。但是，由于三维虚拟场景中的模型只能表示某一个时刻的静止状态，用户并不能够通过观察这样静止的三维场景模型来了解到该场景的动态变化。恰好相反，二维视频图像虽然不能展示三维模型具有的立体的感觉，但能够比较真实地记录一段时间内场景的实际变化，人们通过视频可以了解到场景的动态变化。如果将三维虚拟环境与二维视频图像结合起来建立增强虚拟环境，既能够提升三维模型蕴含的信息量，使三维模型更加具有真实世界的变化，更富真实感，又能表达出比视频图像更加广阔的空间范围，使用户能够利用虚拟场景的模型外观，空间分布，画面动态等信息进一步理解视频图像的内容以及各个视频图像的时空关系，减轻用户的认知压力。早在1996年，Moezzi(参见MoezziS,KatkereA,KuramuraDY,etal.Realitymodelingandvisualizationfrommultiplevideosequences[J].ComputerGraphicsandApplications,IEEE,1996,16(6):58-63)等就提出三维场景融合视频显示的概念，他们使用多个不同视角的相机来捕捉运动中的物体，并对其重建，然后动态地将重建的模型融合到虚拟场景中。2003年南加州大学的Neumann(参见NeumannU,etal.AugmentedVirtualEnvironments(AVE):forVisual-izationofDynamicImagery[C].IEEEVirtualReality2003.2003:61-67)等人首次提出了增强虚拟环境(AugmentedVirtualEnvironment，AVE)这一概念，进一步发展了视频增强虚拟场景技术，得到了虚实融合显示的效果。Neumann等人实现了多个校园场景的增强虚拟环境，再将采集的视频数据投影到对应的建筑模型和地形上，形成了带有图像变化的动态三维模型。2012年台湾大学的Chen(参见ChenSC,LeeCY,LinCW,etal.2Dand3Dvisualizationwithdual-resolutionforsurveillance.ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops,Providence,2012.23–30)等建立了使用GIS辅助的可视化框架，其将多个不同分辨率相机的视图与三维模型进行融合，实现了多分辨率的监控策略。与此同时，基于Web的互联网技术在各行各业扮演着越来越重要的角色，其中Web技术与虚拟现实技术的融合更是当今科技研究的潮流：借助互联网技术实现三维虚拟场景，使用户能够通过浏览器访问虚拟场景，不仅能够突破地域空间的限制，还能够更加方便快捷地给用户带来足不出户而又身临其境的虚拟场景体验。2011年，多媒体技术标准化组织Khronos正式发布WebGL标准规范，它可以仅仅通过HTML脚本，在不借助任何浏览器插件的情况下，实现Web交互式三维场景的绘制；通过统一的，标准的，跨平台的OpenGL接口，利用底层的图形硬件进行图形渲染的加速，WebGL技术可以实现增强虚拟环境在桌面浏览器甚至手机端的绘制，Web端的简洁高效也大大方便了增强虚拟环境的传播与实用，这正是虚拟现实技术未来的一个重要发展趋势。但综合来看，当前主流的多视频流虚实融合方法普遍存在着画面畸变、融合效果差以及虚实对准代价过大等问题。而且由于Web端可用的资源有限，实现不错的融合效果更为困难，所以现有虚实融合相关技术大多基于桌面客户端程序实现，未能实现轻量级Web端的虚实融合系统。当前虚实融合系统普遍存在的系统要求过高，视频渲染耗费资源过多和维护困难等问题限制了虚实融合系统在浏览器乃至移动端的广泛应用。
技术实现思路
本专利技术的技术解决问题：克服现有技术的不足，提供一种基于WebGL技术的实时虚实融合直播系统及方法，克服了当前多视频流虚实融合代价过大的问题，提高了虚实融合方法的跨平台兼容性。本专利技术的技术解决方案：一种基于WebGL的实时虚实融合直播系统，所述的虚实融合直播系统由离线端、服务器端和客户端构成，在离线端部署视频模型生成模块；在服务器端部署了视频直播模块和GIS服务模块；客户端部署了虚实融合模块以及场景操纵器模块：视频模型生成模块：读取监控摄像头采集的实时监控视频图像或本地视频图像，使用单幅照片建模技术生成二进制格式描述的文件，所述二进制格式文件包含视频模型顶点坐标数据和相机参数信息；使用其相机参数信息计算出视频模型的纹理投影变换矩阵及观看该视频模型的最佳相机视点位姿，再将得到的该视频模型相关信息结合视频模型WebGL渲染参数转化、存储为客户端浏览器可识别的JSON文件格式的视频模型文件。所述的视频模型文件由视频模型顶点坐标数据、视频模型相机位姿信息、初始纹理图片信息以及WebGL渲染信息组成；所述的WebGL渲染信息包括视频模型顶点数据格式、投影矩阵、视频动态纹理信息和着色器程序；视频模型生成模块与服务器端非同步、离线地生成视频模型文件，最后将生成的视频模型供GIS服务模块的调用；视频直播模块：接收监控摄像头采集的实时监控视频图像或本地视频图像，并将其处理并存储；当客户端虚实融合模块绘制视频模型的时候向视频直播模块请求对应的视频图像作为动态纹理时，视频直播模块将对应的视频图像向客户端虚实融合模块转发，供其使用；若虚实融合模块请求的是本地视频，视频直播模块直接转发本地视频；若虚实融合模块请求的是实时监控视频流，视频直播模块使用RTMP协议接受网络监控摄像头的实时推流，并对实时视频流进行转码、分片处理，最终生成m3u8格式的视频配置文件和ts格式的视频分片文件，最后通过HTTP协议推送到客户端浏览器供虚实融合模块使用；GIS服务模块：提供和管理整个虚实融合场景数据，所述虚实融合场景数据包括视频模型生成模块生成的视频模型，虚实融合场景中的三维建筑模型，所述三维建筑模型由真实建筑建模生成，以及整个场景的环境，当客户端浏览器发出访问的HTTP请求，GIS服务模块负责向虚实融合系统传输所需的视频模型和三维建筑模型；同时还向客户端浏览器提供一个地理信息系统(GeographicInformationSystem，GIS)作为虚实融合场景的载体和环境，视频模型和建筑模型通过真实世界地理坐标系即经纬度坐标定位在数字地球上，实现了整个场景和各个模型精确的相对位置本文档来自技高网...

【技术保护点】
一种基于WebGL的实时虚实融合直播系统，其特征在于：所述的虚实融合直播系统由离线端、服务器端和客户端构成，在离线端部署视频模型生成模块；在服务器端部署了视频直播模块和GIS服务模块；客户端部署了虚实融合模块以及场景操纵器模块：视频模型生成模块：读取监控摄像头采集的实时监控视频图像或本地视频图像，使用单幅照片建模技术生成二进制格式描述的文件，所述二进制格式文件包含视频模型顶点坐标数据和相机参数信息；使用其相机参数信息计算出视频模型的纹理投影变换矩阵及观看该视频模型的最佳相机视点位姿，再将得到的该视频模型相关信息结合视频模型WebGL渲染参数转化、存储为客户端浏览器可识别的JSON文件格式的视频模型文件；所述的视频模型文件由视频模型顶点坐标数据、视频模型相机位姿信息、初始纹理图片信息以及WebGL渲染信息组成；所述的WebGL渲染信息包括视频模型顶点数据格式、投影矩阵、视频动态纹理信息和着色器程序；视频模型生成模块与服务器端非同步、离线地生成视频模型文件，最后将生成的视频模型供GIS服务模块的调用；视频直播模块：接收监控摄像头采集的实时监控视频图像或本地视频图像，并将其处理并存储；当客户端虚实融合模块绘制视频模型的时候向视频直播模块请求对应的视频图像作为动态纹理时，视频直播模块将对应的视频图像向客户端虚实融合模块转发，供其使用；若虚实融合模块请求的是本地视频，视频直播模块直接转发本地视频；若虚实融合模块请求的是实时监控视频流，视频直播模块使用RTMP协议接受网络监控摄像头的实时推流，并对实时视频流进行转码、分片处理，最终生成m3u8格式的视频配置文件和ts格式的视频分片文件，最后通过HTTP协议推送到客户端浏览器供虚实融合模块使用；GIS服务模块：提供和管理整个虚实融合场景数据，所述虚实融合场景数据包括视频模型生成模块生成的视频模型，虚实融合场景中的三维建筑模型，以及整个场景的环境，所述三维建筑模型由真实建筑建模生成；当客户端浏览器发出访问的HTTP请求，GIS服务模块负责向虚实融合系统传输所需的视频模型和三维建筑模型；同时还向客户端浏览器提供一个地理信息系统(Geographic Information System，GIS)作为虚实融合场景的载体和环境，视频模型和建筑模型通过真实世界地理坐标系即经纬度坐标定位在数字地球上，实现了整个场景和各个模型精确的相对位置，所述地理信息系统是一个三维数字地球，带有地形信息和卫星底图，实现整个场景环境的真实再现；虚实融合模块：读取视频模型文件，调用WebGL接口实现视频模型的渲染，并使用HTML5的Tag标签向视频直播模块请求该视频模型对应的视频流数据，数据通过HTTP协议传输，最终得到分片的实时视频流数据；将实时视频流数据作为纹理，使用纹理投影的方式渲染、绘制，得到带有视频动态纹理的视频模型虚实融合效果；场景操纵器模块：为用户提供在客户端Web界面上的一系列交互操作，使得用户能够在三维增强虚拟环境中自由浏览，包括虚拟场景漫游、场景信息显示、视频纹理控制和VR模式这四类功能，可以让用户对于增强虚拟场景有更好的体验感与沉浸感；所述的虚拟场景漫游功能可让用户选择访问预先设定好的重要场景节点，或沿预定路线进行场景自动漫游；所述的场景信息显示功能可在用户点击选中对应的建筑模型或视频模型来获取对该模型详细信息的介绍；所述的视频纹理控制功能允许用户对场景内的视频模型进行操作、控制，使得用户能够对感兴趣的视频进行操作，所述操作包括暂停、播放、回放、快进、同步操作；所述的VR模式功能可让用户在使用VR设备浏览客户端Web时获得VR显示效果。...

【技术特征摘要】
1.一种基于WebGL的实时虚实融合直播系统，其特征在于：所述的虚实融合直播系统由离线端、服务器端和客户端构成，在离线端部署视频模型生成模块；在服务器端部署了视频直播模块和GIS服务模块；客户端部署了虚实融合模块以及场景操纵器模块：视频模型生成模块：读取监控摄像头采集的实时监控视频图像或本地视频图像，使用单幅照片建模技术生成二进制格式描述的文件，所述二进制格式文件包含视频模型顶点坐标数据和相机参数信息；使用其相机参数信息计算出视频模型的纹理投影变换矩阵及观看该视频模型的最佳相机视点位姿，再将得到的该视频模型相关信息结合视频模型WebGL渲染参数转化、存储为客户端浏览器可识别的JSON文件格式的视频模型文件；所述的视频模型文件由视频模型顶点坐标数据、视频模型相机位姿信息、初始纹理图片信息以及WebGL渲染信息组成；所述的WebGL渲染信息包括视频模型顶点数据格式、投影矩阵、视频动态纹理信息和着色器程序；视频模型生成模块与服务器端非同步、离线地生成视频模型文件，最后将生成的视频模型供GIS服务模块的调用；视频直播模块：接收监控摄像头采集的实时监控视频图像或本地视频图像，并将其处理并存储；当客户端虚实融合模块绘制视频模型的时候向视频直播模块请求对应的视频图像作为动态纹理时，视频直播模块将对应的视频图像向客户端虚实融合模块转发，供其使用；若虚实融合模块请求的是本地视频，视频直播模块直接转发本地视频；若虚实融合模块请求的是实时监控视频流，视频直播模块使用RTMP协议接受网络监控摄像头的实时推流，并对实时视频流进行转码、分片处理，最终生成m3u8格式的视频配置文件和ts格式的视频分片文件，最后通过HTTP协议推送到客户端浏览器供虚实融合模块使用；GIS服务模块：提供和管理整个虚实融合场景数据，所述虚实融合场景数据包括视频模型生成模块生成的视频模型，虚实融合场景中的三维建筑模型，以及整个场景的环境，所述三维建筑模型由真实建筑建模生成；当客户端浏览器发出访问的HTTP请求，GIS服务模块负责向虚实融合系统传输所需的视频模型和三维建筑模型；同时还向客户端浏览器提供一个地理信息系统(GeographicInformationSystem，GIS)作为虚实融合场景的载体和环境，视频模型和建筑模型通过真实世界地理坐标系即经纬度坐标定位在数字地球上，实现了整个场景和各个模型精确的相对位置，所述地理信息系统是一个三维数字地球，带有地形信息和卫星底图，实现整个场景环境的真实再现；虚实融合模块：读取视频模型文件，调用WebGL接口实现视频模型的渲染，并使用HTML5的Tag标签向视频直播模块请求该视频模型对应的视频流数据，数据通过HTTP协议传输，最终得到分片的实时视频流数据；将实时视频流数据作为纹理，使用纹理投影的方式渲染、绘制，得到带有视频动态纹理的视频模型虚实融合效果；场景操纵器模块：为用户提供在客户端Web界面上的一系列交互操作，使得用户能够在三维增强虚拟环境中自由浏览，包括虚拟场景漫游、场景信息显示、视频纹理控制和VR模式这四类功能，可以让用户对于增强虚拟场...

【专利技术属性】
技术研发人员：周忠，吴威，余亦豪，谭冲，周颐，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11