一种视频图像的提取方法、设备及系统技术方案

本申请公开了一种视频图像的提取方法、设备及系统，涉及图像处理领域。本申请的主要技术方案为：创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；根据所述左右虚拟摄像机获取到的视口数据创建左右图；将所述左右图合并渲染得到纹理图像数据；将所述纹理图像数据发送至VR设备。本申请采用在视频提取设备中创建两个虚拟摄像头的技术方案，能够更加快速的采集视频提取设备上的视频图像，使得传输给VR设备后显示的图像更加准确，而且不需要额外设置另一台视频提取设备来分别渲染VR设备的左右眼，降低成本，且能够实现VR设备左右眼同步更新，能够更好的模拟和呈现立体图。

A Method, Equipment and System for Video Image Extraction

The application discloses a video image extraction method, equipment and system, which relates to the field of image processing. The main technical scheme of this application is: to create left and right virtual cameras to obtain view data through the left and right virtual cameras; to create left and right pictures according to the view data obtained by the left and right virtual cameras; to merge and render the left and right pictures to obtain texture image data; and to send the texture image data to the VR device. This application adopts the technical scheme of creating two virtual cameras in the video extraction equipment, which can capture the video image on the video extraction equipment more quickly, make the image displayed more accurately after transmission to the VR equipment, and do not need to set up another video extraction equipment to render the left and right eyes of the VR equipment separately, reduce the cost, and realize the left and right eyes of the VR equipment to be identical. Step-by-step updating can better simulate and render stereograms.

【技术实现步骤摘要】
一种视频图像的提取方法、设备及系统
本申请涉及图像处理
，尤其涉及一种视频图像的提取方法、设备及系统。
技术介绍
众所周知，现实世界是真正的三维立体世界，而现有的显示设备绝大多数都只能显示二维信息，并不能给人以沉浸感。为了使显示的场景和物体具有景深效果，人们在许多方面进行了尝试，3D显示技术的研究经历了十几年的发展，取得了十分丰硕的成果。目前的3D显示技术主要有以下几类：(1)采用光学原理的立体技术：该技术主要利用棱镜的、偏振片的、透视的或光栅的光学镜片来实现，一副图像都是通过光学镜片的滤光或偏振原理形成两幅不同的图像分别呈现在人的左右眼中，以形成立体图像。该技术受光学镜片及环境的影响，并不能非常清晰的向用户展示最真实的画面。(2)虚拟现实立体投影技术：两台计算机的视频信号输出端分别与两台投影仪的视频信号输入端相连接。在两台投影仪的前端分别装设有遮光盒，在两个遮光盒的前端分别装设有偏光镜，两个偏光镜的偏振轴方向相互垂直。这种方式的两台投影仪相当于人的双眼，输出的视频内容通过偏光镜可以造成左右眼视觉上的差异，从而在大脑中产生立体影像。该技术需要两台主机分别渲染到各自关联的设备上，成本高，而且不能同步更新。
技术实现思路
本申请提供一种视频图像的提取方法，包括：创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；根据所述左右虚拟摄像机获取到的视口数据创建左右图；将所述左右图合并渲染得到纹理图像数据；将所述纹理图像数据发送至VR设备。如上的，其中，创建左右虚拟摄像机后，还包括初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。如上的，其中，创建左右虚拟摄像机前还包括创建采集视口，并初始化采集视口的视口数据；其中，初始化采集视口的视口数据具体包括创建设备、上下文、交换链、渲染目标以及视口，使用所述上下文将所述渲染目标设置为向屏幕输出，并初始化视口数据。如上的，其中，通过左右虚拟摄像机获取视口数据，具体包括如下子步骤：为所述左右虚拟摄像机分别加载实时图像采集插件并初始化采集插件；在所述采集插件中调用渲染硬件接口，通过切换上下文使用交换链实时从渲染目标中获取当前页面渲染数据，使用当前页面渲染数据更新视口数据。如上的，其中，初始化采集插件，具体包括如下子步骤：获取场景视口，通过场景视口获取当前窗口的宽高以及所需接口；创建应用层渲染器，并获取视口资源数据；通过应用层渲染器获取顶层窗口的资源；将获取的顶层窗口的资源强制转换为渲染硬件接口能够识别的类型。如上的，其中，使用当前页面渲染数据更新视口数据，具体为按照当前页面的高度和宽度，逐行逐列地获取每个像素点在页面中的RGB值，CPU单线程地将RGB值输入GPU，使用RGB值更新视口数据。本申请还提供一种视频提取设备，包括如下部件：创建模块，用于创建左右虚拟摄像机，通过左右虚拟机获取视口数据；第一渲染模块，用于根据所述左右虚拟摄像机获取到的视口数据创建左右图，将所述左右图合并渲染得到纹理图像数据；第一通信模块，用于将纹理图像数据发送至VR设备。如上的，其中，所述创建模块，还用于在创建左右虚拟摄像机后，初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；所述视频提取设备还包括设置模块，用于响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。本申请还提供一种视频图像的提取系统，包括：上述视频提取设备；服务器，包括第二通信模块，用于将所述视频提取设备的纹理图像数据转发至VR设备；VR设备，包括第三通信模块和第二渲染模块；所述第三通信模块用于接收来自所述服务器的纹理图像数据，所述第二渲染模块用于将接收到的纹理图像数据分为左右眼场景图像，并分别渲染至设备左右摄像机中。如上的，其中，所述第二渲染模块，具体包括：渲染子模块：用于根据接收到的纹理图像数据获取左眼场景图像以及右眼场景图像，将左眼场景图像和右眼场景图像渲染到一张纹理图像上，获得目标纹理图像；反畸变子模块：用于通过设备屏幕的参数以及镜片的参数，确定人眼可见的屏幕区域，基于人眼可见的屏幕区域构造反畸变网格，并确定反畸变网格的网格顶点，通过反畸变网格的网格顶点和目标终端的屏幕的绘制视口，确定反畸变后的网格顶点；所述渲染子模块还用于通过反畸变后的网格顶点和目标图像确定反畸变处理后的图像，将反畸变处理后的图像分为左右反畸变图像，并分别渲染至VR设备的左右屏幕上。本申请实现的有益效果如下：本申请采用在视频提取设备中创建两个虚拟摄像头的技术方案，能够更加快速的采集视频提取设备上的视频图像，使得传输给VR设备后显示的图像更加准确，而且不需要额外设置另一台视频提取设备来分别渲染VR设备的左右眼，降低成本，且能够实现VR设备左右眼同步更新，能够更好的模拟和呈现立体图。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本申请实施例一提供的视频图像的提取方法流程图；图2为本申请实施例一视频提取设备中应用程序开启后进行初始化的具体操作流程图；图3为本申请实施例一视频提取设备中应用程序初始化采集插件的具体操作流程图；图4为本申请实施例一视频提取系统中VR设备将左右眼场景图像分别渲染至设备左右摄像机的具体操作流程图；图5为本申请实施例二提供的视频图像的提取系统的示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请提供的视频图像的提取方法适用于由视频提取设备(可以为PC机或移动设备等)、服务器和VR设备组成的系统中，其中在视频提取设备中运行提取视频图像的应用程序，服务器用于在视频提取设备和VR设备间传输视频图像，VR设备用于将从视频提取设备接收到的视频图像渲染到设备左右眼，完成图像的显示。实施例一参见图1，本申请实施例一提供一种视频图像的提取方法，具体包括：步骤110：视频提取设备的应用程序开启，在应用程序中创建采集视口，初始化采集视口的视口数据；其中，如图2所示，应用程序开启后进行初始化具体包括如下子步骤：步骤210：创建设备(device)、上下文(context)和交换链(swapchain)；其中，设备device用于在加载过程中加载视频资源；上下文context用于在渲染过程中设置传入显卡的数据；交换链swapchain用于描述输出窗口、渲染帧率以及渲染目标，交换链提供前台缓存和后台缓存，前台缓存用于渲染，后台缓存用于绘制最新图像数据。步骤220：创建渲染目标；渲染目标(rendertarget)为所有绘制行为的最终目的地，即屏幕，应用程序在编辑器下运行时从渲染目标中获取页面渲染数据。步骤230：使用上下文(context)将渲染目标设置为向屏幕输出。步骤240：创建视口(viewport)，初始本文档来自技高网...

【技术保护点】
1.一种视频图像的提取方法，其特征在于，包括：创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；根据所述左右虚拟摄像机获取到的视口数据创建左右图；将所述左右图合并渲染得到纹理图像数据；将所述纹理图像数据发送至VR设备。

【技术特征摘要】
1.一种视频图像的提取方法，其特征在于，包括：创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；根据所述左右虚拟摄像机获取到的视口数据创建左右图；将所述左右图合并渲染得到纹理图像数据；将所述纹理图像数据发送至VR设备。2.如权利要求1所述的视频图像的提取方法，其特征在于，创建左右虚拟摄像机后，还包括初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。3.如权利要求1所述的视频图像的提取方法，其特征在于，创建左右虚拟摄像机前还包括创建采集视口，并初始化采集视口的视口数据；其中，初始化采集视口的视口数据具体包括创建设备、上下文、交换链、渲染目标以及视口，使用所述上下文将所述渲染目标设置为向屏幕输出，并初始化视口数据。4.如权利要求3所述的视频图像的提取方法，其特征在于，通过左右虚拟摄像机获取视口数据，具体包括如下子步骤：为所述左右虚拟摄像机分别加载实时图像采集插件并初始化采集插件；在所述采集插件中调用渲染硬件接口，通过切换上下文使用交换链实时从渲染目标中获取当前页面渲染数据，使用当前页面渲染数据更新视口数据。5.如权利要求4所述的视频图像的提取方法，其特征在于，初始化采集插件，具体包括如下子步骤：获取场景视口，通过场景视口获取当前窗口的宽高以及所需接口；创建应用层渲染器，并获取视口资源数据；通过应用层渲染器获取顶层窗口的资源；将获取的顶层窗口的资源强制转换为渲染硬件接口能够识别的类型。6.如权利要求4所述的视频图像的提取方法，其特征在于，使用当前页面渲染数据更新视口数据，具体为按照当前页面的高度和宽度，逐行逐列地获取每个像素点在页面中的RGB值，CPU单线程地将RGB值输入GPU，使用R...

【专利技术属性】
技术研发人员：孟宪民，李小波，
申请(专利权)人：恒信东方文化股份有限公司，
类型：发明
国别省市：北京,11