介导现实中的基于多重空间定位的前景抽取方法及系统技术方案

本发明专利技术提出了一种介导现实中的基于多重空间定位的前景抽取方法及系统，包括：制作等比例模型，并使用反差大的单一颜色，注上标记点；使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。本发明专利技术对每帧拍摄视频和虚拟场景图像中的所有特征点进行逐一匹配，误差低且处理速度快。

Foreground extraction method and system based on multiple spatial location in reality

The invention provides a mediated reality and system, foreground extraction method based on multiple spatial positioning includes: making scale models, and uses a single color contrast, mark note; fixed camera calibration and measurement tools in the physical space of VR positioning VR helmet camera position, and set the camera the position of the virtual space, namely VR helmet position; using 3D depth camera connected to a video image processing computer acquisition, preprocessing of depth extraction after collection of color video and depth video, the last step in the video after processing with multiple feature points or marks as foreground extraction with different depth and contour; the calculation of alignment deviation and correction, the shader will in the virtual scene model as a mask, the mask of the video image extraction. In this method, all the feature points of each frame shooting video and the virtual scene image are matched one by one, and the error is low and the processing speed is fast.

【技术实现步骤摘要】
介导现实中的基于多重空间定位的前景抽取方法及系统
本专利技术涉及图像处理
，特别涉及一种介导现实中的基于多重空间定位的前景抽取方法及系统。
技术介绍
图像前景抽取方法是智能视频处理的关键一步，其优劣直接影响到之后的判断、分析和识别。前景提取的通常方法受目标运动速度影响大，且精度不够高，只能获取目标大致位置和方向信息。而三维虚拟场景和视频实景的高度融合(以下简称虚实融合)的首要步骤就是需要知道图像前景的确切位置和方向，单一的前景抽取方法不足以满足虚实融合的要求。除精度外，虚实融合实时性要求极高，时间复杂度高的通常算法无法在单位帧生成时间内完成融合过程。并且，现有技术的处理速度慢，时间复杂度高。现有的图像处理方法无法通过一帧彩色图像和一帧深度图像对物理空间尤其是深度定位到毫米mm级，忽略了虚拟空间中的定位。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种介导现实中的基于多重空间定位的前景抽取方法及系统。为了实现上述目的，本专利技术的实施例提供一种介导现实中的基于多重空间定位的前景抽取方法，包括如下步骤：步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；步骤S3，采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取，采用着色器在视景图像处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。进一步，在所述步骤S4中，采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。本专利技术实施例的还提供一种介导现实中的基于多重空间定位的前景抽取系统，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，虚拟现实头戴式设备与视频处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，其中，所述3D深度摄像头用于采集视频图像，所述追踪定位器根据所述3D深度摄像头拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；所述视频图像处理计算机用于采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取；所述视景图像处理计算机用于采用着色器在视景图像处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像；所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。进一步，所述视景图像处理计算机采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。进一步，所述3D深度摄像头安装于虚拟现实头戴式设备上。进一步，所述3D深度摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。进一步，所述追踪定位器安装于所述模拟器上，用于监测用户的头位姿态位置数据，并发送至所述视景处理计算机。进一步，所述虚拟现实头戴式设备通过USB3.0和HDMI接口与视景处理计算机连接3D深度摄像头通过USB3.0与视频处理计算机连接，视景处理计算机和视频处理计算机之间通过LAN连接，3D深度摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏通过USB3.0与视景处理计算机连接，所述追踪定位器通过USB3.0接口与所述视景处理计算机连接。根据本专利技术实施例的介导现实中的基于多重空间定位的前景抽取方法及系统，采用以下技术：3D深度图像的预处理、标记点抽取物理空间前景图像、对齐物理空间和虚拟空间的标记点、计算标记点在虚拟空间深度、结合虚拟和物理空间深度计算对齐误差和着色器程序抽取模型遮罩下的视频图像等技术，对每帧拍摄视频和虚拟场景图像中的所有特征点进行逐一匹配，误差分析得到误差在图像总像素的千分之一左右，并且处理速度可以达到每秒平均30帧，比其他算法快2-3倍，通过对方案中的结果进行人眼和软件分析，人眼看不出误差。本专利技术结合了物理空间和虚拟空间的定位方法，区别于现有的仅对物理空间进行定位的方式。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的介导现实中的基于多重空间定位的前景抽取方法的流程图；图2为根据本专利技术一个实施例的介导现实中的基于多重空间定位的前景抽取方法的流程图；图3为根据本专利技术实施例的前景抽取的效果图；图4为根据本专利技术一个实施例的介导现实中的基于多重空间定位的前景抽取系统的结构图；图5为根据本专利技术另一个实施例的介导现实中的基于多重空间定位的前景抽取系统的结构图。具体实施方式下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。如图1和图2所示，本专利技术实施例的介导现实中的基于多重空间定位的前景抽取方法，包括如下步骤：步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点。步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并根据上述标定结果设置虚拟空间中摄像机位置，即VR头盔位置。步骤S3，采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，从而可以将深度过大的背景进行剔除。然后，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取。采用着色器在视景图像处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度。具体地，使用着色器程序中的算法在视景图像处理计算机对虚拟场景进行实时截图，由于虚拟摄像机和物理摄像头的空间位置和相机参数不一样，需要进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点。并且，使用着色器程序中的算法计算虚拟场景中的模型特征点或标记点上的深度。图3为前景抽取的效本文档来自技高网...

【技术保护点】
一种介导现实中的基于多重空间定位的前景抽取方法，其特征在于，包括如下步骤：步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；步骤S3，采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取，采用着色器在视景图像处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。

【技术特征摘要】
1.一种介导现实中的基于多重空间定位的前景抽取方法，其特征在于，包括如下步骤：步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；步骤S3，采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取，采用着色器在视景图像处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。2.如权利要求1所述的介导现实中的基于多重空间定位的前景抽取方法，其特征在于，在所述步骤S4中，采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。3.一种介导现实中的基于多重空间定位的前景抽取系统，其特征在于，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，其中，所述3D深度摄像头用于采集视频图像，所述追踪定位器根据所述3D深度摄像头拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；所述视频图像处理计算机用于采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以...

【专利技术属性】
技术研发人员：钟秋发，锡泊，黄煦，高晓光，李晓阳，
申请(专利权)人：河北中科恒运软件科技股份有限公司，
类型：发明
国别省市：河北,13