一种2D转换3D与VR的虚拟设备制造技术

本申请公开一种2D转换3D与VR的虚拟设备，包括用于插接装有2D图像设备的底座，在底座上设置有插接口，将插接口输入的2D图像转换为3D效果的图像转换部，以及输出的图像口和充电口；所述图像转换部包括配置单元和转换单元；转换单元包括接收插接口输出的2D信号的信号转换模块，对信号转换模块转换后信号进行缩小调整的调整模块，对调整模块输出数据通过运动估计得到运动矢量的运动估计模块，对运动矢量进行处理以得到图像深度图的深度图模块，以及存储模块。本发明专利技术采取软硬件转换，从硬件和软件体系实现2D转3D技术，包括硬件模块、场景深度分析识别软件、运动特征分割软件、自由移动交互软件等，实现将游戏、电影、图片统统转为3D甚至360°沉浸式VR格式。

【技术实现步骤摘要】
一种2D转换3D与VR的虚拟设备
本申请涉及3D图像处理领域，特别是涉及一种可直接通过插接将2D图像设备中的2D图像转换成逼真3D与VR效果的虚拟设备。
技术介绍
目前，无论是3DTV还是VR，都依赖于好的3D片源，3D片源的产生主要分3种：(1)两个彩色相机拍摄两路彩色视频；(2)利用深度相机拍摄深度图+单个彩色相机拍摄一路彩色视频；(3)单个彩色相机拍摄一路彩色视频结合2D转3D技术。第一种方法需要更多的内存来存储视频，在传输中也需要更多的带宽，这在带宽紧张的今天也是不实际的。由于深度相机的昂贵，导致第二种方法没有普及。而第三种方法可以很好的解决前两种方法的缺点，因此2D转3D技术受到了广泛的研究。2D转3D可将普通2D视频转换成由左眼和右眼视频表示的3D视频，常用的有：(1)基于关键帧的半自动转换系统；(2)基于运动分割的自动转换系统；(3)基于focus信息的2D转3D系统。但上述转换都依赖于纯软件技术，而且不能实现全显示与随动显示综合功能。
技术实现思路
本专利技术的目的是要提供涉及一种可直接通过插接将2D图像设备中的2D图像转换成逼真3D效果或VR的虚拟设备。特别地，本专利技术的一个实施方式提供了一种2D转换3D与VR的虚拟设备，包括用于插接装有2D图像设备的底座，在底座上安装有与2D图像设备的输出口连接的插接口，将插接口输入的2D图像转换为3D效果的图像转换部，以及将图像转换部转换后3D图像输出的图像口，提供外部电力输入的充电口；所述图像转换部包括配置单元和转换单元；所述配置单元用于接收转换图像时的环境配置参数并输出至所述转换单元，所述转换单元包括接收所述插接口输出的2D信号的信号转换模块，对信号转换模块转换后信号进行缩小调整的调整模块，对调整模块输出数据通过运动估计得到运动矢量的运动估计模块，对运动矢量进行处理以得到图像深度图的深度图模块，以及为各模块提供存储空间的存储模块。在本专利技术的一个实施方式中，还包括在所述深度图模块生成图像深度图过程中对图像深度图进行平滑、放大和自由移动交互处理的深度图调整模块。在本专利技术的一个实施方式中，还包括对所述深度图模块生成的图像深度图进行滤波处理的滤波模块。在本专利技术的一个实施方式中，所述滤波模块采用形态学滤波方式来处理图像。在本专利技术的一个实施方式中，所述配置单元包括接收外界配置信息的从动模块，以及处理两个时钟域信号同步的时钟模块。在本专利技术的一个实施方式中，所述配置单元只有在所述转换单元不工作时或一帧图像处理完时才能对所述转换单元操作。在本专利技术的一个实施方式中，所述运动估计模块得到运动矢量的过程如下：步骤100，将所述2D图像中大于某个预定值的像素值构成的区域判定为表示运动的前景区域，小于和等于预定值的像素值构成的区域判定为表示静物的背景区域；步骤102，利用基于K均值的混合高斯背景模型和背景减除法相结合，提取出划分后的前景区域和背景区域；步骤103，对前景区域采用高精度光流法得到前景深度图，对背景区域根据几何透视原理对其赋值然后得到背景深度图，对所述2D图像根据其纹理特征对其赋予深度以得到纹理深度图；步骤104，将所述前景深度图和所述背景深度图分别与所述纹理深度图进行加权系数结合，再将结果进行融合后即得到表示有运动矢量的图像。在本专利技术的一个实施方式中，所述深度图模块的处理步骤包括：步骤201，依据相机小孔成像模型推导出2D图像在真实世界中地面点的深度和它在相机中所成像点的图像坐标之间的对应关系；步骤202，通过计算2D图像的特征来分析2D图像内目标视点的线束位置，并获取线束对应的空间坐标，然后结合2D图像平面中心坐标，计算区域像素点的深度信息；步骤203，依据2D图像的消失点特征估计2D图像中各线束的位置，并旋转2D图像分别将各线束调至水平，再根据旋转之后区域像素点的坐标计算2D图像中不同区域的深度，完成对所有区域的深度估计；步骤204，将2D图像映射到立体空间中，再将其各区域像素点的三维坐标根据2D图像的各种参数，经过相应处理后映射到目标视点的二维坐标中，最终得到目标视点的3D图像。在本专利技术的一个实施方式中，还包括将所述深度图模块输出的图像深度图转换成3D和/VR输出的自由交互模块。在本专利技术的一个实施方式中，所述存储模块同时保存各种中间处理数据。本专利技术采取软硬件转换，从硬件和软件体系实现2D转3D技术，包括硬件模块、场景深度分析识别软件、运动特征分割软件、自由移动交互软件等，实现将游戏、电影、图片统统转为3D甚至360°沉浸式VR格式。附图说明图1为本专利技术一个实施方式的虚拟设备外部结构示意图；图2为本专利技术一个实施方式的虚拟设备内部结构示意图；图3为本专利技术一个实施方式的运动估计模块工作流程示意图；图4为本专利技术一个实施方式的深度图模块工作流程示意图。具体实施方式如图1、2所示，本专利技术的一个实施方式公开一种2D转换3D与VR的虚拟设备，包括用于插接装有2D图像设备的底座10，在底座10上安装有与2D图像设备的输出口连接的插接口20，将插接口20输入的2D图像转换为3D效果的图像转换部，以及将图像转换部转换后3D图像输出的图像口30，在底座10上设置有提供外部电力输入的充电口40。本方案中的2D图像设备可以是手机、平板、游戏机或U盘一类电子设备。具体的插接口可以是USB接口，而图像口可以是HDMI接口，充电口可以是Type-C接口。该图像转换部包括配置单元(CONFIGURE)和转换单元(CORE)；配置单元用于接收转换图像时的环境配置参数并输出至所述转换单元；配置单元主要是通过APB总线与底座内部单片机相连，接收单片机发出的配置信息，完成对整个深度图提取模块的配置以及控制整个模块的开启和关闭。配置单元包括从动模块(apbslave)和时钟模块(SYNC)。从动模块接收APB总线上送来的配置信息，并将接收的配置信息送入时钟(SYNC)模块，时钟模块主要处理两个时钟域信号的同步问题，将pclk(APB)时钟送进来的配置信息转换到clka(像素)时钟，并输出clka时钟域的配置信息给转换单元，完成转换单元寄存器的配置后，再向转换单元发出start信号，使能转换单元。配置单元工作时，转换单元不进行工作，外部系统(如用于播放的电视、VR眼镜等设备)可以通过APB总线对转换单元的寄存器进行读写操作，以实现相应环境配置，配置内容包括边缘值阈值、图像锐化阈值以及模块的工作模式等，同时外部系统可以读取转换单元的版本号和寄存器的配置状态等信息。同样，当转换单元工作时，APB接口不能对模块内部的寄存器进行写操作。当转换单元完成对输入的图像进行深度图提取并对提取的深度图进行图像增强等后处理后，并将处理后的深度图输出给后面的模块，才会接受配置单元的控制信号，即配置单元控制转换单元，只有在转换单元不工作时，或完成当前工作后，至少是本文档来自技高网...

【技术保护点】
1.一种2D转换3D与VR的虚拟设备，其特征在于，包括用于插接装有2D图像设备的底座，在底座上安装有与2D图像设备的输出口连接的插接口，将插接口输入的2D图像转换为3D效果的图像转换部，以及将图像转换部转换后3D图像输出的图像口，提供外部电力输入的充电口；/n所述图像转换部包括配置单元和转换单元；/n所述配置单元用于接收转换图像时的环境配置参数并输出至所述转换单元，/n所述转换单元包括接收所述插接口输出的2D信号的信号转换模块，对信号转换模块转换后信号进行缩小调整的调整模块，对调整模块输出数据通过运动估计得到运动矢量的运动估计模块，对运动矢量进行处理以得到图像深度图的深度图模块，以及为各模块提供存储空间的存储模块。/n

【技术特征摘要】
1.一种2D转换3D与VR的虚拟设备，其特征在于，包括用于插接装有2D图像设备的底座，在底座上安装有与2D图像设备的输出口连接的插接口，将插接口输入的2D图像转换为3D效果的图像转换部，以及将图像转换部转换后3D图像输出的图像口，提供外部电力输入的充电口；
所述图像转换部包括配置单元和转换单元；
所述配置单元用于接收转换图像时的环境配置参数并输出至所述转换单元，
所述转换单元包括接收所述插接口输出的2D信号的信号转换模块，对信号转换模块转换后信号进行缩小调整的调整模块，对调整模块输出数据通过运动估计得到运动矢量的运动估计模块，对运动矢量进行处理以得到图像深度图的深度图模块，以及为各模块提供存储空间的存储模块。


2.如权利要求1所述的虚拟设备，其特征在于，
还包括在所述深度图模块生成图像深度图过程中对图像深度图进行平滑、放大和自由移动交互处理的深度图调整模块。


3.如权利要求1所述的虚拟设备，其特征在于，
还包括对所述深度图模块生成的图像深度图进行滤波处理的滤波模块。


4.如权利要求3所述的虚拟设备，其特征在于，
所述滤波模块采用形态学滤波方式来处理图像。


5.如权利要求1所述的虚拟设备，其特征在于，
所述配置单元包括接收外界配置信息的从动模块，以及处理两个时钟域信号同步的时钟模块。


6.如权利要求5所述的虚拟设备，其特征在于，
所述配置单元只有在所述转换单元不工作时或一帧图像处理完时才能对所述转换单元操作。


7.如权利要求1所述的虚拟设备，其特征在于，
所述运动估计模块得到运动矢量的过程如下：
步骤100，将所述2D图像中大于某个预...

【专利技术属性】
技术研发人员：黄胜海，钟伦超，
申请(专利权)人：黄胜海，钟伦超，
类型：发明
国别省市：广东;44