一种基于神经网络的全景视频转6DOF视频的方法及系统技术方案

本发明专利技术公开了一种基于神经网络的全景视频转6DOF视频的方法及系统，其中方法包括：将ODS全景立体图像输入到一全景深度特征提取网络中；所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；基于所述全景深度图，将原始输入的所述ODS全景立体图映射为对应的6DOF视频并保存。本发明专利技术利用卷积神经网络估计ODS全景立体图像的全景深度图，并通过将全景深度图映射为6DOF视频，解决了VR视频仅允许观察者旋转，不允许观察者自由移动的六个自由度观看的技术问题。

【技术实现步骤摘要】
一种基于神经网络的全景视频转6DOF视频的方法及系统
本专利技术涉及VR视频制作
，具体涉及一种基于神经网络的全景视频转6DOF视频的方法及系统。
技术介绍
ODS(omni-directionalstereo)全景立体图像为目前流行的媒体格式，比如VR头盔从视觉传感器中捕获的视频我们称之为ODS全景立体图像。VR头盔通过为佩戴者的每只眼睛分配不同的全景图像，可以模拟三维人类视觉，允许VR视频观察者旋转，但不允许观察者位置移动。目前，VR视频制作
的研究热点是如何获取高精度、低畸变率的ODS全景立体视频。比如有学者提出，通过至少3个带有鱼眼镜头的相机拍摄场景图像，然后将不同的场景图像“缝合”成ODS全景立体图像，该方法降低了ODS全景立体图像的畸变率，但还是无法实现ODS全景立体图像在VR中的6自由度(6DOF)观看，核心是观察者无法自由移动。
技术实现思路
本专利技术的目的在于提供一种基于神经网络的全景视频转6DOF视频的方法及系统，以解决上述技术问题。为达此目的，本专利技术采用以下技术方案：提供一种基于神经网络的全景视频转6DOF视频的方法，包括：将ODS全景立体图像输入到一全景深度特征提取网络中；所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的6DOF视频并保存。作为本专利技术的一种优选方案，所述ODS全景立体图包括以左眼视角采集的第一ODS全景立体图像和在同个时间点以右眼视角采集的第二ODS全景立体图像，同一时刻分配给左眼的所述第一ODS全景立体图像以及分配给右眼的所述第二ODS全景立体图像模拟出三维人类视觉。作为本专利技术的一种优选方案，所述全景深度特征提取网络采用卷积神经网络架构。作为本专利技术的一种优选方案，通过一全景损失函数表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数通过以下公式表达：上式中，w用于表示所述全景深度图的图宽；h用于表示所述全景深度图的图高；H(Δ)为所述全景深度图中的每个像素的berHu矩阵；表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；W用于表示所述全景深度图的边界像素的权值矩阵；n表示W矩阵中非零元素的个数。作为本专利技术的一种优选方案，所述W矩阵中各元素的元素值通过以下方法求得：若像素pi,j为所述全景深度图的边界像素，则Wi,j＝λ，Wi,j表示作为所述W矩阵元素的所述像素pi,j对应的元素值；λ为一常数；i,j表示所述像素pi,j在所述全景深度图中的坐标位置；若像素pi,j为非所述全景深度图的边界像素，则Wi,j＝0。作为本专利技术的一种优选方案，通过经纬度坐标表示所述像素pi,j在所述全景深度图中的具体坐标位置。作为本专利技术的一种优选方案，通过一边界损失函数估计所述全景深度特征提取网络提取的所述全景深度图的图像边界与真实图像边界的距离误差，所述边界损失函数通过下式表达：上式中，为像素b的预测深度；y(b)为像素b的真实深度；B(k)为表示构成所述全景深度图的图像边界的k个边界像素的集合；N表示边界像素集合中的像素数量。作为本专利技术的一种优选方案，用于表示所述全景深度图的图像边界的像素数量为16个。本专利技术还提供了一种基于神经网络的全景视频转6DOF视频的系统，包括：图像输入模块，用于输入所述ODS全景立体图像；图像深度特征提取模块，连接所述图像输入模块，用于通过所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的所述全景深度图；6DOF视频映射模块，连接所述图像深度特征提取模块，用于基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的所述6DOF视频并保存。作为本专利技术的一种优选方案，通过一全景损失函数表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数通过以下公式表达：上式中，w用于表示所述全景深度图的图宽；h用于表示所述全景深度图的图高；H(Δ)为所述全景深度图中的每个像素的berHu矩阵；表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；W用于表示所述全景深度图的边界像素的权值矩阵；n表示W矩阵中非零元素的个数。本专利技术利用卷积神经网络估计ODS全景立体图像的全景深度图，并通过将全景深度图映射为6DOF视频，解决了VR视频仅允许观察者旋转，不允许6自由度观看的技术问题。而且，本专利技术创新提出的全景损失函数和边界损失函数训练形成的全景深度图预测模型具有更高地预测精度，大幅提高了合成的6DOF视频的真实度和逼真度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例所述的基于神经网络的全景视频转6DOF视频的方法的步骤图；图2是本专利技术一实施例所述的基于神经网络的全景视频转6DOF视频的系统的结构图；图3是所述全景深度特征提取网络的网络结构示意图。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。在本专利技术的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解本文档来自技高网...

【技术保护点】
1.一种基于神经网络的全景视频转6DOF视频的方法，其特征在于，包括：/n将ODS全景立体图像输入到一全景深度特征提取网络中；/n所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；/n基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的6DOF视频并保存。/n

【技术特征摘要】
1.一种基于神经网络的全景视频转6DOF视频的方法，其特征在于，包括：
将ODS全景立体图像输入到一全景深度特征提取网络中；
所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；
基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的6DOF视频并保存。


2.如权利要求1所述的方法，其特征在于，所述ODS全景立体图包括以左眼视角采集的第一ODS全景立体图像和在同个时间点以右眼视角采集的第二ODS全景立体图像，同一时刻分配给左眼的所述第一ODS全景立体图像以及分配给右眼的所述第二ODS全景立体图像模拟出三维人类视觉。


3.如权利要求1所述的方法，其特征在于，所述全景深度特征提取网络采用卷积神经网络架构。


4.如权利要求1所述的方法，其特征在于，通过一全景损失函数表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数通过以下公式表达：



上式中，w用于表示所述全景深度图的图宽；
h用于表示所述全景深度图的图高；
H(Δ)为所述全景深度图中的每个像素的berHu矩阵；


表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；
W用于表示所述全景深度图的边界像素的权值矩阵；
n表示W矩阵中非零元素的个数。


5.如权利要求4所述的方法，其特征在于，所述W矩阵中各元素的元素值通过以下方法求得：
若像素pi,j为所述全景深度图的边界像素，则Wi,j＝λ，Wi,j表示作为所述W矩阵元素的所述像素pi,j对应的元素值；λ为一常数；i,j表示所述像素pi,j在所述全景深度图中的坐标位置；
若像素pi,j为非所述全景深度图的边界像素，则Wi,j＝0。
<...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科深智科技有限公司，
类型：发明
国别省市：北京;11