一种室内鱼眼图像的全自动布局恢复方法技术

本发明专利技术提供了一种室内鱼眼图像的全自动布局恢复方法，步骤为：(1)构建室内鱼眼图像数据集；(2)建立基于变形卷积的神经网络模型，设置相应的模型参数；(3)将训练集输入模型进行训练优化；(4)将测试集输入优化后的模型，输出角点概率图和边概率图；(5)将角点概率图二值化，提取角点图像坐标，基于正交投影模型和角点图像坐标，恢复三维室内布局。对于给定的RGB鱼眼图像，本方法首次实现了从单幅鱼眼图像中端到端地恢复出三维室内场景布局，应用于机器人技术和虚拟/增强现实，提升了室内场景理解的速度和精度。

【技术实现步骤摘要】
一种室内鱼眼图像的全自动布局恢复方法
本申请实施例涉及室内场景理解
，尤其涉及一种室内鱼眼图像的全自动布局恢复方法。
技术介绍
室内场景理解
是指通过对室内场景进行视觉分析，从而得到室内场景的空间布局结构。室内布局估计作为室内场景理解的一个子任务，是指从单张或多张室内照片中估计出三维室内布局，在机器人导航、虚拟/增强现实、智慧城市、室内监控等领域有广泛的应用。室内布局估计
发展出了很多方法，大多数的方法假设室内布局满足曼哈顿世界模型。传统的室内布局估计方法根据透视图像内的几何信息提取场景内的直线，生成一系列的布局估计假设，然后基于方位图、几何上下文信息选出最符合真实场景的假设最后布局估计的结果。传统相机拍摄得到的透视图的视角较小，每次只能恢复出室内布局的局部结构，因此YindaZhang等人提出使用视角360°的全景图像用于室内布局估计。卷积神经网络在图像分割、目标识别、图像分类等问题上较好的表现让研究者开始探索基于卷积神经网络解决室内布局估计问题。Zou等人提出一个名为LayoutNet的网络改进布局估计，Sun等人提出名为HorizonNet的网络学习室内布局。但是，全景图像是将多张透视图像经过图像拼接得到的，会引入一定的误差；而且全景相机拍摄全景图像的成本较高。
技术实现思路
本专利技术的技术解决问题：克服全景图像存在一定误差以及拍摄成本高的不足，提出一种室内鱼眼图像的全自动布局恢复方法。本专利技术的技术解决方案如下：一种室内鱼眼图像的全自动布局恢复方法，步骤如下：(1)构建室内鱼眼图像数据集；(2)建立基于变形卷积的神经网络模型，设置相应的模型参数；(3)将训练集输入模型进行训练优化；(4)将测试集输入优化后的模型，输出角点概率图和边概率图；(5)将角点概率图二值化，提取角点图像坐标，基于正交投影模型和角点图像坐标，恢复三维室内布局。可选地，所述构建室内鱼眼图像数据集，包括：(1)获取室内场景的RGB鱼眼图像和角点图像坐标；(2)生成像素值全为0、大小为1024×1024的像素矩阵，以角点图像坐标为圆心，将半径为6的区域内的像素值改为(0,0,255)，把修改后的像素矩阵保存为单通道的角点图；(3)基于角点图像坐标，生成1024×1024的三通道边图。可选地，所述建立基于变形卷积的神经网络模型，包括：(1)提取鱼眼有效区域：以像素点(512,512)为圆心，半径为512像素的区域。将有效区域外像素点的偏移量设置为(0,0)；(2)基于正交投影模型和变形卷积提出正交卷积OrthConv，求解有效区域内像素点的偏移量：正交卷积与标准卷积采样点坐标的差值；(3)建立基于变形卷积、遵循编码器-解码器策略的网络模型。可选地，所述将角点概率图二值化，提取角点图像坐标，基于正交投影模型和角点图像坐标，恢复三维室内布局，包含：(1)将角点概率图二值化，标记二值图像中的连通区域；(2)求取连通区域的重心作为角点图像坐标；(3)基于正交投影，将图像坐标转换为空间三维坐标，生成室内布局的三维点云；(4)将点云的三维空间坐标映射为图像坐标，生成布局纹理。可选地，所述基于角点图像坐标，生成1024×1024的三通道边图，包括：(1)生成像素值为0、大小为1024×1024的像素矩阵，将图像坐标(px，py)转换为经纬坐标和空间三维坐标(x，y，z)，计算公式如下：u＝px-512v＝py-512x＝r×cosθy＝r×sinθ(2)以为增量划分相邻角点的纬度坐标区间(θ1,θ2)，通过相邻角点的空间三维坐标(x1,y1,z1)、(x2,y2,z2)和区间内任一纬度θ′求出对应的经度φ′，计算公式如下：(3)将经纬坐标(φ′，θ′)转换为图像坐标(px′，py′),计算公式如下：px′＝512+512×sinφ′×cosθ′py′＝512+512×sinφ′×sinθ′(4)以图像坐标(px′，py′)为圆心，将半径为2的区域内的像素值改为(0,255,0)，将修改后的像素矩阵保存为三通道的边图。可选地，所述基于变形卷积提出OrthConv，求解有效区域内像素点的偏移量，包含：(1)将有效区域内的图像坐标(px，py)转换为经纬坐标(2)定义卷积核上任一点p的坐标为向量[i，j，d]，其中i和j的取值范围为d的计算公式如下：其中，kw为卷积核的宽度，imageW为待处理图像的宽度；(3)定义旋转矩阵R，将标准化后的向量p旋转至记旋转后的向量为p′＝[x,y,z]，计算公式如下：其中，Ry(θ)表示将y轴逆时针旋转角度θ得到的旋转矩阵；(4)将向量p′＝[x,y,z]转换为图像坐标(px′，py′)，偏移量(offsetx,offsety)的计算公式如下：offsetx＝px′-pxoffsety＝py′-py可选地，所述建立基于变形卷积、遵循编码器-解码器策略的网络模型，包含：(1)编码器包含7层卷积层，每一层卷积后跟随一个ReLU操作和最大池化层，下采样因子为2；(2)解码器包含2个分支，上层分支作为布局边概率图预测器，下层分支作为布局角点概率图预测器；(3)解码器分支采用最邻近插值，包含7层上采样操作，上采样后跟随卷积层；(4)编码器的7层卷积层中前三层使用标准卷积，后四层使用OrthConv，解码器的7层卷积层中前四层使用OrthConv，后三层使用标准卷积。本专利技术与现有技术相比的优点在于：(1)现有的室内布局估计技术对全景图像进行处理。全景图像在由多张透视图进行图像拼接时存在一定误差，对最终的布局恢复结果有一定影响，且全景图像拍摄成本高。本专利技术采用鱼眼图像作为网络输入，鱼眼图像具有视角大且获取成本较低的特点，更适用于室内布局估计技术。(2)全景图像和鱼眼图像都存在严重的畸变问题。现有的室内布局估计技术利用基于标准卷积的深度神经网络估计室内布局，标准卷积中卷积核固定的采样方式导致难以适应图像中的几何形变。本专利技术基于变形卷积和鱼眼图像的正交投影模型提出OrthConv，通过生成固定偏移量的方式改变卷积核的采样方式，更适用于室内布局估计技术。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的基于变形卷积神经网络的室内鱼眼图像布局恢复方法的总体流程示意图；图2本文档来自技高网...

【技术保护点】
1.一种室内鱼眼图像的全自动布局恢复方法，其特征在于，包括如下步骤：/n(1)构建室内鱼眼图像数据集；/n(2)建立基于变形卷积的神经网络模型，设置相应的模型参数；/n(3)将训练集输入模型进行训练优化；/n(4)将测试集输入优化后的模型，输出角点概率图和边概率图；/n(5)将角点概率图二值化，提取角点图像坐标，基于正交投影模型和角点图像坐标，恢复三维室内布局。/n

【技术特征摘要】
1.一种室内鱼眼图像的全自动布局恢复方法，其特征在于，包括如下步骤：
(1)构建室内鱼眼图像数据集；
(2)建立基于变形卷积的神经网络模型，设置相应的模型参数；
(3)将训练集输入模型进行训练优化；
(4)将测试集输入优化后的模型，输出角点概率图和边概率图；
(5)将角点概率图二值化，提取角点图像坐标，基于正交投影模型和角点图像坐标，恢复三维室内布局。


2.根据权利要求1所述的一种室内鱼眼图像的全自动布局恢复方法，其特征在于：所述步骤(1)构建室内鱼眼图像数据集，包括：
(1.1)获取室内场景的RGB鱼眼图像和角点图像坐标，即角点在鱼眼图像中的坐标；
(1.2)生成像素值全为0、大小为1024×1024的像素矩阵，以每个角点图像坐标为圆心，将半径为6的区域内的像素值改为(0,0,255)，把修改后的像素矩阵保存为单通道的角点图；
(1.3)基于角点图像坐标，生成1024×1024的三通道边图。


3.根据权利要求1所述的一种室内鱼眼图像的全自动布局恢复方法，其特征在于：所述步骤(2)建立基于变形卷积的神经网络模型，包括：
(2.1)提取鱼眼有效区域：以像素点(512,512)为圆心，半径为512像素的区域，将有效区域外像素点的偏移量设置为(0,0)；
(2.2)基于正交投影模型和变形卷积提出正交卷积OrthConv，求解有效区域内像素点的偏移量，即正交卷积与标准卷积采样点坐标的差值；
(2.3)建立基于变形卷积、遵循编码器-解码器策略的网络模型。


4.根据权利要求1所述的一种室内鱼眼图像的全自动布局恢复方法，其特征在于：所述步骤(5)将角点概率图二值化，提取角点图像坐标，基于正交投影模型和角点图像坐标，恢复三维室内布局，包括：
(5.1)将角点概率图二值化，标记二值图像中的连通区域；
(5.2)求取连通区域的重心作为角点图像坐标；
(5.3)基于正交投影，将图像坐标转换为空间三维坐标，生成室内布局的三维点云；
(5.4)将点云的三维空间坐标映射为图像坐标，生成布局纹理。


5.根据权利要求2所述的一种室内鱼眼图像的全自动布局恢复方法，其特征在于：所述步骤(1.3)中基于角点图像坐标，生成1024×1024的三通道边图，包括：
...

【专利技术属性】
技术研发人员：肖立凯，孟明，周忠，周颐，
申请(专利权)人：北京大视景科技有限公司，北京航空航天大学，
类型：发明
国别省市：北京;11