本公开提供一种全景图像减少现实的方法和装置，应用于室内场景，包括：基于获取到的被掩码的布局边界图像、掩码图像、被掩码的全景图像，生成布局特征，布局特征表征原始的全景图像在布局层面的结构特征，基于获取到的被掩码的全景图像、原始的全景图像，生成室内场景的结构化区域对应的风格矩阵，风格矩阵表征结构化区域对应的结构语义信息，根据风格矩阵对预设的结构化掩码进行填充处理，得到结构化区域纹理特征，根据布局特征和结构化区域纹理特征进行全景图像修复处理，得到被掩码的全景图像对应的减少现实的预测图像，可以使得真实感修复能力与边界结构保持相结合，也可以在生成包括逼真的背景纹理的同时保留室内场景的结构。构。构。
【技术实现步骤摘要】
全景图像减少现实的方法和装置
[0001]本公开涉及图像处理
，尤其涉及一种全景图像减少现实的方法和装置。
技术介绍
[0002]减少现实是通过在全景图像上绘制待移除对象的蒙版区域，并在蒙版区域渲染物体后面场景的真值来实现的，这种渲染操作在图像处理术语中称为图像修复。
[0003]在现有技术中，图像修复主要为二维图像修复，且主要通过最近邻搜索或复制相关块来生成真实感纹理。
[0004]然而，当该方法应用于三维图像的修复时，修复后的图像的真实感相对较差。
技术实现思路
[0005]本公开提供一种全景图像减少现实的方法和装置，应用于室内场景，用以提高减少现实的有效性和可靠性。
[0006]第一方面，本公开提供一种全景图像减少现实的方法，应用于室内场景，所述方法包括：
[0007]基于获取到的被掩码的布局边界图像、掩码图像、被掩码的全景图像，生成布局特征，其中，所述布局特征表征原始的全景图像在布局层面的结构特征；
[0008]基于获取到的被掩码的全景图像、原始的全景图像，生成室内场景的结构化区域对应的风格矩阵，其中，所述风格矩阵表征所述结构化区域对应的结构语义信息；
[0009]根据所述风格矩阵对预设的结构化掩码进行填充处理，得到结构化区域纹理特征；
[0010]根据所述布局特征和所述结构化区域纹理特征进行全景图像修复处理，得到所述被掩码的全景图像对应的减少现实的预测图像。
[0011]在一些实施例中，基于获取到的被掩码的布局边界图像、掩码图像、被掩码的全景图像，生成布局特征，包括：
[0012]基于所述被掩码的布局边界图像、所述掩码图像、所述被掩码的全景图像，进行布局边界预测，得到边界布局图；
[0013]对所述边界布局图进行结构特征提取处理，得到布局边界特征；
[0014]根据所述布局边界特征、所述掩码图像、所述被掩码的全景图像，生成所述布局特征。
[0015]在一些实施例中，所述边界布局图是基于预先训练的布局边界预测模型得到的；所述布局边界预测模型包括依次连接的下采样卷积层、转换器块、转置卷积上采样卷积层。
[0016]在一些实施例中，所述布局边界特征是基于布局特征提取模型得到的；所述布局特征提取模型包括依次连接的下采样门控卷积层、扩张卷积残差块、上采样门控卷积层。
[0017]在一些实施例中，所述被掩码的布局边界图像是对所述原始的全景图像中的目标对象进行预测得到的曼哈顿布局边界，并对所述曼哈顿布局边界进行掩码处理得到的；
[0018]其中，所述目标对象包括墙壁、天花板、地板。
[0019]在一些实施例中，所述曼哈顿布局边界是基于预先训练的布局结构图像生成模型确定的，所述布局结构图像生成模型包括依次连接的编码器和解码器，所述编码器的输入为所述原始的全景图像，所述解码器的输出为曼哈顿布局边界。
[0020]在一些实施例中，所述编码器包括卷积层、以及分别与所述卷积层的输出连接的噪声线性整流函数和池化层；
[0021]所述解码器包括上采样层、以及与所述上采样层的输出依次连接的卷积层和激活层。
[0022]在一些实施例中，基于获取到的被掩码的全景图像、原始的全景图像，生成室内场景的结构化区域对应的风格矩阵，包括：
[0023]根据所述目标对象，对所述被掩码的全景图像进行结构化分割处理，得到包括所述目标对象对应的结构化区域的结构化区域图；
[0024]根据所述结构化区域图的结构语义信息，构建所述风格矩阵。
[0025]在一些实施例中，所述结构化区域图是基于预先训练的结构编码器对所述被掩码的全景图像进行处理得到的；所述结构编码器包括跳跃连接的下采样卷积层和上采样卷积层。
[0026]在一些实施例中，所述风格矩阵是基于预先训练的语义先验编码器对所述结构化区域图和所述原始的全景图像进行处理得到的；所述语义先验编码器包括依次连接的卷积层、转置卷积层、平均池化层。
[0027]在一些实施例中，根据所述风格矩阵对预设的结构化掩码进行填充处理，得到结构化区域纹理特征，包括：
[0028]根据所述风格矩阵、预设的高斯噪声、所述布局特征、所述结构化掩码进行局部特征提取处理，得到初始局部纹理；
[0029]根据所述风格矩阵对所述掩码图像对应的修复区域的初始局部纹理进行修复，得到所述结构化区域纹理特征。
[0030]在一些实施例中，所述结构化区域纹理特征是基于预先训练的残差网络模型生成的，所述残差网络模型的输入为所述风格矩阵、预设的高斯噪声、所述布局特征、所述结构化掩码；所述残差网络模型包括卷积层，所述残差网络模型的卷积层包括依次连接的构建模块、噪声线性整流函数、卷积核。
[0031]在一些实施例中，根据所述布局特征和所述结构化区域纹理特征进行全景图像修复处理，得到所述被掩码的全景图像对应的减少现实的预测图像，包括：
[0032]对所述布局特征进行卷积处理，得到第一卷积布局特征；
[0033]将所述第一卷积布局特征和所述结构化区域纹理特征进行融合处理，得到组合特征；
[0034]对所述布局特征进行卷积处理，得到第二卷积布局特征，并对所述布局特征进行全局特征提取处理，得到全局特征；
[0035]对所述第二卷积布局特征和所述全局特征进行融合处理，得到频域布局特征；
[0036]对所述组合特征和所述频域布局特征进行融合处理，得到所述预测图像。
[0037]在一些实施例中，所述预测图像是基于预先训练的傅里叶卷积融合模型对所述布
局特征和所述结构化区域纹理特征进行处理得到的；所述傅里叶卷积融合模型包括下采样卷积层、傅里叶卷积融合层、上采样卷积层、光谱变换块、融合模块。
[0038]在一些实施例中，所述预测图像是基于预先训练的修复网络模型生成的，所述修复网络模型的输入为所述边界布局图、所述掩码图像、所述被掩码的全景图像；
[0039]所述修复网络模型是基于融合损失函数训练得到的，所述融合损失函数是对绝对误差损失函数、对抗性损失函数、高级合成感知损失函数进行融合得到的。
[0040]第二方面，本公开提供一种全景图像减少现实的装置，应用于室内场景，所述装置包括：
[0041]第一生成单元，用于基于获取到的被掩码的布局边界图像、掩码图像、被掩码的全景图像，生成布局特征，其中，所述布局特征表征原始的全景图像在布局层面的结构特征；
[0042]第二生成单元，用于基于获取到的被掩码的全景图像、原始的全景图像，生成室内场景的结构化区域对应的风格矩阵，其中，所述风格矩阵表征所述结构化区域对应的结构语义信息；
[0043]填充单元，用于根据所述风格矩阵对预设的结构化掩码进行填充处理，得到结构化区域纹理特征；
[0044]修复单元，用于根据所述布局特征和所述结构化区域纹理特征进行全景图像修复处理，得到所述被掩码的全景图像对应的减少现实的预测图像。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种全景图像减少现实的方法，应用于室内场景，其特征在于，所述方法包括：基于获取到的被掩码的布局边界图像、掩码图像、被掩码的全景图像，生成布局特征，其中，所述布局特征表征原始的全景图像在布局层面的结构特征；基于获取到的被掩码的全景图像、原始的全景图像，生成室内场景的结构化区域对应的风格矩阵，其中，所述风格矩阵表征所述结构化区域对应的结构语义信息；根据所述风格矩阵对预设的结构化掩码进行填充处理，得到结构化区域纹理特征；根据所述布局特征和所述结构化区域纹理特征进行全景图像修复处理，得到所述被掩码的全景图像对应的减少现实的预测图像。2.根据权利要求1所述的方法，其特征在于，基于获取到的被掩码的布局边界图像、掩码图像、被掩码的全景图像，生成布局特征，包括：基于所述被掩码的布局边界图像、所述掩码图像、所述被掩码的全景图像，进行布局边界预测，得到边界布局图；对所述边界布局图进行结构特征提取处理，得到布局边界特征；根据所述布局边界特征、所述掩码图像、所述被掩码的全景图像，生成所述布局特征。3.根据权利要求1所述的方法，其特征在于，所述被掩码的布局边界图像是对所述原始的全景图像中的目标对象进行预测得到的曼哈顿布局边界，并对所述曼哈顿布局边界进行掩码处理得到的；其中，所述目标对象包括墙壁、天花板、地板。4.根据权利要求3所述的方法，其特征在于，基于获取到的被掩码的全景图像、原始的全景图像，生成室内场景的结构化区域对应的风格矩阵，包括：根据所述目标对象，对所述被掩码的全景图像进行结构化分割处理，得到包括所述目标对象对应的结构化区域的结构化区域图；根据所述结构化区域图的结构语义信息，构建所述风格矩阵。5.根据权利要求1所述的方法，其特征在于，根据所述风格矩阵对预设的结构化掩码进行填充处理，得到结构化区域纹理特征，包括：根据所述风格矩阵、预设的高斯噪声、所述布局特征、所述结构化掩码进行局部特征提取处理，得到初始局部纹理；根据所述风格矩阵对所述掩码图像对应的修复区域的初始局部纹理进行修复，得到所述结构化区域纹理特征。6.根据权利要求1所述的方法，其特征在于，根据所述...
【专利技术属性】
技术研发人员：王旭，柳佳淑，张秋丹，邬文慧，江健民，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。