本申请提供了室内场景语义分割方法、装置、设备和介质，其中该方法包括：获取给定室内场景的场景图像；将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图；将所述融合特征图进行位置编码后输入语义分割神经辐射场网络，获得室内场景信息；对所述室内场景信息进行上采样处理，且通过渲染获得室内场景语义分割图。本申请提出的方法能够有效融合三通道彩色图像和深度图像，利用少量语义标签信息获得更密集准确的语义分割效果。分割效果。分割效果。
【技术实现步骤摘要】
室内场景语义分割方法、装置、设备和介质
[0001]本申请涉及计算机视觉领域，具体涉及一种室内场景语义分割方法、装置、设备和介质。
技术介绍
[0002]语义分割是图像分割中的重要领域，目前广泛应用于自动驾驶、精准农业以及地质检测以及其它各种不同的领域。在自动驾驶领域，语义分割提供有关道路上自由空间的信息，以及检测车道标记和交通标志等信息；在精准农业领域，作物和杂草的语义分割可以帮助实现除草行为的实时触发，减少需要在田间喷洒的除草剂的数量；地质检测，识别卫星图像上每个像素的土地覆盖类型(例如，城市、农业、水等区域)。
[0003]即便语义分割在众多领域都有着不同的应用。但是在将语义分割应用于室内场景之下的目前在对室内场景进行语义分割时，现有的大多数工作只是简单地假设深度测量是准确的，且与场景图像像素能够良好地对齐，由此将该问题建模为交叉模式特征融合以获得更好的特征表示从而实现更准确的分割。但是，由于其场景内部的空间复杂度高、环境变化多样，通常传感器无法获得令人满意的精准的深度结果，实际的深度数据往往比较嘈杂，这可能会随着网络的深入而降低对室内场景分割的准确性。若是想要获取室内场景精准的语义分割效果，则需要依托于室内场景数据集中的大量语义标签，而这些语义标签一般通过人工标注或半监督的方法获得，导致需要耗费高额的训练成本。
技术实现思路
[0004]本申请的一个目的在于通过利用少量语义标签获得准确的语义分割效果，解决需要大量语义标签且耗费高额训练成本的技术问题。
[0005]根据本申请实施例的一方面，本申请公开了一种室内场景语义分割方法，包括：
[0006]获取给定室内场景的场景图像；
[0007]将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图；
[0008]将所述融合特征图进行位置编码后输入语义分割神经辐射场网络，获得室内场景信息；
[0009]对所述室内场景信息进行上采样处理，且通过渲染获得室内场景语义分割图。
[0010]根据本申请实施例的一方面，所述获取给定室内场景的场景图像，包括：
[0011]通过深度传感器摄像机拍摄室内场景，获取室内场景的场景图像。
[0012]根据本申请实施例的一方面，所述将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图，包括：
[0013]串联场景图像中的三通道彩色图像和深度图像，获得初步融合特征图；
[0014]通过卷积学习所述初步融合特征图中三通道融合的权重分布，获得学习的权重；
[0015]通过阈值函数将所述学习的权重映射于权重向量范围，获得映射后的权重向量
值；
[0016]将所述初步融合特征图和所述映射后的权重向量值进行点乘，获得融合特征图。
[0017]根据本申请实施例的一方面，所述将所述融合特征图进行位置编码后输入语义分割神经辐射场网络，获得室内场景信息，包括：
[0018]对所述融合特征图进行位置编码，获得融合特征图的向量坐标和观察方向；
[0019]将所述融合特征图的向量坐标和观察方向输入多层神经网络获得室内场景信息。
[0020]根据本申请实施例的一方面，本申请了一种室内场景语义分割装置，包括：
[0021]场景图像获取模块，用于获取给定室内场景的场景图像；
[0022]特征融合模块，用于将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图；
[0023]场景信息获取模块，用于将所述融合特征图进行位置编码后输入语义分割神经辐射场网络，获得室内场景信息；
[0024]语义分割图获取模块，用于对所述室内场景信息进行上采样处理，且通过渲染获得室内场景语义分割图。
[0025]根据本申请实施例的一方面，所述场景图像获取模块，包括：
[0026]场景图像获取单元，用于通过深度传感器摄像机拍摄室内场景，获取室内场景的场景图像。
[0027]根据本申请实施例的一方面，所述特征融合模块，包括：
[0028]初步融合特征图获取单元，用于串联场景图像中的三通道彩色图像和深度图像，获得初步融合特征图；
[0029]权重学习单元，用于通过卷积学习所述初步融合特征图中三通道融合的权重分布，获得学习的权重；
[0030]权重映射单元，用于通过阈值函数将所述学习的权重映射于权重向量范围，获得映射后的权重向量值；
[0031]融合特征图获取单元，用于将所述初步融合特征图和所述映射后的权重向量值进行点乘，获得融合特征图。
[0032]根据本申请实施例的一方面，所述场景信息获取模块，包括：
[0033]位置编码单元，用于对所述融合特征图进行位置编码，获得融合特征图的向量坐标和观察方向；
[0034]多层神经网络输入单元：用于将所述融合特征图的向量坐标和观察方向输入多层神经网络获得室内场景信息。
[0035]根据本申请实施例的一方面，本申请了一种室内场景语义分割设备，包括：
[0036]存储器，存储有计算机可读指令；
[0037]处理器，读取存储器存储的计算机可读指令，以执行如上所述的方法。
[0038]根据本申请实施例的一方面，本申请了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的方法。
[0039]本申请实施例中，获取需要进行语义分割的室内场景的场景图像，将场景图像中包含有的三通道彩色图像和深度图像进行多模态特征融合，获得包含三通道彩色信息和深
度信息的融合特征图，将融合特征图进行位置编码得到坐标信息后输入语义分割神经辐射场，获得室内场景信息，对获得的室内场景信息进行上采样处理，并且通过渲染获得室内场景语义分割图，由此有效地融合了三通道彩色图像和深度图像，从而减少语义标签使用同时降低了训练成本。
[0040]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0041]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0042]通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。
[0043]图1示出了根据本申请一个实施例的室内场景语义分割方法的流程图。
[0044]图2示出了根据本申请另一个实施例的室内场景语义分割方法的流程图。
[0045]图3示出了根据本申请另一个实施例的室内场景语义分割方法的流程图。
[0046]图4示出了根据本申请一个实施例的室内场景语义分割设备的框图。
[0047]图5示出了根据本申请一个实施例的特征融合模块的框图。
[0048]图6示出了根据本申请一个实施例的场景信息获取模块的框图。
[0049]图7示出了根据本申请一个实施例的室内场景语义分割装置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种室内场景语义分割方法，其特征在于，所述方法包括：获取给定室内场景的场景图像；将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图；将所述融合特征图进行位置编码后输入语义分割神经辐射场网络，获得室内场景信息；对所述室内场景信息进行上采样处理，且通过渲染获得室内场景语义分割图。2.根据权利要求1所述的方法，其特征在于，所述获取给定室内场景的场景图像，包括：通过深度传感器摄像机拍摄室内场景，获取室内场景的场景图像。3.根据权利要求1所述的方法，其特征在于，所述将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图，包括：串联场景图像中的三通道彩色图像和深度图像，获得初步融合特征图；通过卷积学习所述初步融合特征图中三通道融合的权重分布，获得学习的权重；通过阈值函数将所述学习的权重映射于权重向量范围，获得映射后的权重向量值；将所述初步融合特征图和所述映射后的权重向量值进行点乘，获得融合特征图。4.根据权利要求1所述的方法，其特征在于，所述将所述融合特征图进行位置编码后输入语义分割神经辐射场网络，获得室内场景信息，包括：对所述融合特征图进行位置编码，获得融合特征图的向量坐标和观察方向；将所述融合特征图的向量坐标和观察方向输入多层神经网络获得室内场景信息。5.一种室内场景语义分割装置，其特征在于，所述装置包括：场景图像获取模块，用于获取给定室内场景的场景图像；特征融合模块，用于将所述场景图像中的三通道彩色图像和深度图像进行多模态特征融合，获得融合特征图；场景信息获取模块，用于将所述融合特征图进行位置编码后...
【专利技术属性】
技术研发人员：张子慧，赖坚，
申请(专利权)人：深圳市金地数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。