一种基于RGB-D的室内场景逐像素语义分类器构造方法及系统技术方案

本发明专利技术涉及一种基于RGB‑D的室内场景逐像素语义分类器构造方法及系统，其方法包括：S1：对室内场景进行图像采集，获取RGB数据和Depth数据；S2：定义图像中的物体类别，并对其每一个像素进行类别标注；S3：将RGB数据和Depth数据，分别输入特征提取模块，同时将RGB数据输入深度估计模块，对RGB数据特征提取过程进行监督，得到对应的特征f

【技术实现步骤摘要】
一种基于RGB-D的室内场景逐像素语义分类器构造方法及系统
本专利技术涉及区块链和机器学习领域，具体涉及一种基于RGB-D的室内场景逐像素语义分类器构造方法及系统。
技术介绍
近年来，室内场景语义理解相关研究成果已经在不同领域得到了广泛的应用，包括安防领域中的突发事件预演，智能机器人领域中的定位、避障、目标找寻功能等，成为虚拟现实和增强现实等领域研究的热点问题，为人们的日常生活和工作带来了诸多便利。然而室内场景由于其光线灰暗、物体互相交叠等情况，使得室内场景的语义理解具有极大的挑战性，该研究一直是计算机图形学、虚拟现实、计算机视觉等领域一个基础且经典的问题。场景语义分割属于一种像素级别的图片分类任务，给定一幅图片I，假设其大小为w'×h'，场景语义分割算法的目标是输出一张大小为w'×h'的结果图，该图中的任意一个像素点对应I中的相应位置像素，xi,j的值表示对应I中的相应位置像素对应的标签类别，其中i,j表示图中第(i,j)个位置。基于图像的语义分割是室内场景语义理解的必备前提。目前对于图像的语义分割研究已经开展了广泛而深入的研本文档来自技高网...

【技术保护点】
1.一种基于RGB-D的室内场景逐像素语义分类器构造方法，其特征在于，包括：/n步骤S1：对室内场景进行图像采集，获取RGB数据和Depth数据；/n步骤S2：定义所述图像中的物体类别，并对其每一个像素进行类别标注；/n步骤S3：将所述RGB数据和Depth数据，分别输入特征提取模块，同时将所述RGB数据输入深度估计模块，利用该模块对RGB数据特征提取过程进行监督，得到对应的特征f

【技术特征摘要】
1.一种基于RGB-D的室内场景逐像素语义分类器构造方法，其特征在于，包括：
步骤S1：对室内场景进行图像采集，获取RGB数据和Depth数据；
步骤S2：定义所述图像中的物体类别，并对其每一个像素进行类别标注；
步骤S3：将所述RGB数据和Depth数据，分别输入特征提取模块，同时将所述RGB数据输入深度估计模块，利用该模块对RGB数据特征提取过程进行监督，得到对应的特征frgb和fdepth；
步骤S4：将所述frgb和所述fdepth输入尺度感知模块，以选择合适的尺度特征信息，并得到尺度感知特征和
步骤S5：将所述和所述分别输入自注意力机制模块，进行感受野扩大化，获得特征和
步骤S6：将所述和所述输入模态自适应模块，计算模态自适应权重，利用所述模态自适应权重，融合所述和所述得到所述图像的逐像素语义分类。


2.根据权利要求1所述的基于RGB-D的室内场景逐像素语义分类器构造方法，其特征在于，所述步骤S3：将所述RGB数据和Depth数据，分别输入特征提取模块，同时将所述RGB数据输入深度估计模块，利用该模块对RGB数据特征提取过程进行监督，得到对应的特征frgb和fdepth，具体包括：
将所述RGB数据和Depth数据，分别输入RGB特征提取模块和Depth特征提取模块进行特性提取，并在对所述RGB特征提取时，同时将所述RGB数据输入深度估计模块，利用该模块对RGB数据特征提取过程进行监督，分别得到对应的特征frgb和fdepth。


3.根据权利要求1所述的基于RGB-D的室内场景逐像素语义分类器构造方法，其特征在于，所述步骤S4：将所述frgb和所述fdepth输入尺度感知模块，以选择合适的尺度特征信息，并得到尺度感知特征和具体包括：
步骤S41：利用特征金字塔对所述特征frgb和fdepth进行多尺度特征提取，得到和
步骤S42：将所述和进行融合，得到融合特征并通过卷积网络得到多通道尺度权重图；
步骤S43：对所述多通道尺度权重图进行特征选择，分别得到尺度感知特征和


4.根据权利要求1所述的基于RGB-D的室内场景逐像素语义分类器构造方法，其特征在于，所述步骤S5：将所...

【专利技术属性】
技术研发人员：周锋，张凤全，蔡兴泉，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京;11