对带有遮挡区域的图像进行语义分割的方法技术

本发明专利技术提供了一种对带有遮挡区域的图像进行语义分割的方法，包括：为图像中的遮挡区域生成二值掩模，叠加原始图像与所述二值掩模；根据叠加后的图像，搭建具有编码‑解码结构的遮挡区域图像内容恢复深度神经网络子模型；搭建具有双流结构的深度神经网络作为图像语义分割子模型，并构建所述的遮挡区域图像内容恢复深度神经网络子模型和所述的语义分割子模型的级联模型；对所述级联模型进行训练和验证，通过验证好的级联模型对带有遮挡区域的图像进行语义分割。本方法可以实现对图像的遮挡区域的语义分割，解决图像中存在遮挡的图像内容理解问题。

A method of semantic segmentation for images with occluded areas

【技术实现步骤摘要】
对带有遮挡区域的图像进行语义分割的方法
本专利技术涉及图像语义分割
，尤其涉及一种对带有遮挡区域的图像进行语义分割的方法。
技术介绍
图像语义分割是实现图像内容理解的重要方式。但是，目前的图像语义分割方法仅能够对无遮挡的图像进行语义分割，而对于带有遮挡的图像区域，当前的语义分割方法都无法获得正确的结果。如果能够实现对遮挡的图像区域进行正确的语义分割将会使基于语义分割的图像理解技术更加接近人类图像理解的水平，进一步拓宽语义分割技术在现实中的应用场景，包括无人驾驶技术和自主机器人技术等。
技术实现思路
本专利技术提供了一种对带有遮挡区域的图像进行语义分割的方法，以实现对图像的遮挡区域的语义分割，解决图像中存在遮挡的图像内容理解问题。为了实现上述目的，本专利技术采取了如下技术方案。本专利技术提供了一种对带有遮挡区域的图像进行语义分割的方法，包括：为图像中的遮挡区域生成二值掩模，叠加原始图像与所述二值掩模；根据叠加后的图像，搭建具有编码-解码结构的遮挡区域图像内容恢复深度神经网络子模型；本文档来自技高网...

【技术保护点】
1.一种对带有遮挡区域的图像进行语义分割的方法，其特征在于，包括：/n为图像中的遮挡区域生成二值掩模，叠加原始图像与所述二值掩模；/n根据叠加后的图像，搭建具有编码-解码结构的遮挡区域图像内容恢复深度神经网络子模型；/n搭建具有双流结构的深度神经网络作为图像的语义分割子模型，并构建所述的遮挡区域图像内容恢复深度神经网络子模型和所述语义分割子模型的级联模型；/n对所述级联模型进行训练和验证，通过验证好的级联模型对带有遮挡区域的图像进行语义分割。/n

【技术特征摘要】
1.一种对带有遮挡区域的图像进行语义分割的方法，其特征在于，包括：
为图像中的遮挡区域生成二值掩模，叠加原始图像与所述二值掩模；
根据叠加后的图像，搭建具有编码-解码结构的遮挡区域图像内容恢复深度神经网络子模型；
搭建具有双流结构的深度神经网络作为图像的语义分割子模型，并构建所述的遮挡区域图像内容恢复深度神经网络子模型和所述语义分割子模型的级联模型；
对所述级联模型进行训练和验证，通过验证好的级联模型对带有遮挡区域的图像进行语义分割。


2.根据权利要求1所述的方法，其特征在于，所述的为图像中的遮挡区域生成二值掩模，包括：二值掩模中对应于遮挡区域的像素值被设置为1，其余区域的像素值被设置为0。


3.根据权利要求1所述的方法，其特征在于，所述的叠加原始图像与所述二值掩模，包括：
将二值掩模按下式(1)进行像素取反：
I′m＝1-Im(1)
根据下式(2)叠加原始图像与二值掩模：
I′x＝Ix⊙I′m(2)
其中，Im为图像二值掩模，I′m为取反后的二值掩模，Ix为原始输入图像，⊙表示按元素相乘运算。


4.根据权利要求1所述的方法，其特征在于，所述的搭建具有编码-解码结构的遮挡区域图像内容恢复深度神经网络子模型，包括：
在主干网络的从编码器特征图到解码器特征图的跨层连接中引入特征迁移模块，具体包括：
设有来自遮挡区域图像内容恢复深度神经网络子模型的对应于编码器部分的第l层的特征图Fl被连接到遮挡区域图像内容恢复深度神经网络子模型的对应于解码器部分的第L-l层的特征图FL-l，...

【专利技术属性】
技术研发人员：白双，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11