一种结合ViBe与RGBD图像信息的图像语义标签制作方法技术

本发明专利技术涉及一种结合ViBe与RGBD图像信息的图像语义标签制作方法，包括：1）视频采集和预处理；2）图像序列的空间配准，得到对应的变换矩阵；3）对灰度图像序列进行运动目标检测和二值化；4）提取二值化图像的关键帧及Id；5）提取深度图像关键帧边缘，根据深度信息，结合最大连通滤波算法和边缘区域遍历算法，对前景分割图像中的前景区域，进行边缘修正并去除阴影噪声；6）标签分类并对其前景区域进行像素填充；7）所得标签保存至对应文件夹。本发明专利技术方法通过关键帧的提取、使用深度信息去除图像阴影、结合滑动窗口思想提取目标关键帧前景并填充像素、给定标签，无需人为分割图像，降低了语义标签制作的复杂性，提高标签制作的精度与效率。率。率。

【技术实现步骤摘要】
一种结合ViBe与RGBD图像信息的图像语义标签制作方法


[0001]本专利技术涉及图像识别
，具体的说，是一种结合ViBe与RGBD图像信息的的图像语义标签制作方法。

技术介绍

[0002]背景差分法解决的问题涉及视频序列的某一帧与参考背景帧或模型的比较，这种称为前景检测的比较是一种分类过程，它将图像分成两个互补的像素集。ViBe算法相比于帧间差法、高斯混合模型法(GMM)有较强的鲁棒性，将其用于检测前景与背景之间的差异是计算机视觉中对视频序列动态目标的检测的有效途径。传统的ViBe算法将彩色图像转成灰度图像以提高前景分割的速率，这种方法对环境的光照条件要求严格，若环境中出现阴影，则传统的ViBe算法也会将阴影视为动态目标，从而降低了动态目标检测的召回率和准确率。卷积神经网络(Convolutional Neural Network，CNN)是被提出至今短暂时间内发展起来并引起广泛重视的一种高效识别方法，近几年的深入研究使其得到广泛的应用，特别是模式识别领域。对于卷积神经网络，其模型的训练数据集几乎是人工分割图像并给定对应标签，需要投入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合ViBe与RGBD图像信息的图像语义标签制作方法，其特征在于，包括以下步骤：步骤S1、视频采集并进行预处理，得到RGB图像序列与深度图像序列；步骤S2、对步骤S1得到的RGB图像序列和深度图像序列在空间上配准，得到对齐的图像序列和两个序列图像组对应的变换矩阵；步骤S3、对步骤S1得到的RGB图像进行灰度转换后利用ViBe算法对灰度图像序列进行运动目标检测，得到图像的前景分割图像，并对该图像进行二值化；步骤S4、使用滑动窗口Sliding Window思想对视频图像运动目标进行关键帧提取，得到关键帧图像Id，依次提取对应的灰度图像关键帧、RGB图像关键帧、深度图像关键帧；步骤S5、对步骤S4得到的灰度图像关键帧和深度图像关键帧进行二值化区分前景与背景，同时提取深度图像关键帧边缘，利用深度图像中的深度信息，结合最大连通滤波算法和边缘区域遍历算法定位由步骤S3得到的前景分割图像中的前景区域，用于边缘修正同时去除阴影噪声；步骤S6、对步骤S5中二值化的图像进行标签分类并对其前景所表示的区域进行像素填充；步骤S7、通过程序终端与人为判断将步骤S6得到的标签放入对应文件夹。2.根据权利要求1所述的一种结合ViBe与RGBD图像信息的图像语义标签制作方法，其特征在于，步骤1中所述视频采集并进行预处理，得到RGB图像序列与深度图像序列，具体步骤如下：步骤S11、采用RGBD相机采集视频，将物品放入预先布置好的背景区域，短暂时间后将物品移出背景区域，此过程包括将所有需要进行标签制作的物品以不同的姿态放入，直至所有物品均完成上述过程，停止采集，得到视频文件；步骤S12、对文件建立视频流控制对象，循环读取视频流指定的当前帧，将帧转换成BGR模式与深度图像模式，得到RGB图像序列和深度图像序列，并按顺序保存在指定文件夹中，直到视频图像帧结束，关闭视频流对象。3.根据权利要求1所述的一种结合ViBe与RGBD图像信息的图像语义标签制作方法，其特征在于，步骤2中所述RGB图像序列和深度图像序列在空间上配准，得到对齐的图像序列和两个序列图像组对应的变换矩阵，具体为：步骤S21、对RGBD相机采集的深度图像和对应的彩色图像进行空间对齐，即在深度图像与对应的彩色图像中选取4个或以上的匹配点对，分别为深度图像中的(X
D
,Y
D
)＝{(x
D1
，y
D1
)，(x
D2
，y
D2
)，...，(x
Dn
，y
Dn
)}，对应彩色图像中的(X
C
，Y
C
)＝{(x
C1
，y
C1
)，(x
C2
，y
C2
)，...，(x
Cn
，y
Cn
)}，其中n≥4；则匹配点对间存在以下关系：上式中，H为单应矩阵，H
ij
(i，j∈1，2，3)为单应矩阵的参数，则有：
令H
33
＝1，去掉其非零因子整理可得：通过直接线性变换法(Direct Linear Transform，DLT)求解单应矩阵，得到：4.根据权利要求1所述的一种结合ViBe与RGBD图像信息的图像语义标签制作方法，其特征在于，步骤3中所述对RGB图像进行灰度转换后利用ViBe算法对灰度图像序列进行运动目标检测，得到图像的前景分割图像，并对该图像进行二值化，具体包括以下步骤：步骤S31、初始化构建样本数据集，即根据ViBe算法经验设置图像序列第一帧中采用随机策略从中心像素点的8邻域N0(x，y)内选取20个像素点建立背景模型：M0(x，y)＝{V0((x，y)|(x，y)∈N0(x，y)}(5)其中M0(x，y)是初始样本集中的像素点，N0(x，y)像素颜色空间中的直接邻域点，而V0(x，y)是初始样本中(x，y)像素点的像素值；步骤S32、图像序列经过ViBe对背景帧后的每一帧I
k
(x，y)进行前景像素检测，计算像素点与其位置对应的背景样本集之间的欧氏距离div
k
(x，y)：div
k
(x，y)＝|I
k
(x，y)
‑
M0(x，y)|(6)步骤S33、对判定存在动态物体的图像帧进行前景点像素点统计，记第k帧中前景点像素数量为5.根据权利要求1所述的一种结合ViBe与RGBD图...

【专利技术属性】
技术研发人员：熊剑，覃东文，廖玮，权略，张强，衷卫声，郭杭，李宇，
申请(专利权)人：南昌大学，
类型：发明
国别省市：