融合RGBD多模态信息的行人轮廓跟踪方法技术

本发明专利技术公开了一种融合RGBD多模态信息的行人轮廓跟踪方法，构建包含RGB目标分割卷积网络模块、Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块的行人目标置信图获取模型，采用训练样本对行人目标置信图获取模型进行训练，在实际应用时，将RGB图像与Depth图像分别输入行人目标置信图，将得到的融合置信图作为引导主动轮廓进化的外部能量来获取目标轮廓。本发明专利技术引入了Depth图像作为输入，可以有效提高在背景光线不足或目标表观与背景表观相似的跟踪场景下的行人轮廓跟踪效果。

Pedestrian Contour Tracking Method Based on RGBD Multimodal Information

【技术实现步骤摘要】
融合RGBD多模态信息的行人轮廓跟踪方法
本专利技术属于计算机视觉
，更为具体地讲，涉及一种融合RGBD多模态信息的行人轮廓跟踪方法。
技术介绍
作为计算机视觉研究领域中极具重要意义的视觉任务之一，目标跟踪包含模式识别、图像处理等先进技术。目标跟踪任务的内容为根据给定视频序列指定帧中所感兴趣目标的位置信息，依次在后续连续帧中将目标找出并给出其位置信息。近年来，随着计算机学科技术的不断发展且生活与工作中越来越多的实际应用需求，目标跟踪算法的研究已经成为计算机视觉领域的一个大热点。在目前的目标跟踪算法中，绝大多数成熟的跟踪算法都是基于RGB彩色图像的，一是因为目前的RGB图像成像技术是最成熟的，无论是手机或是相机都可以轻松获取大量质量很好的图像，也正是因为如此基于RGB彩色图像的视觉数据集也是极为丰富的，其次是因为在RGB图像上携带了足够丰富的信息，如可以在RGB图像上提取如彩色直方图、HOG、LBP等多种特征信息，这也是其成为视觉任务主要数据来源的最重要原因之一。然而，尽管其拥有如此多的优点，但在现实场景中也存在仅依赖RGB图像无法解决的问题，如在RGB图像中目标物体与背景表观比较相似或是环境光线较暗等等情况。为了弥补单一的RGB图像信息带来的跟踪效果不足，目前很多的跟踪算法也已经引入了如光流图或Depth(深度)图像来作为RGB图像的补充以提高跟踪效果。Depth图像与RGB彩色图像不同，Depth图像从直观上看是一种记录距离数据的图像，其图片每个像素值记录的是成像物体每个位置到摄像头的距离。Depth图像一般为16位单通道图像，其显示效果和常见的单通道灰度图一样，视觉上成像物体离摄像头越近，Depth图像的像素值越小所以灰度显示越暗，离摄像头越远像素值越大灰度显示越亮。由于Depth图像具有不受光照变化影响且只与距离有关等特性，在一些特定的跟踪场景中如环境光线微弱，背景与目标表观相近等场景，融合Depth图像可以帮助解决由于RGB图像表观信息失效而导致跟踪效果变差的问题。在目标的跟踪形式上，主要分为基于boundingbox(目标包围框)的跟踪与基于轮廓的跟踪。所谓的基于boundingbox的跟踪即在跟踪目标上使用矩形框或椭圆形框进行跟踪目标的表达，该种跟踪方式较为简单，但形态固定，对于非刚性目标的表达缺乏灵活性。而对于轮廓的跟踪方式，其是对于目标形体边缘的跟踪，该种跟踪方式需要进行较为复杂的数学计算，但它对于非刚性目标的表达确实十分灵活，能够详细的提供目标形态的信息以及变化，是十分具有意义的跟踪方式。就目前而言，如何将Depth图像融入轮廓跟踪中还是一个有待解决的技术问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种融合RGBD多模态信息的行人轮廓跟踪方法，结合使用RGB图像与Depth图像，提高在背景光线不足或目标表观与背景表观相似的跟踪场景下的行人轮廓跟踪效果。为实现上述专利技术目的，本专利技术融合RGBD多模态信息的行人轮廓跟踪方法包括以下步骤：S1：构建行人目标置信图获取模型，包括RGB目标分割卷积网络模块，Depth目标分割卷积网络模块，特征图叠加模块，卷积模块和置信图融合模块，其中：RGB目标分割卷积网络模块以RGB图像作为输入，输出为行人目标分割的置信图TRGB，将最后一层特征图FRGB输出至特征图叠加模块，将置信图TRGB输出至融合模块；Depth目标分割卷积网络模块以RGB图像对应的Depth图像作为输入，输出为行人目标分割的置信图TDepth，将最后一层特征图FDepth输出至特征图叠加模块，将置信图TDepth输出至融合模块；特征图叠加模块对特征图FRGB和特征图FDepth进行叠加，得到特征图FSW并输出至卷积模块；卷积模块用于对特征图FSW进行卷积操作，得到概率转换图SW并输出至融合模块，其中卷积操作表达式如下：SW＝h(WSW*FSW+bSW)其中，WSW和bSW分别为1*1卷积核的权重参数和偏置项权重参数，h(·)表示激活函数；置信图融合模块根据概率转换图SW，对接收的置信图TRGB、置信图TDepth进行融合，得到融合后的置信图Tfused，其中融合操作表达式如下：Tfused＝SW⊙TRGB+(1-SW)⊙TDepth其中，⊙表示对应元素相乘；S2：获取若干训练样本，每个训练样本包括包含行人目标的RGB图像、对应Depth图像以及行人目标分割标签，行人目标分割标签用于表征各个像素是属于行人目标还是背景；S3：对行人目标置信图获取模型采用以下方法进行训练：S3.1：采用训练样本中的RGB图像作为输入，对RGB目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.2：采用训练样本中的Depth图像作为输入，对Depth目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.3：将行人目标置信图获取模型中RGB目标分割卷积网络模块按照步骤S3.1的训练结果进行初始化，Depth目标分割卷积网络模块按照步骤S3.2的训练结果进行初始化，采用训练样本中的RGB图像作为RGB目标分割卷积网络模块的输入，对应的Depth图像作为Depth目标分割卷积网络模块的输入，对行人目标置信图获取模型进行训练，训练过程中对输出的融合置信图采用阈值法获取出行人目标分割结果，与行人目标分割标签进行误差计算；S4：获取行人视频序列，手工标定第一帧图像中行人的轮廓，然后对于后续图像，将RGB图像和对应的Depth图像输入行人目标置信图获取模型，得到融合置信图，将融合置信图作为轮廓演化的外部能量输入引导轮廓进行演化，得到当前图像行人轮廓跟踪结果。本专利技术融合RGBD多模态信息的行人轮廓跟踪方法，构建包含RGB目标分割卷积网络模块、Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块的行人目标置信图获取模型，采用训练样本对行人目标置信图获取模型进行训练，在实际应用时，将RGB图像与Depth图像分别输入行人目标置信图，将得到的融合置信图作为引导主动轮廓进化的外部能量来获取目标轮廓。本专利技术引入了Depth图像作为输入，可以有效提高在背景光线不足或目标表观与背景表观相似的跟踪场景下的行人轮廓跟踪效果。附图说明图1是本专利技术融合RGBD多模态信息的行人轮廓跟踪方法的具体实施方式流程图；图2是本专利技术中行人目标置信图获取模型的结构图；图3是本实施例中OSVOS网络结构图；图4是本实施例中基于OSVOS网络的行人目标置信图获取模型的结构图；图5是本实施例中Depth图像转换为RGB图像的示例图；图6是本实施例中行人目标置信图获取模型在线更新的流程图；图7是本实施例中本专利技术与三种对比方法对行人视频序列1的行人轮廓跟踪结果对比图；图8是本实施例中本专利技术与三种对比方法对行人视频序列1的行人目标与真实行人目标的区域相似度曲线对比图；图9是本实施例中本专利技术与三种对比方法对行人视频序列1的行人轮廓跟踪结果与真实行人轮廓的精度曲线对比图；图10是本实施例中本专利技术与三种对比方法对行人视频序列2的行人轮廓跟踪结果对比图；图11是本实施例中本专利技术与三种对比方法本文档来自技高网...

【技术保护点】
1.一种融合RGBD多模态信息的行人轮廓跟踪方法，其特征在于，包括以下步骤：S1：构建行人目标置信图获取模型，包括RGB目标分割卷积网络模块，Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块，其中：RGB目标分割卷积网络模块以RGB图像作为输入，输出为行人目标分割的置信图TRGB，将最后一层特征图FRGB输出至特征图叠加模块，将置信图TRGB输出至融合模块；Depth目标分割卷积网络模块以RGB图像对应的Depth图像作为输入，输出为行人目标分割的置信图TDepth，将最后一层特征图FDepth输出至特征图叠加模块，将置信图TDepth输出至融合模块；特征图叠加模块对特征图FRGB和特征图FDepth进行叠加，得到特征图Fsw并输出至卷积模块；卷积模块用于对特征图FSW进行卷积操作，得到概率转换图SW并输出至融合模块，其中卷积操作表达式如下：SW＝h(WSW*FSW+bSW)其中，WSW和bSW分别为1*1卷积核的权重参数和偏置项权重参数，h(·)表示激活函数；置信图融合模块根据概率转换图SW，对接收的置信图TRGB、置信图TDepth进行融合，得到融合后的置信图Tfused，其中融合操作表达式如下：Tfused＝SW⊙TRGB+(1‑SW)⊙TDepth其中，⊙表示对应元素相乘；S2：获取若干训练样本，每个训练样本包括包含行人目标的RGB图像、对应Depth图像以及行人目标分割标签，行人目标分割标签用于表征各个像素是属于行人目标还是背景；S3：对行人目标置信图获取模型采用以下方法进行训练：S3.1：采用训练样本中的RGB图像作为输入，对RGB目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.2：采用训练样本中的Depth图像作为输入，对Depth目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.3：将行人目标置信图获取模型中RGB目标分割卷积网络模块按照步骤S3.1的训练结果进行初始化，Depth目标分割卷积网络模块按照步骤S3.2的训练结果进行初始化，采用训练样本中的RGB图像作为RGB目标分割卷积网络模块的输入，对应的Depth图像作为Depth目标分割卷积网络模块的输入，对行人目标置信图获取模型进行训练，训练过程中对输出的融合置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S4：获取行人视频序列，手工标定第一帧图像中行人的轮廓，然后对于后续图像，将RGB图像和对应的Depth图像输入行人目标置信图获取模型，得到融合置信图，将融合置信图作为轮廓演化的外部能量输入引导轮廓进行演化，得到当前图像行人轮廓跟踪结果。...

【技术特征摘要】
1.一种融合RGBD多模态信息的行人轮廓跟踪方法，其特征在于，包括以下步骤：S1：构建行人目标置信图获取模型，包括RGB目标分割卷积网络模块，Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块，其中：RGB目标分割卷积网络模块以RGB图像作为输入，输出为行人目标分割的置信图TRGB，将最后一层特征图FRGB输出至特征图叠加模块，将置信图TRGB输出至融合模块；Depth目标分割卷积网络模块以RGB图像对应的Depth图像作为输入，输出为行人目标分割的置信图TDepth，将最后一层特征图FDepth输出至特征图叠加模块，将置信图TDepth输出至融合模块；特征图叠加模块对特征图FRGB和特征图FDepth进行叠加，得到特征图Fsw并输出至卷积模块；卷积模块用于对特征图FSW进行卷积操作，得到概率转换图SW并输出至融合模块，其中卷积操作表达式如下：SW＝h(WSW*FSW+bSW)其中，WSW和bSW分别为1*1卷积核的权重参数和偏置项权重参数，h(·)表示激活函数；置信图融合模块根据概率转换图SW，对接收的置信图TRGB、置信图TDepth进行融合，得到融合后的置信图Tfused，其中融合操作表达式如下：Tfused＝SW⊙TRGB+(1-SW)⊙TDepth其中，⊙表示对应元素相乘；S2：获取若干训练样本，每个训练样本包括包含行人目标的RGB图像、对应Depth图像以及行人目标分割标签，行人目标分割标签用于表征各个像素是属于行人目标还是背景；S3：对行人目标置信图获取模型采用以下方法进行训练：S3.1：采用训练样本中的RGB图像作为输入，对RGB目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.2：采用训练样本中的Depth图像作为输入，对Depth目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S3.3：将行人目标置信图获取模型中RGB目标分割卷积网络模块按照步骤S3.1的训练结果进行初始化，Depth目标分割卷积网络模块按照步骤S3.2的训练结果进行初始化，采用训练样本中的RGB图像作为RGB目标分割卷积网络模块的输入，对应的Depth图像作为Depth目标分割卷积网络模块的输入，对行人目标置信图获取模型进行训练，训练过程中对输出的融合置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；S4：获取行人视频序列，手工标定第一帧图像中行人的轮廓，然后对于后续图像，将RGB图像和对应的Depth图像输入行人目标置信图获取模型，得到融合置信图，将融合置信图作为轮廓演化的外部能量输入引导轮廓进行演化，...

【专利技术属性】
技术研发人员：周雪，周政，邹见效，徐红兵，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51