基于光场相机和深度学习的行人识别方法技术

一种基于光场相机和深度学习技术的行人识别方法，包括如下步骤：①利用光场相机获取多幅行人图像；②利用Lytro desktop软件将步骤①获得的原始行人图像进行处理，得到彩色行人图像和深度行人图像；③将步骤②得到的彩色图像和深度图像进行预处理并归于化为统一尺寸，并将图像分为正负样本，得到光场图像数据集；④基于深度学习进行模型的初始化；⑤构建彩色图像和深度图像的联合卷积特征；⑥利用④中的方法，利用已有的在ImageNet数据集上训练好的ResNet50图像分类模型，利用该模型参数提取训练样本的卷积特征；⑦根据⑥中得到的特征进行神经网络的反复训练，得到一个新的分类模型。使用该方法可有效地提高行人检测方法的准确率和鲁棒性。

Pedestrian recognition method based on light field camera and depth learning

【技术实现步骤摘要】
基于光场相机和深度学习的行人识别方法
本专利技术属于计算机视觉领域，特别涉及一种基于光场相机和深度学习的行人识别方法。
技术介绍
行人识别是计算机视觉研究领域的一个重要部分，在智能交通、视频监控、人工智能以及自动驾驶等领域都起到了十分重要的应用。近年来，基于计算机硬件设备和新的拍照技术的快速发展，工业界对行人识别的性能和准确度提出了更加苛刻的要求。由于自动驾驶技术近年来的蓬勃发展，使得对于行人的识别的准确率尤为重要。由于行人具有刚性物体和非刚性物体的特性，如行人拍摄角度的多变性，光照以及遮挡等因素的存在以及在交通标志牌、街景广告标识牌中有大量人体的出现，行人的误检一直是影响行人检测性能的关键问题。因此，近年来，科研人员在行人特征的获取和检测方法优化方面开展了大量工作，综合运用多传感器的方法提取行人特征，从而降低误检率，提高行人检测率。吴义仁在美国斯坦福大学汉拉恩教授的实验室，与其他研究员创制“光场相机”。据了解，“光场相机”机身和一般数码相机差不多，但内部结构大有不同。一般相机以主镜头捕捉光线，再聚焦在镜头后的胶片或感光器上，所有光线的总和形成相片上的小点，显示影像。这部特制相机置于主镜头及感光器之间，有一个布满9万个微型镜片的显微镜阵列，每个小镜阵列接收由主镜颈而来的光线后，传送到感光器前，析出聚焦光线及将光线资料转换，以数码方式记下。相机内置软件操作“已扩大光场”，追踪每条光线在不同距离的影像上的落点，经数码重新对焦后，便能拍出完美照片。而且，“光场相机”一反传统，减低镜头孔径大小及景深，以小镜阵列控制额外光线，展露每个影像的景深，再将微小的次影像投射到感光器上，所有聚焦影像周围的朦胧光圈变为“清晰”，保持旧有相机的大孔径所带来的增加光度、减少拍照时间及起粒的情况，不用牺牲景深及影像清晰度。与数码相机相比，光场相机有几点显著特点。1、先拍照，再对焦：数码相机，只捕捉一个光面对焦成像，中心清晰，焦外模糊；光场相机则是记录下所有方向光束的数据，后期在电脑中根据需要选择对焦点，照片的最后成像效果要在电脑上处理完成。2、体积小，速度快：由于采用与数码相机不同的成像技术，光场相机没有数码相机复杂的聚焦系统，整体体积较小，操作也比较简单；同时由于不用选择对焦，拍摄的速度也更快。目前常用的目标识别方法是基于彩色相机进行拍照获取样本并通过机器学习或者深度学习方法进行目标识别。这些方法在面对二维平面中的行人识别问题时，所体现出来的准确率和鲁棒性很差。基于机器学习的方法从训练样本学习人体的规律得到模型，然后在测试集上进行测试。如果能够合理地选择数据和特征，加上合理的算法来进行训练，可以很好的克服行人二维平面的误检问题。基于机器学习的方法一般包括特征提取，分类器训练和检测三个部分。在行人识别领域中最常用的特征为梯度方向直方图(Histogramoforientedgradient,HOG)。HOG特征结合支持向量机(SupportVectorMachine,SVM)在行人识别中的应用确实取得了不错的效果。然而，HOG是典型的手工特征，对于图像分类和识别以及任意姿态的行人、动物、建筑物等目标的检测效果并不令人满意。并且这种类似HOG的手工特征设计需要设计者具有优秀的视觉研究能力和丰富的研究经验。回顾十年目标识别的研究进程，可以发现，所提出的模型和算法都是基于特征的人工设计，而且进展缓慢。近些年来，随着科学技术的发展，深度学习已然成为计算机视觉领域中最热门的研究方向之一。对于图像识别任务以及诸如检测、分割等其他任务，各研究团队在后来的研究中也取得了非常不错的成绩。所以，就目前的形势来看，将深度学习应用于行人识别已成为一种趋势，并且具有非常广阔的研究意义和应用前景。
技术实现思路
本专利技术针对现有行人识别方法的不足加以改进，提供了一种基于光场相机和深度学习的行人识别方法，使用该方法可有效地提高行人检测方法的准确率和鲁棒性。如上构思，本专利技术的技术方案是：一种基于光场相机和深度学习的行人识别方法，其特征在于：包括如下步骤：①利用光场相机获取多幅行人图像；②利用Lytrodesktop软件将步骤①获得的原始行人图像进行处理，得到彩色行人图像和深度行人图像；③将步骤②得到的彩色图像和深度图像进行预处理并归于化为统一尺寸，并将图像分为正负样本，得到光场图像数据集；④基于深度学习进行模型的初始化：基于深度学习采用冻结所有卷积层模型参数，并在此基础上将原始图像经过所有卷积层进行卷积操作得到卷积特征，在此基础上继续训练；⑤构建彩色图像和深度图像的联合卷积特征：将①中彩色行人图像和深度行人图像分别经过④中的神经网络处理之后得到融合的卷积特征；⑥利用④中的方法，利用已有的在ImageNet数据集上训练好的ResNet50图像分类模型，利用该模型参数提取训练样本的卷积特征；⑦根据⑥中得到的特征进行神经网络的反复训练，得到一个新的分类模型。所述深度学习采用Keras框架。本专利技术具有如下的优点和积极效果：1、本专利技术对于二维平面行人误识别确实起到了较好的作用。作为一种对现有行人识别方法的补充，该方法运算量小、所需数据量小、对机器硬件要求不高、实验成本低，可以应用到实际的工业环境中去。2、使用本专利技术可有效地提高行人检测方法的准确率和鲁棒性。附图说明图1是本专利技术基于光场相机和深度学习的行人识别方法流程图。图2是本专利技术所用深度卷积网络结构示意图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。本专利技术的光场相机采用Lytro公司生产的光场相机。所采用的实验平台：PC。如图1所示：一种基于光场相机和深度学习技术的行人识别方法，包括如下步骤：①利用光场相机获取多幅行人图片；②利用Lytrodesktop软件将步骤①获得的原始光场行人图像进行处理，得到彩色行人图像和深度行人图像；③将步骤②得到的彩色图像和深度图像进行预处理并归于化为统一尺寸，并将图像分为正负样本，得到光场图像数据集；④基于迁移学习进行模型的初始化：基于迁移学习采用冻结所有卷积层模型参数，并在此基础上将原始图像经过所有卷积层进行卷积操作得到卷积特征，在此基础上继续训练，其目的是为了利用已有的在大规模数据集上训练得到的神经网络参数来更好的提取到有效和有用的卷积特征；⑤构建彩色图像和深度图像的联合卷积特征：将①中彩色行人图像和深度行人图像分别经过④中的神经网络处理之后得到融合的卷积特征；⑥利用④中的方法，利用已有的在ImageNet数据集上训练好的ResNet50图像分类模型，利用该模型参数提取训练样本的卷积特征；⑦根据⑥中得到的特征进行神经网络的反复训练，得到一个新的分类模型。...

【技术保护点】
1.一种基于光场相机和深度学习技术的行人识别方法，其特征在于：包括如下步骤：/n①利用光场相机获取多幅行人图像；/n②利用Lytro desktop软件将步骤①获得的原始行人图像进行处理，得到彩色行人图像和深度行人图像；/n③将步骤②得到的彩色图像和深度图像进行预处理并归于化为统一尺寸，并将图像分为正负样本，得到光场图像数据集；/n④基于深度学习进行模型的初始化：基于深度学习采用冻结所有卷积层模型参数，并在此基础上将原始图像经过所有卷积层进行卷积操作得到卷积特征，在此基础上继续训练；/n⑤构建彩色图像和深度图像的联合卷积特征：将①中彩色行人图像和深度行人图像分别经过④中的神经网络处理之后得到融合的卷积特征；/n⑥利用④中的方法，利用已有的在ImageNet数据集上训练好的ResNet50图像分类模型，利用该模型参数提取训练样本的卷积特征；/n⑦根据⑥中得到的特征进行神经网络的反复训练，得到一个新的分类模型。/n

【技术特征摘要】
1.一种基于光场相机和深度学习技术的行人识别方法，其特征在于：包括如下步骤：
①利用光场相机获取多幅行人图像；
②利用Lytrodesktop软件将步骤①获得的原始行人图像进行处理，得到彩色行人图像和深度行人图像；
③将步骤②得到的彩色图像和深度图像进行预处理并归于化为统一尺寸，并将图像分为正负样本，得到光场图像数据集；
④基于深度学习进行模型的初始化：基于深度学习采用冻结所有卷积层模型参数，并在此基础上将原始图像经过所有卷积层进行卷积操作得到卷积特征，在此基础...

【专利技术属性】
技术研发人员：石凡，赵宇峰，赵萌，贾晨，栾昊，陈胜勇，冯洋博，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：天津;12