一种融合深度学习的行人姿势多特征智能辨识方法技术

本发明专利技术公开了一种融合深度学习的行人姿势多特征智能辨识方法，通过对行人检测框和行人位置标签向量的提取，以行人位置标签向量作为行人轨迹点，准确的实现了对所有行人的跟踪，相比于现有技术而言，检测准确：在行人检测采用基于神经网络的深度学习方法，可对行人实现快速有效的检及标记，能够满足实际交通环境中对紧急情况即时识别的要求，也适用于智能化工厂，实验室，机器人运载等复杂环境下；再识别率高，由神经网络自动对跟踪目标提取高层抽象特征，实现对跟踪目标高效快速的匹配再识别；使用优化算法对神经网络参数进行调优处理，大大提高行人识别精准度，鲁棒性高。

【技术实现步骤摘要】
一种融合深度学习的行人姿势多特征智能辨识方法
本专利技术属于人工智能领域，特别涉及一种融合深度学习的行人姿势多特征智能辨识方法。
技术介绍
随着科学技术的飞速发展，利用计算机视觉相关技术的行人检测技术已经广泛应用于生活的各个方面，如智能列车、车辆自动驾驶等领域。交通的安全是永恒的话题。在车辆碰撞类事故中，车辆与行人之间的碰撞也占了很大的比重。现如今，安全带、安全气囊等的传统安全技术已经全面普及，然而这些都是被动的保护方法。人们希望能研究出车辆的主动保护安全系统，而对行人准确的识别和跟踪是研究的重点。目前多采用的行人跟踪方法为描述法，即将行人的外貌特征如衣服颜色等作为判断特征，提取图像的颜色直方图，进而通过欧氏距离或巴氏距离计算相似度，此种方法鲁棒性较低，效果不理想。还有学者提出用多特征融合的描述方法对行人进行匹配识别，但浅层特征易受到描述能力的限制，且具有较高的主观因素。中国专利CN201610317720公开了一种基于循环神经网络的多目标跟踪方法，包括以下步骤：1：构建标注了每帧行人位置的监控视频数据集；2：对标注了每帧行人位置的监控视频数据集进行人工扩充，得到训练集样本；3：对训练集样本进行分组，得到多个训练组；4：构建多目标跟踪网络；5：将各训练组以序列为单位输入多目标跟踪网络进行训练；6：将待测视频数据输入训练后的多目标跟踪网络，进行前向传播，得到多个目标的运动轨迹。该专利所述方案中存在以下几点问题：1.行人跟踪系统中未考虑行人在视频中短暂消失重现或者中途有新行人进入的状况，以上两种情况均可能导致系统判断失误；2.需要对行人数据集进行人工扩充，使得判断系统繁琐，效率下降；3.使用循环神经网络算法容易出现局部收敛。
技术实现思路
本专利技术提供了一种融合深度学习的行人姿势多特征智能辨识方法，其目的在于克服现有技术的监控视频中，行人跟踪处理结果简单、准确度不高的情况。一种融合深度学习的行人姿势多特征智能辨识方法，包括以下步骤：步骤1：构建行人样本图像数据库；所述行人样本图像数据库是从路口监控视频中提取连续的行人图像帧，获取三类图像组；所述三类图像组，分别为不含行人的负样本、包含多个行人的多人样本以及只包含同一行人的单行人样本，每类图像组至少包括300帧图像；步骤2：对行人样本数据库中的行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量；所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P；所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；在监控视频的不同帧图像中，同一个行人的目标标识相同；步骤3：构建基于小波神经网络的行人检测模型；以行人样本数据库中行人图像帧经过预处理后的图像作为输入数据，对应的行人位置标签向量和行人数量作为输出数据，对小波神经网络进行训练，得到基于小波神经网络的行人检测模型；对于不包含行人的图像，行人数量和位置标签向量均为空；对于多行人样本，行人位置标签向量个数和行人数量的个数相同；所述小波神经网络的输入层节点个数为输入图像的像素点个数s，隐含层小波元个数为2s-1，输出层节点个数为4，训练过程中的最大迭代次数设置为2000，训练学习率为0.01，阈值为0.00005；步骤4：构建基于深度学习的行人跟踪模型；依次将经过预处理的相邻两帧图像中的行人跟踪检测图和利用基于小波神经网络的行人检测模型提取的对应行人位置标签向量作为输入层数据，以前一帧行人图像中的行人在后一帧行人图像中的跟踪结果为输出层数据，对深度学习模型进行训练，获得基于深度学习的行人跟踪模型；所述作为输入层数据的行人跟踪检测图是指从一帧经过预处理后的图像中将单个行人轮廓图从图中提取出来的，假设一帧中有4个行人，那么就有4个行人跟踪检测图；所述前一帧行人图像中的行人在后一帧行人图像中的跟踪结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中，所述行人轨迹的初始值为在监控视频中第一次出现在图像中的行人位置标签向量；跟踪模型每次都是对两帧图像进行处理，只是判断前一帧行人图像中的行人，在后一帧行人图像中是否出现，如果出现，则将第二帧中人的行人位置标签向量添加到第一帧中人的记录中；其中，所述深度学习模型设置有三层隐藏层，输入层和第一隐藏层构成第一层限制玻儿兹曼机RBM，第一隐藏层和第二隐藏层构成第二层限制玻儿兹曼机RBM，第二隐藏层和第三隐藏层构成BP层，使用逐层训练的方法依次对两层限制玻儿兹曼机RBM进行训练，使用BP算法反馈调节对深度学习模型进行微调，得到深度学习模型的权值矩阵、可见层偏置以及隐藏层偏置参数；步骤5：行人轨迹实时跟踪辨识；从实时监控视频中，依次提取两帧相邻的行人图像，输入所述基于小波神经网络的行人检测模型中，进行两帧图像中行人位置标签向量和行人数量的检测，然后将两帧图像中的行人跟踪检测图和对应的行人位置标签向量输入所述基于深度学习的行人跟踪模型，对前一帧行人图像中出现的行人进行行人轨迹跟踪，得到监控视频中，所有行人的跟踪轨迹。使用该模型时，将前一帧和后一帧的所有行人跟踪检测图进行一一组合，作为输入层数据，进行深度学习，若第二帧图像中出现的行人和第一帧出现的行人为同一人，则将第一帧中出现的行人目标标识赋予第二帧中对应行人，同时将第二帧对应的行人位置标签向量记入该目标跟踪轨迹；若第二帧图像中出现的行人不与第一帧中出现的任意行人匹配，则对第二帧图像中出现的行人设置新的目标标识；进一步地，对行人样本图像和实时采集的监控图像进行以下预处理：步骤A1：对从路口监控视频中提取的图像帧进行统一尺寸裁剪；步骤A2：对裁剪后的图像进行灰度化处理，再采用Gamma校正法调节图像对比度；步骤A3：提取经过对比度调节后的图像的方向梯度直方图特征，并采用PCA对方向梯度直方图特征进行降维处理；步骤A4：利用降维后的方向梯度直方图特征与设定的方向梯度直方图阈值，提取超过设定的方向梯度直方图阈值的降维后的方向梯度直方图特征，获得对应的行人区域；步骤A5：对行人区域进行平滑去噪处理，并提取最大连通域作为行人轮廓区域，得到更有利于神经网络识别的人的图像；步骤A6：以行人轮廓区域的最大宽度和最大高度，作为行人检测框的宽度和高度。进一步地，使用教与学算法对基于小波神经网络的行人检测模型中的小波神经网络的权值和阈值进行优化，具体步骤如下：步骤B1：将学员个体成绩作为小波神经网络的权值和阈值，初始化教与学算法参数；随机初始化所有班级学员个体成绩，种群规模为Np，取值范围为[60,200]，作为搜索空间维数的学生所学科目数为2，学习因子Ct，取值范围[0.4,1.2]；步骤B2：设置适应度函数，并令迭代次数t＝1；依次将学员个体成绩对应的权值和阈值代入基于小波神经网络的行人检测模型中，并利用学员个体成绩确定的基于小波神经网络的行人检测模型预测输入图像中包含的行人的标签向量，将输入图像中包含的本文档来自技高网...

【技术保护点】
1.一种融合深度学习的行人姿势多特征智能辨识方法，其特征在于，包括以下步骤：步骤1：构建行人样本图像数据库；所述行人样本图像数据库是从路口监控视频中提取连续的行人图像帧，获取三类图像组；所述三类图像组，分别为不含行人的负样本、包含多个行人的多人样本以及只包含同一行人的单行人样本，每类图像组至少包括300帧图像；步骤2：对行人样本数据库中的行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量；所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P；所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；步骤3：构建基于小波神经网络的行人检测模型；以行人样本数据库中行人图像帧经过预处理后的图像作为输入数据，对应的行人位置标签向量和行人数量作为输出数据，对小波神经网络进行训练，得到基于小波神经网络的行人检测模型；所述小波神经网络的输入层节点个数为输入图像的像素点个数s，隐含层小波元个数为2s‑1，输出层节点个数为4，训练过程中的最大迭代次数设置为2000，训练学习率为0.01，阈值为0.00005；步骤4：构建基于深度学习的行人跟踪模型；依次将经过预处理的相邻两帧图像中的行人跟踪检测图和利用基于小波神经网络的行人检测模型提取的对应行人位置标签向量作为输入层数据，以前一帧行人图像中的行人在后一帧行人图像中的跟踪结果为输出层数据，对深度学习模型进行训练，获得基于深度学习的行人跟踪模型；所述前一帧行人图像中的行人在后一帧行人图像中的跟踪结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中，所述行人轨迹的初始值为在监控视频中第一次出现在图像中的行人位置标签向量；其中，所述深度学习模型设置有三层隐藏层，输入层和第一隐藏层构成第一层限制玻儿兹曼机RBM，第一隐藏层和第二隐藏层构成第二层限制玻儿兹曼机RBM，第二隐藏层和第三隐藏层构成BP层，使用逐层训练的方法依次对两层限制玻儿兹曼机RBM进行训练，使用BP算法反馈调节对深度学习模型进行微调，得到深度学习模型的权值矩阵、可见层偏置以及隐藏层偏置参数；步骤5：行人轨迹实时跟踪辨识；从实时监控视频中，依次提取两帧相邻的行人图像，输入所述基于小波神经网络的行人检测模型中，进行两帧图像中行人位置标签向量和行人数量的检测，然后将两帧图像中的行人跟踪检测图和对应的行人位置标签向量输入所述基于深度学习的行人跟踪模型，对前一帧行人图像中出现的行人进行行人轨迹跟踪，得到监控视频中，所有行人的跟踪轨迹。...

【技术特征摘要】
1.一种融合深度学习的行人姿势多特征智能辨识方法，其特征在于，包括以下步骤：步骤1：构建行人样本图像数据库；所述行人样本图像数据库是从路口监控视频中提取连续的行人图像帧，获取三类图像组；所述三类图像组，分别为不含行人的负样本、包含多个行人的多人样本以及只包含同一行人的单行人样本，每类图像组至少包括300帧图像；步骤2：对行人样本数据库中的行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量；所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P；所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；步骤3：构建基于小波神经网络的行人检测模型；以行人样本数据库中行人图像帧经过预处理后的图像作为输入数据，对应的行人位置标签向量和行人数量作为输出数据，对小波神经网络进行训练，得到基于小波神经网络的行人检测模型；所述小波神经网络的输入层节点个数为输入图像的像素点个数s，隐含层小波元个数为2s-1，输出层节点个数为4，训练过程中的最大迭代次数设置为2000，训练学习率为0.01，阈值为0.00005；步骤4：构建基于深度学习的行人跟踪模型；依次将经过预处理的相邻两帧图像中的行人跟踪检测图和利用基于小波神经网络的行人检测模型提取的对应行人位置标签向量作为输入层数据，以前一帧行人图像中的行人在后一帧行人图像中的跟踪结果为输出层数据，对深度学习模型进行训练，获得基于深度学习的行人跟踪模型；所述前一帧行人图像中的行人在后一帧行人图像中的跟踪结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中，所述行人轨迹的初始值为在监控视频中第一次出现在图像中的行人位置标签向量；其中，所述深度学习模型设置有三层隐藏层，输入层和第一隐藏层构成第一层限制玻儿兹曼机RBM，第一隐藏层和第二隐藏层构成第二层限制玻儿兹曼机RBM，第二隐藏层和第三隐藏层构成BP层，使用逐层训练的方法依次对两层限制玻儿兹曼机RBM进行训练，使用BP算法反馈调节对深度学习模型进行微调，得到深度学习模型的权值矩阵、可见层偏置以及隐藏层偏置参数；步骤5：行人轨迹实时跟踪辨识；从实时监控视频中，依次提取两帧相邻的行人图像，输入所述基于小波神经网络的行人检测模型中，进行两帧图像中行人位置标签向量和行人数量的检测，然后将两帧图像中的行人跟踪检测图和对应的行人位置标签向量输入所述基于深度学习的行人跟踪模型，对前一帧行人图像中出现的行人进行行人轨迹跟踪，得到监控视频中，所有行人的跟踪轨迹。2.根据权利要求1所述的方法，其特征在于，对行人样本图像和实时采集的监控图像进行以下预处理：步骤A1：对从路口监控视频中提取的图像帧进行统一尺寸裁剪；步骤A2：对裁剪后的图像进行灰度化处理，再采用Gamma校正法调节图像对比度；步骤A3：提取经过对比度调节后的图像的方向梯度直方图特征，并采用PCA对方向梯度直方图特征进行降维处理；步骤A4：利用降维后的方向梯度直方图特征与设定的方向梯度直方图阈值，提取超过设定的方向梯度直方图阈值的降维后的方向梯度直方图特征，获得对应的行人区域；步骤A5：对行人区域进行平滑去噪处理，并提取最大连通域作为行人轮廓区域；步骤A6：以行人轮廓区域的最大宽度和最大高度，作为行人检测框的宽度和高度。3.根据权利要求1所述的方法，其特征在于，使用教与学算法对基于小波神经网络的行人检测模型中的小波神经网络的权值和阈值进行优化，具体步骤如下：步骤B1：将学员个体成绩作为小波神经网络的权值和阈值，初始化教与学算法参数；随机初始化所有班级学员个体成绩，种群规模为Np，取值范围为[60,200]，作为搜索空间维数的学生所学科目数为2，学习因子Ct，取值范围[0.4...

【专利技术属性】
技术研发人员：刘辉，李燕飞，黄家豪，韩宇阳，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43