行人步行姿态监测方法及其系统技术方案

本申请涉及行人步姿检测的领域，其具体地公开了一种行人步行姿态监测方法及其系统，其通过卷积神经网络模型提取出行人步行时的监控视频图像帧中对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的各个特征图高维特征分布表示，并利用时序编码器来提取出所述多个时间节点上的左踝和右踝的x轴和z轴加速度，以及左膝节点和右膝节点的x轴角速度在时序维度上的高维关联特征，进一步分别构造出这两个类间的一致性指数以对每个所述特征向量进行加权，这样，就可以通过补偿图像语义目标域与时序参数目标域之间的类偏移，来提高所述特征向量之间的类一致性，从而使得二维排列后的分类特征矩阵的参数映射到统一的类空间内，提高了分类准确性。提高了分类准确性。提高了分类准确性。

【技术实现步骤摘要】
行人步行姿态监测方法及其系统


[0001]本专利技术涉及行人步姿检测的领域，且更为具体地，涉及一种行人步行姿态监测方法及其系统。

技术介绍

[0002]步行是人类最基本的交通方式，其能够增强人们的心脏血管活力，进而减少心脏血管类疾病的发生，不仅如此，适当地步行还能够增强肌肉的力量，强健腿足、筋足，并能使得关节灵活，促进人体血液循环和新陈代谢。
[0003]但是，走路的姿势不好，不仅会导致腿部的肥胖，影响人体的生长发育，还会容易导致行人摔倒，进而引发交通事故威胁到人们的安全。因此，为了对行人的步行姿态是否正确进行监测，期望一种行人步行姿态监测方案。
[0004]目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0005]深度学习以及神经网络的发展为行人的步行姿态监测提供了新的解决思路和方案。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种行人步行姿态监测方法及其系统，其通过卷积神经网络模型提取出行人步行时的监控视频图像帧中对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的各个特征图高维特征分布表示，并利用时序编码器来提取出所述多个时间节点上的左踝和右踝的x轴和z轴加速度，以及左膝节点和右膝节点的x轴角速度在时序维度上的高维关联特征，进一步分别构造出这两个类间的一致性指数以对每个所述特征向量进行加权，这样，就可以通过补偿图像语义目标域与时序参数目标域之间的类偏移，来提高所述特征向量之间的类一致性，从而使得二维排列后的分类特征矩阵的参数映射到统一的类空间内，提高了分类准确性。
[0007]根据本申请的一个方面，提供了一种行人步行姿态监测方法，其包括：通过部署于街道旁的摄像头获取行人步行时的监控视频；从所述监控视频提取多个时间节点的多个图像帧；将所述多个图像帧分别通过第一卷积神经网络以获得多个特征矩阵；从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵；将所述多个特征矩阵的第一到第五特征矩阵按照时序维度排列为第一到第五特征图；将所述第一到第五特征图分别通过使用三维卷积核的第二卷积神经网络以获得第一到第五特征向量；分别获取所述多个时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度；将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以获
得第六到第十一特征向量；以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数，其中，所述第一类间一致性因数为以所述第一类中特征向量与所述第二类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和，所述第二类间一致性因数为以所述第二类中特征向量与所述第一类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和；以所述第一类中各个特征向量的第一类间一致性因数分别对所述第一到第五特征向量进行加权以获得加权后第一到第五特征向量，且以所述第二类中各个特征向量的第二类间一致性因数分别对所述第六到第十一特征向量进行加权以获得加权后第六到第十一特征向量；将所述加权后第一到第五特征向量和所述加权后第六到第十一特征向量二维排列为分类特征矩阵；以及将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示行人的步行姿态是否存在异常。
[0008]根据本申请的另一方面，提供了一种行人步行姿态监测系统，其包括：监控视频获取单元，用于通过部署于街道旁的摄像头获取行人步行时的监控视频；图像帧提取单元，用于从所述监控视频获取单元获得的所述监控视频提取多个时间节点的多个图像帧；第一卷积单元，用于将所述图像帧提取单元获得的所述多个图像帧分别通过第一卷积神经网络以获得多个特征矩阵；特征矩阵提取单元，用于从每个所述第一卷积单元获得的所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵；排列单元，用于将所述特征矩阵提取单元获得的所述多个特征矩阵的第一到第五特征矩阵按照时序维度排列为第一到第五特征图；第二卷积单元，用于将所述排列单元获得的所述第一到第五特征图分别通过使用三维卷积核的第二卷积神经网络以获得第一到第五特征向量；速度数据获取单元，用于分别获取所述多个时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度；时序编码单元，用于将各个所述速度数据获取单元获得的所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以获得第六到第十一特征向量；一致性因数计算单元，用于以所述第二卷积单元获得的所述第一到第五特征向量为第一类且所述时序编码单元获得的所述第六到第十一特征向量为第二类，计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数，其中，所述第一类间一致性因数为以所述第一类中特征向量与所述第二类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和，所述第二类间一致性因数为以所述第二类中特征向量与所述第一类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和；加权单元，用于以所述一致性因数计算单元获得的所述第一类中各个特征向量的第一类间一致性因数分别对所述第二卷积单元获得的所述第一到第五特征向量进行加权以获得加权后第一到第五特征向量，且以所述一致性因数计算单元获得的所述第二类中各个特征向量的第二类间一致性因数分别对所述时序编码单元获得的所述第六到第十一特征向量进行加权以获得加权后第六到第十一特征向量；分类特征矩阵生成单元，用于将所述加权单元获得的所述加权后第一到第五特征向量和所述加权后第六到第十一特征向量二维排列为分类特征矩阵；以及分类单元，用于将所述分类特征矩阵生成单元获得的所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示行人的步行
姿态是否存在异常。
[0009]根据本申请的再又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的行人步行姿态监测方法。
[0010]与现有技术相比，本申请提供的行人步行姿态监测方法及其系统，其通过卷积神经网络模型提取出行人步行时的监控视频图像帧中对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的各个特征图高维特征分布表示，并利用时序编码器来提取出所述多个时间节点上的左踝和右踝的x轴和z轴加速度，以及左膝节点和右膝节点的x轴角速度在时序维度上的高维关联特征，进一步分别构造出这两个类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人步行姿态监测方法，其特征在于，包括：通过部署于街道旁的摄像头获取行人步行时的监控视频；从所述监控视频提取多个时间节点的多个图像帧；将所述多个图像帧分别通过第一卷积神经网络以获得多个特征矩阵；从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵；将所述多个特征矩阵的第一到第五特征矩阵按照时序维度排列为第一到第五特征图；将所述第一到第五特征图分别通过使用三维卷积核的第二卷积神经网络以获得第一到第五特征向量；分别获取所述多个时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度；将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以获得第六到第十一特征向量；以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数，其中，所述第一类间一致性因数为以所述第一类中特征向量与所述第二类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和，所述第二类间一致性因数为以所述第二类中特征向量与所述第一类中各个特征向量之间的余弦距离值为幂的自然指数函数值的加权和；以所述第一类中各个特征向量的第一类间一致性因数分别对所述第一到第五特征向量进行加权以获得加权后第一到第五特征向量，且以所述第二类中各个特征向量的第二类间一致性因数分别对所述第六到第十一特征向量进行加权以获得加权后第六到第十一特征向量；将所述加权后第一到第五特征向量和所述加权后第六到第十一特征向量二维排列为分类特征矩阵；以及将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示行人的步行姿态是否存在异常。2.根据权利要求1所述的行人步行姿态监测方法，其中，从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵，包括：使用候选框提取网络从每个所述特征矩阵中分别提取对应于髋部节点、左膝节点、右膝节点、左踝节点和右踝节点的第一到第五特征矩阵。3.根据权利要求2所述的行人步行姿态监测方法，其中，将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量后通过包含一维卷积层和全连接层的时序编码器以获得第六到第十一特征向量，包括：将各个所述时间节点的所述左踝节点和所述右踝节点的x轴和z轴加速度以及所述左膝节点和所述右膝节点的x轴角速度按照样本维度分别排列为输入向量；使用所述时序编码器的全连接层以如下公式对所述各个输入向量进行全连接编码以提取出所述每个输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，表示矩阵乘；使用所述时序编码器的一维卷积层以如下公式对所述各个输入向量进行一维卷积编码以提取出所述每个输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。4.根据权利要求3所述的行人步行姿态监测方法，其中，以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数，包括：以所述第一到第五特征向量为第一类且所述第六到第十一特征向量为第二类，以如下公式计算所述第一类中各个特征向量的第一类间一致性指数和所述第二类中各个特征向量的第二类间一致性因数；其中，所述公式为：cos(F
i
,F
j
)表示特征向量F
i
和F
j
之间的余弦距离，且表示F
i
和F
j
分别是属于不同类的特征向量。5.根据权利要求4所述的行人步行姿态监测方法，其中，将所述加权后第一到第五特征向量和所述加权后第六到第十一特征向量二维排列为分类特征矩阵，包括：对所述加权后第六到第十一特征向量进行线性插值以使得所述加权后第六到第十一特征向量中各个特征向量的长度与所述加权后第一到第五特征向量中各个特征向量的长度相一致。6.根据权利要求5所述的行人步行姿态监测方法，其中，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示行人的步行姿态是否存在异常，包括：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：soft...

【专利技术属性】
技术研发人员：黄澳康，
申请(专利权)人：杭州央宏信息科技有限公司，
类型：发明
国别省市：