一种基于空间交叉卷积的坐姿识别系统及方法技术方案

本发明专利技术提供一种基于空间交叉卷积的坐姿识别系统及方法，涉及深度学习技术领域，包括：采用特征提取网络对人体图像进行特征提取得到第一特征图；采用改进的轻量级人体骨架提取网络对第一特征图进行人体骨架提取得到人体骨架图；改进的轻量级人体骨架提取网络包括初始化网络和至少一个修正网络；初始化网络包括第一初始化分支和第二初始化分支，均由多个标准卷积层和多个空间交叉卷积层堆叠形成；修正网络包括第一修正分支和第二修正分支，均由多个卷积块堆叠形成，且部分卷积块中采用空间交叉卷积层部分代替标准卷积层；根据人体骨架图进行坐姿识别得到人体图像的坐姿识别结果。有益效果是在模型精度下降很小的前提下能够显著提升模型推理速度。著提升模型推理速度。著提升模型推理速度。

【技术实现步骤摘要】
一种基于空间交叉卷积的坐姿识别系统及方法


[0001]本专利技术涉及深度学习
，尤其涉及一种基于空间交叉卷积的坐姿识别系统及方法。

技术介绍

[0002]现如今，坐姿识别算法广泛采用姿态估计算法提取人体骨架特征，然后再进行坐姿识别。但是现存的姿态估计算法模型参数量较大，不适用于部署到嵌入式设备运行。Lightweight OpenPose是一个轻量级的人体姿态估计算法，可以在CPU上实现快速推理，但是由于其在预测阶段包含大量传统卷积操作，使得模型的预测阶段参数过于冗余，会降低模型的推理速度。因此亟需一种同时满足能够部署到嵌入式设备运行，且具有较高推理速度的坐姿识别技术。

技术实现思路

[0003]针对现有技术中存在的问题，本专利技术提供一种基于空间交叉卷积的坐姿识别系统，包括：
[0004]特征提取模块，用于采用预先构建的特征提取网络对输入的人体图像进行特征提取得到相应的第一特征图；
[0005]人体骨架提取模块，连接所述特征提取模块，用于采用改进的轻量级人体骨架提取网络对所述第一特征图进行人体骨架提取得到所述第一特征图中包含的人体骨架图；
[0006]所述改进的轻量级人体骨架提取网络包括初始化网络和连接所述初始化网络的至少一个修正网络；
[0007]所述初始化网络包括第一初始化分支和第二初始化分支，均由多个标准卷积层和多个空间交叉卷积层堆叠形成，分别用于对所述第一特征图进行关键点定位和关键点组合以对应得到初始关键点热力图和初始部位亲和场热力图；
[0008]所述修正网络包括第一修正分支和第二修正分支，均由多个卷积块堆叠形成，且部分所述卷积块中采用所述空间交叉卷积层部分代替所述标准卷积层，分别用于对所述第一特征图、所述初始关键点热力图和所述初始部位亲和场热力图叠加形成的第二特征图进行关键点定位和关键点组合以对应得到修正关键点热力图和修正部位亲和场热力图，进而构建所述人体骨架图；
[0009]坐姿识别模块，连接所述人体骨架提取模块，用于根据所述人体骨架图进行坐姿识别得到所述人体图像的坐姿识别结果。
[0010]优选的，所述特征提取网络为添加了注意力机制的MobileNetV3网络。
[0011]优选的，所述第一初始化分支和所述第二初始化分支包括依次连接的两个所述空间交叉卷积层和三个所述标准卷积层。
[0012]优选的，所述第一修正分支和所述第二修正分支包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和两个所述标准卷积层；
[0013]所述第一卷积块、所述第三卷积块和所述第五卷积块包括依次连接的三个所述标准卷积层；
[0014]所述第二卷积块和所述第四卷积块包括依次连接的三个卷积层，其中，第一个卷积层和第三个卷积层为所述标准卷积层，第二个卷积层为所述空间交叉卷积层。
[0015]优选的，所述空间交叉卷积层包括：
[0016]自适应位置编码模块，用于对输入特征图进行位置编码得到编码后特征图，所述编码后特征图中的每个像素对应标记有所述像素在所述输入特征图中的位置信息；
[0017]空间分离重组模块，连接所述自适应位置编码模块，用于将所述编码后特征图中的各通道的所述像素进行重组得到重组特征图，所述重组特征图中包含所有所述通道的特征信息；
[0018]深度可分离卷积模块，连接所述空间分离重组模块，用于对所述重组特征图依次进行逐通道卷积和逐点卷积处理。
[0019]优选的，所述自适应位置编码模块包括：
[0020]位置编码单元，用于将所述输入特征图送入3*3大小的组卷积生成位置映射特征图；
[0021]特征融合单元，连接所述位置编码单元，用于将所述输入特征图与所述位置映射特征图进行特征融合得到所述编码后特征图。
[0022]优选的，所述空间分离重组模块中，采用如下公式将所述编码后特征图中的各通道的所述像素进行重组：
[0023]F
′
＝T(T(F,2,3),1,3)
[0024]其中，F
′
用于表示所述重组特征图，F用于表示所述编码后特征图，T用于表示矩阵转置函数，1,2,3分别用于表示对应的特征图的第一维度、第二维度和第三维度。
[0025]本专利技术还提供一种基于空间交叉卷积的坐姿识别方法，应用于上述的坐姿识别系统，所述坐姿识别方法包括：
[0026]步骤S1，通过预先构建的特征提取网络对输入的人体图像进行特征提取得到相应的第一特征图；
[0027]步骤S2，将所述第一特征图送入改进的轻量级人体骨架提取网络处理得到所述第一特征图中包含的人体骨架图；
[0028]所述改进的轻量级人体骨架提取网络包括初始化网络和连接所述初始化网络的至少一个修正网络；
[0029]所述初始化网络包括第一初始化分支和第二初始化分支，均由多个标准卷积层和多个空间交叉卷积层堆叠形成，分别用于对所述第一特征图进行关键点定位和关键点组合以对应得到初始关键点热力图和初始部位亲和场热力图；
[0030]所述修正网络包括第一修正分支和第二修正分支，均由多个卷积块堆叠形成，且部分所述卷积块中采用所述空间交叉卷积层部分代替所述标准卷积层，分别用于对所述第一特征图、所述初始关键点热力图和所述初始部位亲和场热力图叠加形成的第二特征图进行关键点定位和关键点组合以对应得到修正关键点热力图和修正部位亲和场热力图，进而构建所述人体骨架图；
[0031]步骤S3，根据所述人体骨架图进行坐姿识别得到所述人体图像的坐姿识别结果。
[0032]优选的，所述特征提取网络为添加了注意力机制的MobileNetV3网络。
[0033]优选的，所述空间交叉卷积层包括：
[0034]自适应位置编码模块，用于对输入特征图进行位置编码得到编码后特征图，所述编码后特征图中的每个像素对应标记有所述像素在所述输入特征图中的位置信息；
[0035]空间分离重组模块，连接所述自适应位置编码模块，用于将所述编码后特征图中的各通道的所述像素进行重组得到重组特征图，所述重组特征图中包含所有所述通道的特征信息；
[0036]深度可分离卷积模块，连接所述空间分离重组模块，用于对所述重组特征图依次进行逐通道卷积和逐点卷积处理。
[0037]上述技术方案具有如下优点或有益效果：基于Lightweight OpenPose的轻量级人体姿态估算网络框架，采用添加了注意力机制的MobileNetV3网络进行图像特征提取，能够获取重要性权重更高的特征信息，同时使用空间交叉卷积层部分代替传统的标准卷积层，能够获取图片丰富的全局特征信息，并且能够减少模型的参数量，进而在模型精度下降很小的前提下能够显著提升模型推理速度，能够在边缘设备上实现快速坐姿识别。
附图说明
[0038]图1为本专利技术的较佳的实施例中，一种基于空间交叉卷积的坐姿识别系统的结构示意图；
[0039]图2为本专利技术的较佳的实施例中，特征提取网络和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间交叉卷积的坐姿识别系统，其特征在于，包括：特征提取模块，用于采用预先构建的特征提取网络对输入的人体图像进行特征提取得到相应的第一特征图；人体骨架提取模块，连接所述特征提取模块，用于采用改进的轻量级人体骨架提取网络对所述第一特征图进行人体骨架提取得到所述第一特征图中包含的人体骨架图；所述改进的轻量级人体骨架提取网络包括初始化网络和连接所述初始化网络的至少一个修正网络；所述初始化网络包括第一初始化分支和第二初始化分支，均由多个标准卷积层和多个空间交叉卷积层堆叠形成，分别用于对所述第一特征图进行关键点定位和关键点组合以对应得到初始关键点热力图和初始部位亲和场热力图；所述修正网络包括第一修正分支和第二修正分支，均由多个卷积块堆叠形成，且部分所述卷积块中采用所述空间交叉卷积层部分代替所述标准卷积层，分别用于对所述第一特征图、所述初始关键点热力图和所述初始部位亲和场热力图叠加形成的第二特征图进行关键点定位和关键点组合以对应得到修正关键点热力图和修正部位亲和场热力图，进而构建所述人体骨架图；坐姿识别模块，连接所述人体骨架提取模块，用于根据所述人体骨架图进行坐姿识别得到所述人体图像的坐姿识别结果。2.根据权利要求1所述的坐姿识别系统，其特征在于，所述特征提取网络为添加了注意力机制的MobileNetV3网络。3.根据权利要求1所述的坐姿识别系统，其特征在于，所述第一初始化分支和所述第二初始化分支包括依次连接的两个所述空间交叉卷积层和三个所述标准卷积层。4.根据权利要求1所述的坐姿识别系统，其特征在于，所述第一修正分支和所述第二修正分支包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和两个所述标准卷积层；所述第一卷积块、所述第三卷积块和所述第五卷积块包括依次连接的三个所述标准卷积层；所述第二卷积块和所述第四卷积块包括依次连接的三个卷积层，其中，第一个卷积层和第三个卷积层为所述标准卷积层，第二个卷积层为所述空间交叉卷积层。5.根据权利要求1或3或4所述的坐姿识别系统，其特征在于，所述空间交叉卷积层包括：自适应位置编码模块，用于对输入特征图进行位置编码得到编码后特征图，所述编码后特征图中的每个像素对应标记有所述像素在所述输入特征图中的位置信息；空间分离重组模块，连接所述自适应位置编码模块，用于将所述编码后特征图中的各通道的所述像素进行重组得到重组特征图，所述重组特征图中包含所有所述通道的特征信息；深度可分离卷积模块，连接所述空间分离重组模块，用于对所述重组特征图依次进行逐通道卷积和逐点卷积处理。6.根据权利要求5所述的坐姿识别系统，其特征在于，所述自适应位置...

【专利技术属性】
技术研发人员：项乐宏，方益，石守东，蓝艇，王翀，
申请(专利权)人：乐歌人体工学科技股份有限公司，
类型：发明
国别省市：