【技术实现步骤摘要】
一种基于人体姿态分析的表观视线估计方法
本专利技术属于一种表观视线估计
，特别涉及一种基于人体姿态分析的表观视线估计方法。
技术介绍
视线是指人的眼睛注视方向,通常代表了人所关注的焦点。视线信息能辅助机器理解人类行为、意图和人物的所在环境。视线估计在人机交互、注意力分析和视频监控等方面有巨大的应用价值。视线估计作为一种注意力分析的工具，具有可量化，可视化的特点。例如在阅读研究中，通过视线估计，可以记录在哪些地方停顿，在哪些地方跳读，在哪些地方有回看等。在进行网站、杂志和海报等的页面设计时，利用视线估计技术，可以分析用户对哪些区域感兴趣，从而科学地设计页面来吸引用户和提高广告投放的有效性等。在视频监控中，视线估计技术的用途广泛和重要。如在教室的视频监控中，分析学生上课的注意力情况，能更加客观地评估学生的状态和教师的水平。在商场的视频监控中，分析人群的注意力情况，能更加有效地设计广告的投放位置。在车站、机场和广场等人流密集场所的视频监控中，实时地进行视线估计，快速地发现异常行为。目前，主要有基于表观...
【技术保护点】
1.一种基于人体姿态分析的表观视线估计方法，该视线估计方法的网络结构由三个分支组成，显著图分支、头部姿态分支和人体姿态分支，该方法包括以下步骤：/n显著图分支由整幅图像x
【技术特征摘要】
1.一种基于人体姿态分析的表观视线估计方法，该视线估计方法的网络结构由三个分支组成，显著图分支、头部姿态分支和人体姿态分支，该方法包括以下步骤：
显著图分支由整幅图像xf作为输入，其维度经放缩后变为3×H×W，图像经一个主干网络提取特征，特征图的维度是K×D×D，然后接一个卷积核大小是1×1的卷积层，将其通道数变为1，得到的显著图的维度是1×D×D；
头部姿态分支：头部姿态分支由头部图像xh和头部位置矩阵xhl作为输入，头部中心位置hc和大小hl使用人体骨骼关键点检测中的头顶位置ph和颈部位置pn计算得到,先经过一个主干网络提取特征，然后接一个卷积核大小为1×1的卷积层，最后得到维度为1×D×D的特征图；
人体姿态分支：人的图像和人体骨骼关键点位置矩阵作为输入；堆叠多个hourglass模块，图像的大小先放缩到256×256，然后经过一个卷积核大小为7×7，步长为2卷积层和一个池化大小为2×2的最大池化层进行初步的特征提取后，得到大小为64×64，通道数为256的特征图后，进入hourglass模块；在hourglass模块之间使用卷积层进行连接；单个hourglass模块由卷积层和最大池化层进行下采样特征图到一定的大小；经卷积层和最近邻上采样特征图到原来的大小组成；卷积层后会使用组归一化对同组内的像素进行归一化，即对每一个像素点xi转化网络最后的输出经2个卷积核大小1×1的卷积层后，将通道数变为关键点的个数；
三个分支的特征图进行点乘，接上主干网络的分类部分，即最后的全连接层，得到最后的输出y，作为注视点位置的预测输出；
最终使用注视物体的中心位置与头部的中心位置的连线作为视线方向。
2.根据权利要求1所述的方法，其特征在于，上述组归一化计算方法如下：
其中，xi为输入，μi，σi为归一化数据服从的分布的均值和方差，为经过归一化的输出，γ，β为网络学习到的均值以及方差参数，ε是为了避免出现除0的情况所添加...
【专利技术属性】
技术研发人员：王轩，漆舒汉，尹李明，蒋琳，廖清，刘洋，夏文，李化乐，易正中，李逸凡，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。