确定头部姿态的方法、装置、存储介质和终端设备制造方法及图纸

本发明专利技术提出一种确定头部姿态的方法、装置、存储介质和终端设备，其中，所述方法包括：从脸部图像中获取形成脸部的刚性点云数据；跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态。采用本发明专利技术，可以减少迭代计算的时间，提高确定头部姿态的准确度。

Method, device, storage medium and terminal equipment for determining head posture

The invention provides a method, device, storage medium and terminal device for determining the head posture, in which the method includes: obtaining rigid point cloud data forming the face from the face image; tracking the initial image sequence of the face image to obtain the particle filter estimate of the head posture; wherein the particle filter estimate is used to estimate the head posture according to the image sequence; The particle filter estimator determines the line of sight area of the head pose from the pre-divided line of sight area, and calculates the rigid point cloud data iteratively based on the line of sight area of the head pose and the particle filter estimator to obtain the head pose. The invention can reduce the time of iteration calculation and improve the accuracy of determining head posture.

【技术实现步骤摘要】
确定头部姿态的方法、装置、存储介质和终端设备
本专利技术涉及计算机
，尤其涉及一种确定头部姿态的方法、装置、存储介质和终端设备。
技术介绍
人们往往通过频繁的注视来表达对对象或某一视觉区域的兴趣。通过跟踪人眼的视点运动，并收集和分析人眼运动数据数据，获得用户兴趣。例如，在用户观看视频、电子书或网上商店时，通过跟踪用户的人眼运动，可以获知判断用户的偏好。其中，眼睛的视线落点可以传递大量反映人体心理活动的信息。现有技术中，为了准确地测量眼睛的视线落点，通常要将被测试者的头部固定以固定头部姿态。或者，被测试者的头部戴上头戴式装置来跟踪头部姿态的变化数据，进而计算视线落点。但是，这两种方案在确定头部姿态时，都会给被测试者带来不便，而且后者的方案跟踪的头部姿态容易出现不准确、且一般利用传统的定位方式，计算时间长。因此，如何方便准确快速地计算人的头部姿态是目前亟需解决的技术问题。
技术实现思路
本专利技术实施例提供一种确定头部姿态的方法、装置、存储介质和终端设备，以解决或缓解现有技术中的以上一个或多个技术问题。第一方面，本专利技术实施例提供了一种确定头部姿态的方法，包括：从脸部图像中获取形成脸部的刚性点云数据；跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态。结合第一方面，在第一方面的第一种实施方式中，所述脸部图像包括深度图像和彩色图像；以及所述从脸部图像中获取形成脸部的刚性点云数据，包括：从所述深度图像中提取前景区域；判断所述前景区域是否包括人体脸部；当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及利用主动外观模型，从所述人体脸部在所述彩色图像中的位置提取脸部区域的刚性点云数据；其中，所述刚性点云数据用于描述所述人体脸部为标准表情时所述脸部区域的特征。结合第一方面，在第一方面的第二种实施方式中，根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域，包括：获取预设划分的各视线区域对应的头部姿态模板；测量各所述头部姿态模板中的各点与所述粒子滤波估计值的距离，并确定各视线区域的距离概率分布；以及根据各视线区域的距离概率分布，确定所述头部姿态所朝向的视线区域。结合第一方面，在第一方面的第三种实施方式中，基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态，包括：根据所述粒子滤波估计值，计算初始转换矩阵；其中，所述转换矩阵用于衡量所述头部姿态的角度；获取所述头部姿态所朝向的视线区域以及相邻视线区域的头部姿态模板；基于所述初始转换矩阵，计算各所述头部姿态模板对应的最优转换矩阵；其中，所述最优转换矩阵能使所述头部姿态模板与所述刚性点云数据的两个点集之间的误差最小；以及对各所述最优转换矩阵进行加权并求均值，获得所述头部姿态的角度。结合第一方面的第三种实施方式，在第一方面的第四种实施方式中，基于所述初始转换矩阵，计算各所述头部姿态模板对应的最优转换矩阵，包括：对于刚性点云矩阵中的各点，确定属于模板矩阵且与该点最近的点；其中，初始刚性点云矩阵表示所述刚性点云数据，所述模板矩阵表示所述头部姿态模板；计算最优转换矩阵，使所述刚性点云矩阵的各点与对应在所述模板矩阵的最近点的误差函数结果最小化；如果所述误差函数结果大于预设的误差阈值，则根据所述最优转换矩阵和所述模板矩阵，更新所述刚性点云矩阵，并返回重新计算最优转换矩阵；以及如果所述误差函数结果小于预设的误差阈值，则输出当前计算的最优转换矩阵；其中，第一次计算最优转换矩阵基于所述初始转换矩阵。结合第一方面的第四种实施方式，在第一方面的第五种实施方式中，对于刚性点云矩阵中的各点，确定属于模板矩阵且与该点最近的点的计算公式，包括：其中，Pm表示所述模板矩阵，pj表示所述模块矩阵中的第j个点；Q为所述刚性点云矩阵，qi表示所述刚性点云矩阵中的第i个点；NNSP表示最近邻域搜索点的算法。结合第一方面的第五种实施方式，在第一方面的第六种实施方式中，计算最优转换矩阵，使所述刚性点云矩阵的各点与对应在所述模板矩阵的最近点的误差函数结果最小化所采用的计算公式，包括：其中，表示最优转换矩阵；(R,t)表示前一次计算的最优转换矩阵。结合第一方面的第六种实施方式，在第一方面的第七种实施方式中，根据所述最优转换矩阵和所述模板矩阵，更新所述刚性点云矩阵的计算公式，包括：结合第一方面或其任一种实施方式，在第一方面的第八种实施方式中，跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值，包括：从所述初始图片序列中的首帧图片开始，采样n个初始粒子姿态样本；其中，各所述初始粒子姿态样本的权重值为1/n；各所述初始粒子姿态样本的先验密度为预设值；按照前一帧图片所采样到的各粒子姿态样本的权重值之间的比例，从当前帧图片中重新采样粒子姿态样本；根据前一帧图片的头部姿态向量与当前帧图片的头部姿态向量的关系，确定新采样到的粒子姿态样本的权重值；以及利用最大后验概率估计公式，对新采样到的粒子姿态样本的权重值进行计算，获得下一帧图片的头部姿态向量的预测值。结合第一方面的第八种实施方式，在第一方面的第九种实施方式中，所述根据前一帧图片的头部姿态向量与当前帧图片的头部姿态向量的关系，确定新采样到的粒子姿态样本的权重值，包括：根据动态模型，画出新采样到的粒子姿态样本的近似预测分布；其中，所述动态模型描述前一帧图片的头部姿态向量与当前帧图片的头部姿态向量的关系；根据所述近似预测分布，计算新采样到的粒子姿态样本的几何相似特征；利用似然函数，对新采样到的粒子姿态样本的几何相似特征进行量化，获得新采样到的粒子姿态样本的似然值；以及按照新采样到的粒子姿态样本的似然值的比例分布，确定新采样到的粒子姿态样本的权重值。第二方面，本专利技术实施例提供一种确定头部姿态的装置，包括：刚性点云获取模块，用于从脸部图像中获取形成脸部的刚性点云数据；粒子滤波模块，用于跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；视线区域确定模块，用于根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及头部姿态获取模块，用于基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态。结合第二方面，在第二方面的第一种实施方式中，所述脸部图像包括深度图像和彩色图像；以及所述刚性点云获取模块包括：前景区域提取单元，用于从所述深度图像中提取前景区域；人体脸部判断单元，用于判断所述前景区域是否包括人体脸部；脸部位置定位单元，用于当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及脸部眼部特征提取单元，用于利用主动外观模型，从所述人体脸部在所述彩色图像中的位置提取脸部区域的刚性点云数据；其中，所述刚性点云数据用于描述所述人体脸部为标准表情时所述脸部区域的特征。结合第二方面，在第二方面的第二本文档来自技高网...

【技术保护点】
1.一种确定头部姿态的方法，其特征在于，包括：从脸部图像中获取形成脸部的刚性点云数据；跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态。

【技术特征摘要】
1.一种确定头部姿态的方法，其特征在于，包括：从脸部图像中获取形成脸部的刚性点云数据；跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态。2.如权利要求1所述的方法，其特征在于，所述脸部图像包括深度图像和彩色图像；以及所述从脸部图像中获取形成脸部的刚性点云数据，包括：从所述深度图像中提取前景区域；判断所述前景区域是否包括人体脸部；当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及利用主动外观模型，从所述人体脸部在所述彩色图像中的位置提取脸部区域的刚性点云数据；其中，所述刚性点云数据用于描述所述人体脸部为标准表情时所述脸部区域的特征。3.如权利要求1所述的方法，其特征在于，根据所述粒子滤波估计值，从预先划分的各视线区域中确定所述头部姿态所朝向的视线区域，包括：获取预设划分的各视线区域对应的头部姿态模板；测量各所述头部姿态模板中的各点与所述粒子滤波估计值的距离，并确定各视线区域的距离概率分布；以及根据各视线区域的距离概率分布，确定所述头部姿态所朝向的视线区域。4.如权利要求1所述的方法，其特征在于，基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述刚性点云数据进行迭代计算，获得所述头部姿态，包括：根据所述粒子滤波估计值，计算初始转换矩阵；其中，所述转换矩阵用于衡量所述头部姿态的角度；获取所述头部姿态所朝向的视线区域以及相邻视线区域的头部姿态模板；基于所述初始转换矩阵，计算各所述头部姿态模板对应的最优转换矩阵；其中，所述最优转换矩阵能使所述头部姿态模板与所述刚性点云数据的两个点集之间的误差最小；以及对各所述最优转换矩阵进行加权并求均值，获得所述头部姿态的角度。5.如权利要求4所述的方法，其特征在于，基于所述初始转换矩阵，利用计算各所述头部姿态模板对应的最优转换矩阵，包括：对于刚性点云矩阵中的各点，确定属于模板矩阵且与该点最近的点；其中，初始刚性点云矩阵表示所述刚性点云数据，所述模板矩阵表示所述头部姿态模板；计算最优转换矩阵，使所述刚性点云矩阵的各点与对应在所述模板矩阵的最近点的误差函数结果最小化；如果所述误差函数结果大于预设的误差阈值，则根据所述最优转换矩阵和所述模板矩阵，更新所述刚性点云矩阵，并返回重新计算最优转换矩阵；以及如果所述误差函数结果小于预设的误差阈值，则输出当前计算的最优转换矩阵；其中，第一次计算最优转换矩阵基于所述初始转换矩阵。6.如权利要求5所述的方法，其特征在于，对于刚性点云矩阵中的各点，确定属于模板矩阵且与该点最近的点的计算公式，包括：其中，Pm表示所述模板矩阵，pj表示所述模块矩阵中的第j个点；Q为所述刚性点云矩阵，qi表示所述刚性点云矩阵中的第i个点；NNSP表示最近邻域搜索点的算法。7.如权利要求6所述的方法，其特征在于，计算最优转换矩阵，使所述刚性点云矩阵的各点与对应在所述模板矩阵的最近点的误差函数结果最小化所采用的计算公式，包括：其中，表示最优转换矩阵；(R,t)表示前一次计算的最优转换矩阵。8.如权利要求7所述的方法，其特征在于，根据所述最优转换矩阵和所述模板矩阵，更新所述刚性点云矩阵的计算公式，包括：9.如权利要求1至7任一项所述的方法，其特征在于，跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值，包括：从所述初始图片序列中的首帧图片开始，采样n个初始粒子姿态样本；其中，各所述初始粒子姿态样本的权重值为1/n；各所述初始粒子姿态样本的先验密度为预设值；按照前一帧图片所采样到的各粒子姿态样本的权重值之间的比例，从当前帧图片中重新采样粒子姿态样本；根据前一帧图片的头部姿态向量与当前帧图片的头部姿态向量的关系，确定新采样到的粒子姿态样本的权重值；以及利用最大后验概率估计公式，对新采样到的粒子姿态样本的权重值进行计算，获得...

【专利技术属性】
技术研发人员：赵彤彤，燕飞龙，王亮，马彧，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11