人体指向确定、屏幕控制方法、装置及相关设备制造方法及图纸

本申请公开了一种人体指向确定、屏幕控制方法、装置及相关设备，本申请获取对人体采集的图像数据，该图像数据至少包括深度点云图像，基于图像数据，提取人体姿态特征，基于提取的人体姿态特征确定每一人体关键点的空间坐标及对应的指向角度，人体关键点不小于2个，基于每一人体关键点的空间坐标及对应的指向角度，计算每一人体关键点对应的人体指向点信息，进而结合各个人体关键点对应的人体指向点信息，来得到更加精准的最终人体指向点信息，由于综合考虑了多个不同的人体关键点所对应的人体指向点信息得到最终的人体指向点信息，可以避免单个人体关键点所存在的误差，大大提高最终的人体指向点预测的准确性和稳定性。高最终的人体指向点预测的准确性和稳定性。高最终的人体指向点预测的准确性和稳定性。

【技术实现步骤摘要】
人体指向确定、屏幕控制方法、装置及相关设备


[0001]本申请涉及图像处理
，更具体的说，是涉及一种人体指向确定、屏幕控制方法、装置及相关设备。

技术介绍

[0002]随着技术的发展，人机交互的使用越来越广泛，更自由的人机交互可以脱离偏远平台的遥控，实现更加自由的交互，并允许机器人进行一些自主行为。人体指向可以在人机交互中发挥重要作用，更加准确的人机交互方案可以带来更好的体验。
[0003]传统的人体指向预测方案主要基于穿戴式设备或人体姿态运动。基于穿戴式设备的方案需要用户佩戴指定硬件传感器，通过传感器获取人体姿态，从而预测人体指向，这种方式成本较高，且不方便用户的使用。基于人体姿态运动的方案一般是在对人体拍摄的影像中标记出人体部位，如头部、手臂等位置，进而将从头部至手臂的连线的延长线与地面的交点，估计为人体指向点。但是，人体的肢体动作变化程度较大，导致上述方式估计的人体指向结果准确度较低。

技术实现思路

[0004]鉴于上述问题，提出了本申请以便提供一种人体指向确定、屏幕控制方法、装置及相关设备，以实现提升计算的人体指向信息的准确度的目的。具体方案如下：第一方面，提供了一种人体指向确定方法，包括：获取对人体采集的图像数据，所述图像数据包括深度点云图像；基于所述图像数据，提取人体姿态特征；基于所述人体姿态特征，确定每一人体关键点的空间坐标及对应的指向角度，所述人体关键点的数量大于等于2；基于每一人体关键点的空间坐标及对应的指向角度，计算与每一人体关键点对应的人体指向点信息；基于各人体关键点对应的人体指向点信息，得到最终的人体指向点信息。
[0005]第二方面，提供了一种人体指向确定装置，包括：图像数据获取单元，用于获取对人体采集的图像数据，所述图像数据包括深度点云图像；特征提取单元，用于基于所述图像数据，提取人体姿态特征；人体关键点信息确定单元，用于基于所述人体姿态特征，确定每一人体关键点的空间坐标及对应的指向角度，所述人体关键点的数量大于等于2；初步人体指向点信息确定单元，用于基于每一人体关键点的空间坐标及对应的指向角度，计算与每一人体关键点对应的人体指向点信息；最终人体指向点信息确定单元，用于基于各人体关键点对应的人体指向点信息，得到最终的人体指向点信息。
[0006]第三方面，提供了一种智能机器人，包括：设备本体；设置在所述设备本体上的传感器，所述传感器用于获取对人体采集的图像数据，所述图像数据包括深度点云图像；与所述传感器连接的处理器，用于采用上述的人体指向确定方法得到人体指向点坐标。
[0007]第四方面，提供了一种屏幕控制方法，包括：采用前述人体指向确定方法，得到目标屏幕上的人体指向点坐标；对所述目标屏幕上所述人体指向点坐标处的目标控件，执行设定的操作。
[0008]第五方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的人体指向确定方法的各个步骤。
[0009]借由上述技术方案，本申请获取对人体采集的图像数据，该图像数据至少包括深度点云图像。由于人体指向只受到身体姿态的影响，为此，本申请基于图像数据，提取人体姿态特征，进一步，本申请可以预先选定若干个与人体指向确定相关的人体关键点，示例如头部、肩部、手臂、手肘等，考虑到单个人体关键点进行指向估计时可能存在的误差，本申请可以选取2个以上的人体关键点。各人体关键点可以通过不同的姿态来表征人体指向点信息。在此基础上，基于提取的人体姿态特征确定每一人体关键点的空间坐标及对应的指向角度，该指向角度可以理解为基于人体姿态特征所确定的，由该人体关键点指人体指向点的指向角度，至此本申请可以得到多个不同的人体关键点的空间坐标，及每一人体关键点对应的指向角度。可以基于每一人体关键点的空间坐标及对应的指向角度，计算每一人体关键点对应的人体指向点信息，进而结合各个人体关键点对应的人体指向点信息，来得到更加精准的最终人体指向点信息，由于综合考虑了多个不同的人体关键点所对应的人体指向点信息得到最终的人体指向点信息，可以避免单个人体关键点所存在的误差，大大提高最终的人体指向点预测的准确性和稳定性。
附图说明
[0010]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本申请实施例提供的人体指向确定方法的一流程示意图；图2示例了一种人体关键点的空间坐标及对应的指向角度向量的示意图；图3示例了一种人体指向确定模型的网络结构示意图；图4示例了一种人体指向点位于水平地面的示意图；图5示例了一种人体指向点位于竖直墙面的示意图；图6为本申请实施例公开的一种人体指向确定装置结构示意图。
具体实施方式
[0011]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于
本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0012]本申请提供了一种人体指向确定方案，可以适用于各种场景下需要进行人体指向信息估计的任务，示例如智能机器人在工作场景下需要估计人体指向点信息，进而执行与人体指向点信息相关的处理任务，如定向移动、规避、跟随等，或者是，在与屏幕交互过程，可以基于用户的躯体姿态指向屏幕上的某个点，进而实现自动对屏幕上用户指向的点处的控件进行操作的目的。
[0013]本申请方案可以基于具备数据处理能力的终端实现，如获取传感器设备上传的图像数据后，执行人体指向确定算法得到人体指向点信息，该终端可以是电脑、服务器、云端、智能机器人等。
[0014]接下来，结合图1所述，本申请的人体指向确定方法可以包括如下步骤：步骤S100、获取对人体采集的图像数据。
[0015]其中，所述图像数据包括深度点云图像。可以利用点云采集设备采集人体的深度点云图像。点云采集设备包括但不限于：tof相机、结构光、激光扫描、双目立体视觉等。
[0016]进一步可选的，为了提升数据的丰富性，采集的图像数据还可以包括对人体拍摄的目标图像，该目标图像可以是RGB图像或其它类型的图像，可以通过相机来拍摄得到目标图像，相机包括但不限于：普通相机、广角相机、鱼眼相机等。
[0017]由于获取的深度点云图像中可能缺失部分点云数据，而通过相机拍摄的目标图像其分辨率一般较高，其包含了更加丰富的信息，因此可以同时采集目标图像和深度点云图像，以弥补单纯的深度点云图像容易存在部分点云缺失的问题。
[0018]步骤S110、基于所述图像数据，提取人体姿态特征。
[0019]具体地，人体指向受到人体姿态的影响，因此本步骤中可以从图像数据中提取人体姿态特征，以供后续计算使用。
[0020]本步骤中，提取人体姿态特征的过程，可以采用人体姿态估计算法，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体指向确定方法，其特征在于，包括：获取对人体采集的图像数据，所述图像数据包括深度点云图像；基于所述图像数据，提取人体姿态特征；基于所述人体姿态特征，确定每一人体关键点的空间坐标及对应的指向角度，所述人体关键点的数量大于等于2；基于每一人体关键点的空间坐标及对应的指向角度，计算与每一人体关键点对应的人体指向点信息；基于各人体关键点对应的人体指向点信息，得到最终的人体指向点信息。2.根据权利要求1所述的方法，其特征在于，所述图像数据还包括对人体拍摄的目标图像。3.根据权利要求2所述的方法，其特征在于，在基于所述图像数据，提取人体姿态特征之前，还包括：对所述目标图像和所述深度点云图像进行配准；在配准后的目标图像中提取人体区域掩码图，以及，在配准后的深度点云图像中提取人体区域深度点云图；则，基于所述图像数据，提取人体姿态特征的过程，包括：基于所述人体区域掩码图和所述人体区域深度点云图，提取人体姿态特征。4.根据权利要求1所述的方法，其特征在于，提取人体姿态特征，及确定每一人体关键点的空间坐标及对应的指向角度的过程，通过预训练的人体指向确定模型实现；所述人体指向确定模型包括特征提取网络及与每一人体关键点对应的人体指向预测网络，所述人体指向预测网络的个数与所述人体关键点的数量相同；所述特征提取网络用于，从所述图像数据中提取深层的人体姿态特征；与每一人体关键点对应的人体指向预测网络用于，基于所述人体姿态特征，预测所对应的人体关键点的空间坐标及对应的指向角度。5.根据权利要求4所述的方法，其特征在于，所述人体指向确定模型以训练图像数据作为训练样本，以训练图像数据中各人体关键点的空间坐标及对应的指向角度作为样本标签训练得到；所述人体指向确定模型的训练过程，包括：将所述训练样本输入人体指向确定模型，得到模型输出的各人体关键点的空间坐标及对应的指向角度；利用模型输出的各人体关键点的空间坐标及对应的指向角度，以及作为样本标签的各人体关键点的空间坐标及对应的指向角度，计算模型损失；基于所述模型损失训练人体指向确定模型的网络参数。6.根据权利要求4所述的方法，其特征在于，所述人体指向确定模型以训练图像数据作为训练样本，以训练图像数据中人体指向的预设标志点的空间坐标作为样本标签训练得到；所述人体指向确定模型的训练过程，包括：将所述训练样本输入人体指向确定模型，得到模型输出的各人体关键点的空间坐标及对应的指向角度；
基于每一人体关键点的空间坐标及对应的指向角度，计算与每一人体关键点对应的人体指向点信息；利用计算得到的与每一人体关键点对应的人体指向点信息，及作为样本标签的所述预设标志点的空间坐标，计算模型损失；基于所述模型损失训练人体指向确定模型的网络参数。7.根据权利要求5或6所述的方法，其特征在于，所述训练样本及样本标签的获取过程，包括：在人体指向预设标志点的姿态下，获取相机对人体拍摄的训练图像数据，作为训练样本；获取标注的所述训练图像数据中各人体关键点的空间坐标；基于标注的每一人体关键点的空间坐标及所述预设标志点的空间坐标，计算每一人体关键点的指向角度；由标注的...

【专利技术属性】
技术研发人员：李渊强，殷保才，高建清，李华清，张圆，龙思源，孙境廷，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：