一种定位手部区域的方法及显示设备技术

本申请公开了一种定位手部区域的方法及显示设备，所述方法中使用的预置的卷积神经网络模型利用手部关节点确定的损失函数优化得到，添加关节点信息辅助定位手部区域，这样可以提高卷积神经网络模型输出手部区域的准确性。该方法包括：当接收到定位手部区域的指令时，将图像采集装置拍摄的图像，利于预置的卷积神经网络模型，确定手部区域，其中所述手部区域为手部外缘形成的矩形区域，所述预置的卷积神经网络模型利用手部关节点确定的损失函数优化得到。数优化得到。数优化得到。

【技术实现步骤摘要】
一种定位手部区域的方法及显示设备


[0001]本申请涉及定位手部区域的
，尤其涉及一种定位手部区域的方法及显示设备。

技术介绍

[0002]目前，2D(二维)、3D(三维)手势技术取得快速发展，拓宽了显示设备的功能。例如，显示设备可以基于人体手部实施特效展示，还可以通过用户手势实现与用户交互。
[0003]在实现上述功能的过程中，都涉及到对人体手部区域的定位。相关技术中，由于手部中手指的自由度过高，即手指可以多方位多角度的移动，这样就经常导致手部区域检测不准，影响实现上述功能的效果。例如，如图5所示的用户界面为特效的理想效果，即用户食指指尖朝上，在食指的指尖上出现一个旋转的虚拟篮球，但是由于手部区域定位不准确，出现手部区域定位的范围过大或者过小，造成特效实际展示效果出现如图6所示和如图7所示展示的情况。具体的，在图6中的虚拟篮球距离食指之间还有一段距离，在图7中虚拟篮球遮盖住部分食指，两种情况下特效均无法较好的展示，影响用户的使用感受。另外，用户在通过手势实现与显示设备交互时，手部区域检测是交互时涉及的手部姿态估计的前提条件，如果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示设备，其特征在于，包括：显示器，用于显示用户界面；用户接口，用于接收输入信号；分别与显示器和用户接口连接的控制器，用于执行：当接收到定位手部区域的指令时，将图像采集装置拍摄的图像，利于预置的卷积神经网络模型，确定手部区域，其中所述手部区域为手部外缘形成的矩形区域，所述预置的卷积神经网络模型利用手部关节点确定的损失函数优化得到。2.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为按照下述步骤执行利用手部关节点确定的损失函数优化得到预置的卷积神经网络模型：获取训练集，其中所述训练集包括多个样本图像，以及与所述样本图像对应的真实信息，所述真实信息包括手部真实分类、手部关节点真实位置和手部真实区域框；对每个所述样本图像进行预处理；将预处理后的所有所述样本图像依次输入初始卷积神经网络模型，输出对应的预测信息，所述预测信息包括手部预测分类、手部关节点预测位置和手部预测区域框；将所述真实信息和预测信息，输入损失函数，得到损失值，其中所述损失函数包括检测框回归损失函数、检测分类损失函数、手部关节点检测回归损失函数和手部关节点检测惩罚项，所述关节点检测惩罚项根据手部预测区域框和关节点外接矩形确定，所述关节点外接矩形为手部关节点真实位置所围成的最大矩形；利用所述损失值，调整初始卷积神经网络模型，确定调节后的初始卷积神经网络模型为预置的卷积神经网络模型。3.根据权利要求2所述的显示设备，其特征在于，所述控制器被配置为按照下述公式根据手部预测区域框和关节点外接矩形确定关节点检测惩罚项(1
‑
IOLBR)：其中，Area
lbr
为关节点外接矩形所处区域，Area
pre
为手部预测区域框所处区域；Intersection(Area
pre
，Area
lbr
)为手部区域检测框所处区域与关节点外接矩形所处区域的重合面积。4.根据权利要求2所述的显示设备，其特征在于，所述控制器被配置为按照下述步骤执行对每个样本图像进行预处理：将所述样本图像中所有像素点的第一RGB值减去修订值，得到第二RGB值；将所述第二RGB值的样本图像，作为预处理后的样本图像。5.根据权利要求2所述的显示设备，其特征在于，所述损失函数的公式为：loss
total
＝loss
box
+loss
class
+alpha*loss
landmark
+beta*(1
‑
ILOBR)；其中，loss
total
为损失函数，loss
box
为检测框回归损失函数，loss
class
为检测分类损失函数，loss
landmark
手部关节点检测回归损失函数，1
‑
ILOBR为手部关节点检测惩罚项，alpha为...

【专利技术属性】
技术研发人员：任攀，郑贵桢，袁毅，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：