指尖点击位置的检测方法、装置、终端及计算机存储介质制造方法及图纸

本发明专利技术适用于计算机应用技术领域，提供了一种指尖点击位置的检测方法、装置、终端及计算机存储介质，该指尖点击位置的检测方法包括：采集当前场景的基准深度图像；同步采集所述当前场景的实时深度图像和实时彩色图像；根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；根据所述手部轮廓确定所述指尖的点击位置；解决了现有技术中指尖点击位置检测精度较低、占用系统资源较多、算法复杂度较大且检测效果不稳定的问题。

Detection method, device, terminal and computer storage medium of fingertip click position

【技术实现步骤摘要】
指尖点击位置的检测方法、装置、终端及计算机存储介质
本专利技术属于计算机
，尤其涉及一种指尖点击位置的检测方法、装置、终端及计算机存储介质。
技术介绍
基于视觉的手势识别成为了人机交互领域的重要技术，其中指尖点击位置检测是手势识别的基础。指尖点击位置检测技术是一种从图像中正确检测手部区域并确定指尖点击位置的技术。现有的指尖点击位置检测技术主要基于单帧彩色图像，或者基于单帧深度图像，又或者基于视频序列。然而，基于单帧彩色图像的指尖点击位置检测技术对图像中的背景和光线的要求较高，易受相近颜色和相近轮廓的干扰，在背景复杂、光线不均匀或者过暗过亮的情况下检测精度较低；基于单帧深度图像的指尖点击位置检测技术，主要通过深度学习的方法进行指尖点击位置检测，占用的系统资源较多；而基于视频序列的指尖点击位置检测技术，要求背景不能有太大变化且手部运动速度不能过快，具有算法复杂度较高且检测效果不稳定的问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种指尖点击位置的检测方法、装置、终端及计算机存储介质，能够解决现有技术中指尖点击位置检测精度较低、占用系统资源较多、算法复杂度较大且检测效果不稳定的问题。本专利技术实施例的第一方面提供了一种指尖点击位置的检测方法，包括：采集当前场景的基准深度图像；同步采集所述当前场景的实时深度图像和实时彩色图像；根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；根据所述手部轮廓确定所述指尖的点击位置。本专利技术实施例的第二方面提供了一种指尖点击位置的检测装置，包括：第一采集单元，用于采集当前场景的基准深度图像；第二采集单元，用于同步采集所述当前场景的实时深度图像和实时彩色图像；第一确定单元，用于根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；第二确定单元，用于根据所述手部轮廓确定所述指尖的点击位置。本专利技术实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。本专利技术实施例的第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述方法的步骤。本专利技术实施例中，通过采集当前场景的基准深度图像，然后同步采集所述当前场景的实时深度图像和实时彩色图像；接着根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；最后根据所述手部轮廓确定所述指尖的点击位置，完成对指尖点击位置的检测；具有运算简单的特点，通过结合基准深度图像和实时深度图像进行手部轮廓的确定，有效解决了现有技术中进行指尖点击位置检测时对图像中的背景和光线的要求较高，在背景复杂、光线不均匀或者过暗过亮的情况下检测精度较低的问题，同时也可以避免相近颜色和相近轮廓的干扰，提高了检测结果的精度和稳定性，且占用的系统资源较少。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种指尖点击位置的检测方法的实现流程示意图；图2是本专利技术实施例提供的一种指尖点击位置的检测方法步骤102的具体实现流程示意图；图3是本专利技术实施例提供的一种指尖点击位置的检测方法步骤201的具体实现流程示意图；图4是本专利技术实施例提供的第一手部区域图像示意图；图5是本专利技术实施例提供的第二手部区域图像示意图；图6是本专利技术实施例提供的第三手部区域图像示意图；图7是本专利技术实施例提供的进行形态学滤波处理之后的第三手部区域图像示意图；图8是本专利技术实施例提供的一种指尖点击位置的检测方法步骤103的具体实现流程示意图；图9是本专利技术实施例提供的对手部轮廓进行多边形拟合的示意图；图10是本专利技术实施例提供的一种指尖点击位置的检测装置的示意图图11是本专利技术实施例提供的一种终端的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1，图1是本专利技术实施例提供的一种指尖点击位置的检测方法的实现流程示意图。本实施例中的指尖点击位置的检测方法应用于终端，可以由终端上的指尖点击位置的检测装置执行，适用于需要提高指尖点击位置的检测精度的情形。如图1所示的指尖点击位置的检测方法可以包括：步骤101至步骤104。步骤101，采集当前场景的基准深度图像。步骤102，同步采集所述当前场景的实时深度图像和实时彩色图像。本专利技术实施例中，在进行指尖点击位置的检测时，需要采集设备采集当前场景的基准深度图像，然后同步采集所述当前场景的实时深度图像和实时彩色图像，以确定所述当前场景中的手部轮廓。具体的，所述采集设备可以为基于结构光、双目视觉、时间飞行算法(TOF)的深度相机以及彩色相机，或者也可以为能够同时进行深度图像采集和彩色图像采集的摄像头。可选的，在本专利技术的一些实施例中，所述采集设备为结构光深度相机与彩色相机，所述结构光深度相机与所述彩色相机的采集时间和采集频率相同，以实现同步采集所述当前场景的实时深度图像和实时彩色图像。可选的，在同步采集所述当前场景的实时深度图像和实时彩色图像之后，可以对所述实时深度图像和所述实时彩色图像进行对齐处理，使得所述实时深度图像和所述实时彩色图像中像素坐标相互对应。例如，当同步采集的所述当前场景的实时深度图像和实时彩色图像不是对齐的图像时，可以对所述实时深度图像和所述实时彩色图像进行对齐处理，得到对齐的实时深度图像和实时彩色图像。需要说明的是，当同步采集的所述当前场景的实时深度图像和实时彩色图像是对齐的实时深度图像和实时彩色图像时，则可以不需要对所述实时深度图像和所述实时彩色图像进行对齐处理。其中，图像的对齐处理方法可以包括：在图像梯度方向IGO(imagegradientorientations)上进行子空间学习或者及利用OPENCV进行图像的对齐处理。可选的，在本专利技术的一些实施方式中，所述采集当前场景的基准深度图像可以包括：在所述当前场景无手部运动的时采集得到的深度图像作为所述当前场景的基准深度图像。例如，在所述当前场景无手部运动的时采集得到的第一帧深度图像作为所述当前场景的基准深度图像并保存。在本专利技术的一些实施方式中，在同步采集所述当前场景的实时深度图像和实时彩色图像时，还需要判断基准深度图像是否已存在，若不存在，则进行基准深度图像的采集，若存在，则继续执行步骤103。步骤103，根据所述基准深度本文档来自技高网...

【技术保护点】
1.一种指尖点击位置的检测方法，其特征在于，包括：采集当前场景的基准深度图像；同步采集所述当前场景的实时深度图像和实时彩色图像；根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；根据所述手部轮廓确定所述指尖的点击位置。

【技术特征摘要】
1.一种指尖点击位置的检测方法，其特征在于，包括：采集当前场景的基准深度图像；同步采集所述当前场景的实时深度图像和实时彩色图像；根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；根据所述手部轮廓确定所述指尖的点击位置。2.如权利要求1所述的检测方法，其特征在于，所述根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓，包括：对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像；获取所述实时彩色图像对应的第二手部区域图像；取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像；对所述第三手部区域图像进行滤波处理，得到所述当前场景中的手部轮廓。3.如权利要求2所述的检测方法，其特征在于，在所述取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像之后，还包括：统计连续预设帧数的所述第三手部区域图像中手部区域的像素点个数，并判断所述像素点个数是否均小于预设像素点个数；若所述像素点个数均小于所述预设像素点个数，则将当前采集得到的所述实时深度图像更新为所述基准深度图像。4.如权利要求2所述的检测方法，其特征在于，所述对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像，包括：计算所述实时深度图像中各个像素点与所述基准深度图像中对应位置的像素点的像素值差；将所述像素差值大于第一预设阈值且小于第二预设阈值的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第一手部区域图像。5.如权利要求2所述的检测方法，其特征在于，所述利用预先构建的椭圆模型获取所述实时彩色图像对应的第二手部区域图像，包括：将所述实时彩色图像转换为YCbCr格式的彩色图像；根据所述YCbCr格式的彩色图像中各个像素点的CbCr值分别判断所述YCbCr格式的彩色图像中各个像素点中是否位于所述预先构建的...

【专利技术属性】
技术研发人员：张朵朵，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东,44