一种基于TOF相机的投影交互方法及其系统和电子设备技术方案

一种基于TOF相机的投影交互方法及其系统和电子设备。该基于TOF相机的投影交互方法包括步骤：基于灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该TOF相机拍摄位于投影仪前方的手部而获得；基于该手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到该指尖点在该灰度图像上的位置；判断该手部的指尖是否处在该投影仪的投影面上；基于该灰度图像与该投影仪投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置；以及响应于判定该指尖处在该投影面上，基于该指尖点在该投影画面上的位置，发出相应的触控指令，从而实现投影交互。投影交互。投影交互。

【技术实现步骤摘要】
一种基于TOF相机的投影交互方法及其系统和电子设备


[0001]本专利技术涉及人机交互
，特别是涉及一种基于TOF相机的投影交互方法及其系统和电子设备。

技术介绍

[0002]随着计算机视觉的快速发展，使得基于计算机视觉的人机交互技术也在随之进步，人机交互界面也越来越向着友好、便捷的方向发展。近年来，各种人机交互系统涌现在消费者面前，例如：触摸屏、数据手套、体感游戏、遥控手柄以及徒手等等。其中，通过手部动作来实现徒手操作的人机交互方式，例如利用指尖在投影出的虚拟键盘图像上操作以输入文字或其他指令等等，因其成本低廉、操作简单且人性化，逐渐成为消费者瞩目的焦点，开始获得消费者的青睐，也是目前为止最为方便可行的方法之一。
[0003]指尖检测作为徒手操作的人机交互方式的关键所在，其检测结果的精确度和时效性将会直接影响该徒手操作的人机交互方式的质量和用户体验。目前市面上针对指尖检测的研究应用非常广泛，尤其是基于普通RGB相机采集的二维RGB图像进行的指尖检测，其主要是利用手部肤色和背景的RGB色域之间的差异来初步识别手部区域的。然而，由于RGB图像受环境因素(如光照强度、逆光、反光等)和复杂背景的影响较大，每个人手部的肤色也没有一致性，因此基于RGB图像进行的指尖检测必然也会受到环境因素和手部肤色的影响，进而降低人机交互的精度和效率。因此，指尖检测的精确定位对人机交互而言仍然是一个极具挑战性的课题。

技术实现思路

[0004]本专利技术的一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其能够提高人机交互的精度和效率，有助于增强人机交互的实用性。
[0005]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法能够减少环境光线等因素对指尖检测的影响，有助于提高指尖检测的精度。
[0006]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法能够减少不同手部肤色的差异性所带来的误差，有助于保证指尖检测的准确度。
[0007]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法采用角点标记来进行TOF相机与投影仪之间的标定，有助于提高标定结果的准确率，以便提高后续的交互精度。
[0008]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法能够动态地获得不同投影距离时的映射矩阵，有助于提高TOF相机和投影仪之间映射关系的准确率，保证后续的投影交互顺利进行。
[0009]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法采用红外深度信息融合图进行指尖检测，有助于提高指尖检测的精度。
[0010]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法能够通过轮廓检测，去除灰度图像中因高光影响而带来的检测噪声，有助于提高指尖检测的精度。
[0011]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法能够充分考虑手腕点、手指间凹点的影响，有助于大幅提高指尖检测的有效性和准确性。
[0012]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于TOF相机的投影交互方法能够减少TOF单点点云抖动带来的误差影响，有助于保证投影交互具有较好的稳定性。
[0013]本专利技术的另一目的在于提供一种基于TOF相机的投影交互方法及其系统和电子设备，其中，为了达到上述目的，在本专利技术中不需要采用昂贵的材料或复杂的结构。因此，本专利技术成功和有效地提供了一种解决方案，不只提供了一种简单的基于TOF相机的投影交互方法及其系统和电子设备，同时还增加了所述基于TOF相机的投影交互方法及其系统和电子设备的实用性和可靠性。
[0014]为了实现上述至少一专利技术目的或其他目的和优点，本专利技术提供了一种基于TOF相机的投影交互方法，包括步骤：
[0015]基于通过TOF相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该TOF相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该TOF相机之间的相对位置保持不变；
[0016]基于该手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置；
[0017]判断该手部的指尖是否处在该投影仪的投影面上；
[0018]基于该TOF相机的该灰度图像与该投影仪在该投影面上投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置；以及
[0019]响应于判定该指尖处在该投影仪的该投影面上，基于该指尖点在该投影画面上的位置，发出相应的触控指令，从而实现投影交互。
[0020]在本专利技术的一实施例中，所述基于通过TOF相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该TOF相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该TOF相机之间的相对位置保持不变的步骤，包括步骤：
[0021]融合通过该TOF相机获得的该灰度图像和该深度图像，以得到灰度深度融合图像；
[0022]对所述灰度深度融合图像进行轮廓检测，以检测出在所述灰度图像上的手部轮廓区域；以及
[0023]通过噪声滤波，滤除该手部轮廓区域中的检测噪声，以得到该手部轮廓数据。
[0024]在本专利技术的一实施例中，所述基于该手部轮廓数据，对手部轮廓上的指尖点进行
定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置的步骤，包括步骤：
[0025]基于该手部轮廓数据，计算出该手部轮廓上每个轮廓点的曲率；
[0026]通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点；以及
[0027]通过凸包检测滤除在该手部轮廓上手腕区域和手指区域处的类指尖点，以确定该指尖点在该灰度图像上的位置。
[0028]在本专利技术的一实施例中，在所述通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点的步骤中，筛选出的该轮廓点的曲率大于该预设的曲率阈值。
[0029]在本专利技术的一实施例中，所述判断该手部的指尖是否处在该投影仪的投影面上的步骤，包括步骤：
[0030]根据该指尖点在该手部轮廓上的位置，选取该手部轮廓上相对应的指甲区域内的点云；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TOF相机的投影交互方法，其特征在于，包括步骤：基于通过TOF相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该TOF相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该TOF相机之间的相对位置保持不变；基于该手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置；判断该手部的指尖是否处在该投影仪的投影面上；基于该TOF相机的该灰度图像与该投影仪在该投影面上投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置；以及响应于判定该指尖处在该投影仪的该投影面上，基于该指尖点在该投影画面上的位置，发出相应的触控指令，从而实现投影交互。2.如权利要求1所述的基于TOF相机的投影交互方法，其中，所述基于通过TOF相机获得的灰度图像和深度图像，进行轮廓检测，以获得手部轮廓数据，其中该灰度图像和该深度图像是由该TOF相机拍摄位于投影仪前方的手部而获得，其中该投影仪与该TOF相机之间的相对位置保持不变的步骤，包括步骤：融合通过该TOF相机获得的该灰度图像和该深度图像，以得到灰度深度融合图像；对所述灰度深度融合图像进行轮廓检测，以检测出在所述灰度图像上的手部轮廓区域；以及通过噪声滤波，滤除该手部轮廓区域中的检测噪声，以得到该手部轮廓数据。3.如权利要求1所述的基于TOF相机的投影交互方法，其中，所述基于该手部轮廓数据，对手部轮廓上的指尖点进行定位，以得到该手部轮廓上的该指尖点在该灰度图像上的位置的步骤，包括步骤：基于该手部轮廓数据，计算出该手部轮廓上每个轮廓点的曲率；通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点；以及通过凸包检测滤除在该手部轮廓上手腕区域和手指区域处的类指尖点，以确定该指尖点在该灰度图像上的位置。4.如权利要求3所述的基于TOF相机的投影交互方法，其中，在所述通过预设的曲率阈值，筛选出满足要求的轮廓点以进行聚类，进而获得类指尖点的步骤中，筛选出的该轮廓点的曲率大于该预设的曲率阈值。5.如权利要求1所述的基于TOF相机的投影交互方法，其中，所述判断该手部的指尖是否处在该投影仪的投影面上的步骤，包括步骤：根据该指尖点在该手部轮廓上的位置，选取该手部轮廓上相对应的指甲区域内的点云；根据所选取的点云的深度信息，计算出该支架区域的平均深度，以获得该指甲区域与该投影仪的该投影面之间的距离；以及通过预设的距离阈值，判断该指尖是否处在该投影仪的该投影面上。6.如权利要求5所述的基于TOF相机的投影交互方法，其中，在所述根据该指尖点在该手部轮廓上的位置，选取该手部轮廓上相对应的指甲区域内的点云的步骤中，该所选取的
点云处在该手部轮廓的该指甲区域的轮廓内切圆之内。7.如权利要求6所述的基于TOF相机的投影交互方法，其中，在所述通过预设的距离阈值，判断该指尖点是否处在该投影仪的该投影面上的步骤中，当该指甲区域与该投影仪的该投影面之间的距离小于或等于该预设的距离阈值时，判定该指尖处在该投影仪的该投影面上。8.如权利要求1所述的基于TOF相机的投影交互方法，其中，所述基于该TOF相机的该灰度图像与该投影仪在该投影面上投出的投影画面之间的映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到该指尖点在该投影画面上的位置的步骤，包括步骤：基于该投影仪的投影距离，确定该灰度图像和该投影画面之间在该投影距离下的映射关系；和基于在该投影距离下的该映射关系，将该指尖点在该灰度图像上的位置映射至该投影画面，以得到在该投影画面上的指尖位置。9.如权利要求1至8中任一所述的基于TOF相机的投影交互方法，进一步包括步骤：对相对位置固定的该TOF相机和该投影仪进行标定，以获得该TOF相机的该灰度图像和该投影仪的该投影画面之间在不同投影距离下的映射关系。10.如权利要求9所述的基于TOF相机的投影交互方法，其中，所述对相对位置固定的该TOF相机和该投影仪进行标定，以获得该TOF相机的该灰度图像和该投影仪的该投影画面之间在不同投影距离下的映射关系的步骤，包括步骤：调整该投影仪与一标定板之间的距离，使得该投影仪在不同距离下的该标定板上投出该投影画面，其中该标定板与该投影仪之间的距离为该投影仪的该投影距离；通过角点标记，在该标定板标记出在该标定板上的该投影画面的角点，以得到在不同的该投影距离下的标记角点；通过该TOF相机依次拍摄在不同的该投影距离下该标定板上的该标记角点，以获得在不同的该投影距离下含有该...

【专利技术属性】
技术研发人员：戴怡洁，张建峰，樊能，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：