【技术实现步骤摘要】
本专利技术涉及基于单目相机人脸动作捕捉的第一人称视角方向控制方法。
技术介绍
1、第一人称视觉控制在射击游戏、机器人操控以及各种远程设备操控等场景中的应用非常多，它让用户能够身临其境地感受现场的气氛和环境。在这类应用中，准确而快速的视角控制是非常重要的，因为它会直接影响用户的操控体验以及使用效果。近年来，越来越多的公司开始使用动作捕捉技术来改善用户在第一人称视角方向控制的使用体验。
2、在第一人称视角方向控制中使用的最常见的动作捕捉交互技术是头部追踪技术。这种技术可以通过使用特殊的摄像机、传感器或者vr头盔等专用设备来跟踪用户的头部运动，并将头部动作方向实时反映到应用程序中，使得用户能够更加自然地进行第一人称视角方向控制操作，增强操控的沉浸感和真实感，同时由于可以在第一人称视角中准确地反映用户的头部运动和视线移动，用户可以更加快速地进行角色操控，并且更容易调整自己的目标点。
3、然而，虽然使用头部动作捕捉技术在第一人称视角方向控制中有很多好处，但它也需要一些比较专业的设备如深度摄像机、各类传感器或者昂贵的vr头盔等，因此寻找一种低成本的基于动作捕捉技术的第一人称视角方向控制的方法，具有较高的研究价值。
技术实现思路
1、本专利技术的目的是提出基于单目相机人脸动作捕捉的第一人称视角方向控制方法，算法简单，鲁棒性好，也极大地降低了使用成本和门槛，且能够让用户有更好的体验。
2、本专利技术通过以下技术方案实现：
3、基于单目相机人脸动作捕捉
4、步骤s1、当用户进入单目相机的拍摄范围后，基于单目相机进行脸部动作捕捉，从视频帧中提取脸部虹膜和嘴唇信息，计算上下嘴唇的初始距离l0；
5、步骤s2、检测到用户第一次张嘴动作后，将左、右虹膜的中心位置坐标作为初始化坐标位置(xl0,yl0)和(xr0,yr0)，计算左、右虹膜中心之间的距离作为初始化距离d0；
6、步骤s3、继续捕捉视频流中下一设定间隔帧，将该帧中左、右虹膜中心位置坐标记为(xl1,yl1)和(xr1,yr1)，计算左、右虹膜中心之间新的距离d1；
7、步骤s4、当如下条件同时满足时，判断用户头部姿态在向左旋转；当如下条件同时满足时，判断用户头部姿态在向右旋转；当如下条件同时满足时，判断用户头部姿态在向左平移；当如下条件同时满足时，判断用户头部姿态在向右平移； 当如下条件同时满足时， 判断用户有一个抬头动作； 当如下条件同时满足时，判断用户有一个低头动作；当如下条件d1-d0＞th5满足时，判断用户头部姿态有一个前进动作； 当如下条件d1-d0＜-th5满足时，判断用户头部姿态有一个后退动作；其中，th1为头部姿态左右旋转时，左、右虹膜中心位置x坐标变化量阈值，th2为头部姿态左右旋转时，左、右虹膜中心距离变化量阈值，th3为头部姿态左右移动时，左、右虹膜中心位置x坐标的变化量阈值，th4为抬头低头动作时，左、右虹膜中心y坐标的变化量阈值，th5为头部前进后退时，左、右虹膜中心的距离变化量阈值；
8、步骤s5、根据步骤s4的判断结果，将头部的各个动作一一映射成第一人称视角方向控制的对应动作；
9、步骤s6、当再一次检测到用户张嘴后，将当前左、右虹膜的中心位置坐标作为初始化坐标位置(xl0,yl0)和(xr0,yr0)，计算左、右虹膜中心之间的距离作为初始化距离d0，否则进入步骤s3；
10、步骤s7、当用户离开单目相机拍摄范围，结束第一人称视角方向控制。
11、进一步的，所述步骤s1中，当用户进入单目相机的拍摄范围后，使用基于单目相机的深度神经动作捕捉网络对视频流进行处理和分析，并从当前视频帧中提取脸部虹膜和嘴唇信息，通过上下嘴唇的位置信息，计算上下嘴唇的初始距离l0。
12、进一步的，所述步骤s1中，设置单目相机成像屏幕的左上角为坐标零点。
13、进一步的，所述步骤s2中，继续捕捉视频流中的下一设定间隔帧，并将该帧中用户上下嘴唇的新距离l1与初始距离l0进行比较，当l1-l0＞th6时，判定用户嘴唇有张合动作，否则，判定用户嘴唇没有张合动作，进入步骤s1，其中，th6为嘴唇张合动作时，上下嘴唇的距离变化量阈值。
14、进一步的，所述步骤s4中，设置th3>th1，以避免将头部左右旋转的动作误判为头部左右平移的动作。
15、进一步的，所述步骤s4中，设置th5>th2，以避免将头部左右旋转的动作误判为头部后退的动作。
16、进一步的，所述步骤s5中，将步骤s4中判定的用户头部的左移、右移、左转、右转、抬头、低头、前进和后退，一一映射成第一人称视角方向控制的左移、右移、左转、右转、抬头、低头、前进和后退动作。
17、进一步的，所述设定间隔帧至少为一帧。
18、本专利技术具有如下有益效果：
19、1、本专利技术使用单目相机动作捕捉技术，通过识别用户脸部双眼虹膜中心位置的变化来判定用户的头部动作，并将各头部动作一一映射到第一人称视角方向的控制中，不需要图像的深度信息，仅使用用户双眼虹膜中心的二维坐标信息实现了第一人称视角三维方向动作的控制，算法简单，鲁棒性好，易于推广，且用户的头部自然动作方向与第一人称视角控制的动作方向完全一致，让用户有更好的身临其境的沉浸式视角方向操控体验，再者，控制的过程中无需使用高昂的设备，极大地降低了使用成本和门槛。
本文档来自技高网...【技术保护点】
1.基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤S1中，当用户进入单目相机的拍摄范围后，使用基于单目相机的深度神经动作捕捉网络对视频流进行处理和分析，并从当前视频帧中提取脸部虹膜和嘴唇信息，通过上下嘴唇的位置信息，计算上下嘴唇的初始距离L0。
3.根据权利要求1所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤S1中，设置单目相机成像屏幕的左上角为坐标零点。
4.根据权利要求1或2或3所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤S2中，继续捕捉视频流中的下一设定间隔帧，并将该帧中用户上下嘴唇的新距离L1与初始距离L0进行比较，当L1-L0＞Th6时，判定用户嘴唇有张合动作，否则，判定用户嘴唇没有张合动作，进入步骤S1，其中，Th6为嘴唇张合动作时，上下嘴唇的距离变化量阈值。
5.根据权利要求1或2或3所述的基于单目相机人脸动作捕捉的第一人称视
6.根据权利要求1或2或3所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤S4中，设置Th5>Th2，以避免将头部左右旋转的动作误判为头部后退的动作。
7.根据权利要求1或2或3所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤S5中，将步骤S4中判定的用户头部的左移、右移、左转、右转、抬头、低头、前进和后退，一一映射成第一人称视角方向控制的左移、右移、左转、右转、抬头、低头、前进和后退动作。
8.根据权利要求1或2或3所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述设定间隔帧至少为一帧。
...【技术特征摘要】
1.基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤s1中，当用户进入单目相机的拍摄范围后，使用基于单目相机的深度神经动作捕捉网络对视频流进行处理和分析，并从当前视频帧中提取脸部虹膜和嘴唇信息，通过上下嘴唇的位置信息，计算上下嘴唇的初始距离l0。
3.根据权利要求1所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤s1中，设置单目相机成像屏幕的左上角为坐标零点。
4.根据权利要求1或2或3所述的基于单目相机人脸动作捕捉的第一人称视角方向控制方法，其特征在于：所述步骤s2中，继续捕捉视频流中的下一设定间隔帧，并将该帧中用户上下嘴唇的新距离l1与初始距离l0进行比较，当l1-l0＞th6时，判定用户嘴唇有张合动作，否则，判定用户嘴唇没有张合动作，进入步骤s1，其中，th6为...
【专利技术属性】
技术研发人员：高振国，周维学，骆翔宇，蒋文贤，林昌龙，
申请(专利权)人：华侨大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。