一种虚拟现实交互方法及装置制造方法及图纸

本发明专利技术一方面公开了一种虚拟现实交互方法，包括拍摄包含用户人眼瞳孔的参考图像；定位人眼瞳孔在所述参考图像中的位置；基于所述参考图像和目标屏幕的坐标系之间的映射关系确定用户人眼的瞳孔在目标屏幕上的注视位置；若注视位置位于可操作区域内，判断用户的注视状态是否满足预设条件，如果满足则执行相应的交互操作，本发明专利技术另一方面还公开了一种虚拟现实交互装置，本发明专利技术通过跟踪用户在目标屏幕上的注视位置，实现交互操作，避免用户频繁转动头部进行虚拟交互而导致的操作复杂，交互效率低，本发明专利技术基于视线的交互方式简单、高效，可降低用户负担，提高用户体验。

Virtual reality interaction method and device

On the one hand, the invention discloses a virtual reality interaction method, which includes taking a reference image containing a user's pupil, locating the position of the human eye pupil in the reference image, and determining the eye position of the user's pupil on the target screen based on the mapping relationship between the reference image and the coordinate system of the target screen. If the fixation position is located in an operable area, the user's fixation state can be judged to satisfy the preset conditions, and the corresponding interactive operation can be performed if it is satisfied. On the other hand, the invention also discloses a virtual reality interactive device, which realizes the interactive operation by tracking the user's gazing position on the target screen. To avoid the complex operation and low interaction efficiency caused by the frequent rotation of the head of the user for virtual interaction, the line-of-sight based interaction method of the invention is simple and efficient, which can reduce the user burden and improve the user experience.

【技术实现步骤摘要】
一种虚拟现实交互方法及装置
本专利技术涉及虚拟现实
更具体地，涉及一种虚拟现实交互方法及装置。
技术介绍
虚拟现实(VirtualReality,VR)技术，是以沉浸性、构想性为基本特征，采用计算机技术为核心的依赖于图形、图像处理手段生成的一种虚拟环境，从而通过模拟人的视觉、听觉和触觉等获得与真实世界相同的感受。目前，在虚拟现实(VirtualReality)技术中，普遍采用的交互方式是“定时瞄点”。采用“定时瞄点”的交互方式，用户需要频繁的转动头部完成相应的交互操作，大大增加了用户的负担，降低了用户体验效果。
技术实现思路
本专利技术的一个目的在于提供一种虚拟现实交互方法，实现基于视线的交互，防止用户使用时产生眩晕，本专利技术的另一个目的在于提供一种应用该方法的虚拟现实交互装置。为达到上述目的，本专利技术采用下述技术方案：本专利技术一方面公开了一种虚拟现实交互方法，包括：拍摄包含用户人眼瞳孔的参考图像；定位人眼瞳孔在所述参考图像中的位置；基于所述参考图像和目标屏幕的坐标系之间的映射关系确定用户人眼的瞳孔在目标屏幕上的注视位置；若注视位置位于可操作区域内，判断用户的注视状态是否满足预设条件，如果满足则执行相应的交互操作。优选地，所述定位人眼瞳孔在所述参考图像中的位置包括以下步骤：对所述参考图像进行滤波，滤除所述参考图像的噪声；将瞳孔从参考图像中分离出来；去除干扰点；对瞳孔区域边缘点进行椭圆拟合，得到椭圆的瞳孔区域；计算瞳孔区域的中心，作为瞳孔位置。优选地，所述映射关系通过以下步骤获得：预先选取目标屏幕上的三个校准点，所述三个校准点包括不在同一水平线和同一竖直线上的第一校准点、第二校准点和第三校准点；将所述三个校准点通过目标屏幕依次向用户显示；依次获取用户直视目标屏幕上三个校准点时的校准图像，得到校准图像中的用户瞳孔位置，综合所述三个校准点在目标屏幕的位置得到视线校准系数。优选地，所述视线校准系数为其中，Xscale和Yscale分别为水平校准系数和竖直校准系数，xo为第一校准点的横坐标，yo为第一校准点的纵坐标，xA为第二校准点的横坐标，yA为第二校准点的纵坐标，xB为第三校准点的横坐标，yB为第三校准点的纵坐标，x′o为校准图像中用户注视第一校准点时的瞳孔位置的横坐标，y′o为校准图像中用户注视第一校准点时的瞳孔位置的纵坐标，x′A为校准图像中用户注视第二校准点时的瞳孔位置的横坐标，y′A为校准图像中用户注视第二校准点时的瞳孔位置的纵坐标，x′B为校准图像中用户注视第三校准点时的瞳孔位置的横坐标，y＇B为校准图像中用户注视第三校准点时的瞳孔位置的纵坐标。优选地，所述注视位置为Xgaze＝xO+Xscale*(x′o-x)，Ygaze＝yO+Yscale*(y′O-y)；其中，其中，Xgaze和Ygaze分别为所述注视位置的横坐标和纵坐标，x和y为所述瞳孔位置的横坐标和纵坐标，xo为第一校准点的横坐标，yo为第一校准点的纵坐标，x′O为校准图像中用户注视第一校准点时的瞳孔位置的横坐标，y′O为校准图像中用户注视第一校准点时的瞳孔位置的纵坐标。优选地，所述若注视位置位于可操作区域内，判断注视状态是否满足预设条件，如果满足则执行相应的交互操作包括以下步骤：在预设时间内，拍摄多张所述参考图像，在所述多张参考图像中用户注视可操作区域内的同一位置的注视次数为N，预设N1，N2和N3三个阈值，若N>N1，则判定交互模式为第一交互模式，将N清零并执行第一交互模式对应的交互操作；若N>N2，则判定交互模式为第二交互模式，将N清零并执行第二交互模式对应的交互操作；若N>N3，则判定交互模式为第三交互模式，将N清零并执行第三交互模式对应的交互操作；若N<N1，则判定不执行任何交互操作。其中，N1<N2<N3。本专利技术另一方面还一种虚拟现实交互装置，所述装置包括：图像采集模块，用于拍摄包含用户人眼的参考图像；瞳孔定位模块，用于定位人眼瞳孔在所述参考图像中的位置；视线计算模块，用于基于所述参考图像和目标屏幕的坐标系之间的映射关系确定用户人眼的瞳孔在目标屏幕上的注视位置；视线交互模块，用于当注视位置位于可操作区域内，判断用户的注视状态是否满足预设条件，如果满足则执行相应的交互操优选地，所述瞳孔定位模块进一步包括图像预处理单元和瞳孔中心计算单元；所述图像预处理单元用于对所述参考图像进行滤波，滤除所述参考图像的噪声；将瞳孔从参考图像中分离出来；去除干扰点；所述瞳孔中心计算单元用于对瞳孔区域边缘点进行椭圆拟合，得到椭圆的瞳孔区域；计算瞳孔区域的中心，作为所述瞳孔位置。优选地，所述装置进一步包括得到映射关系的视线校准模块，所述视线校准模块进一步包括校准点预设单元、校准点呈现单元和校准系数计算单元；所述校准点预设单元用于预先选取目标屏幕上的三个校准点，所述三个校准点包括不在同一水平线和同一竖直线上的第一校准点、第二校准点和第三校准点；所述校准点呈现单元用于将所述三个校准点通过目标屏幕依次向用户显示；所述校准系数计算单元用于依次获取用户直视目标屏幕上三个校准点时的校准图像，得到校准图像中的用户瞳孔位置，综合所述三个校准点在目标屏幕的位置得到视线校准系数。优选地，所述视线交互模块包括交互判定单元和交互执行单元；交互判定单元用于在预设时间内，拍摄多张所述参考图像，在所述多张参考图像中用户注视可操作区域内的同一位置的注视次数为N，预设N1，N2和N3三个阈值，若N>N1，则判定交互模式为第一交互模式，将N清零并通过所述交互执行单元执行第一交互模式对应的交互操作；若N>N2，则判定交互模式为第二交互模式，将N清零并通过所述交互执行单元执行第二交互模式对应的交互操作；若N>N3，则判定交互模式为第三交互模式，将N清零并通过所述交互执行单元执行第三交互模式对应的交互操作；若N<N1，则判定不执行任何交互操作。其中，N1<N2<N3。优选地，所述装置包括装置壳体；以及设于所述装置壳体上的两个镜片；并且所述图像采集模块包括设于至少一个镜片周围的相机和多个红外光源。优选地，所述相机设于所述镜片下方。优选地，所述多个红外光源包括分别设于所述镜片上方、下方、左方和右方的四个红外光源。本专利技术的有益效果如下：本专利技术通过实时获取人眼的参考图像，对参考图像进行处理得到用户观看目标屏幕时的瞳孔位置，基于获取的用户的瞳孔位置可相应得到用户注视的目标屏幕上的注视位置，并进一步得到用户的注视状态，根据用户注视状态的不同以实现不同的虚拟现实交互操作，用户通过眼动改变注视位置，虚拟现实装置即可检测到用户注视位置的变化，进而得到用户的注视状态，根据预设的与注视状态对应的交互操作实现通过用户眼动进行虚拟交互，避免用户频繁转动头部进行虚拟交互而导致的操作复杂，交互效率低，本专利技术基于视线的交互方式简单、高效，可降低用户负担，提高用户体验。附图说明下面结合附图对本专利技术的具体实施方式作进一步详细的说明。图1示出本专利技术一种虚拟现实交互方法的流程图；图2示出本专利技术一种虚拟现实交互方法参考图像处理得到瞳孔位置的流程图；图3示出本专利技术一种本文档来自技高网...

【技术保护点】
1.一种虚拟现实交互方法，其特征在于，包括：拍摄包含用户人眼瞳孔的参考图像；定位人眼瞳孔在所述参考图像中的位置；基于所述参考图像和目标屏幕的坐标系之间的映射关系确定用户人眼的瞳孔在目标屏幕上的注视位置；若注视位置位于可操作区域内，判断用户的注视状态是否满足预设条件，如果满足则执行相应的交互操作。

【技术特征摘要】
1.一种虚拟现实交互方法，其特征在于，包括：拍摄包含用户人眼瞳孔的参考图像；定位人眼瞳孔在所述参考图像中的位置；基于所述参考图像和目标屏幕的坐标系之间的映射关系确定用户人眼的瞳孔在目标屏幕上的注视位置；若注视位置位于可操作区域内，判断用户的注视状态是否满足预设条件，如果满足则执行相应的交互操作。2.根据权利要求1所述的一种虚拟现实交互方法，其特征在于，所述定位人眼瞳孔在所述参考图像中的位置包括以下步骤：对所述参考图像进行滤波，滤除所述参考图像的噪声；将瞳孔从参考图像中分离出来；去除干扰点；对瞳孔区域边缘点进行椭圆拟合，得到椭圆的瞳孔区域；计算瞳孔区域的中心，作为瞳孔位置。3.根据权利要求1所述的一种虚拟现实交互方法，其特征在于，所述映射关系通过以下步骤获得：预先选取目标屏幕上的三个校准点，所述三个校准点包括不在同一水平线和同一竖直线上的第一校准点、第二校准点和第三校准点；将所述三个校准点通过目标屏幕依次向用户显示；依次获取用户直视目标屏幕上三个校准点时的校准图像，得到校准图像中的用户瞳孔位置，综合所述三个校准点在目标屏幕的位置得到视线校准系数。4.根据权利要求3所述的一种虚拟现实交互方法，其特征在于，所述视线校准系数为其中，Xscale和Yscale分别为水平校准系数和竖直校准系数，xO为第一校准点的横坐标，yO为第一校准点的纵坐标，xA为第二校准点的横坐标，yA为第二校准点的纵坐标，xB为第三校准点的横坐标，yB为第三校准点的纵坐标，x′O为校准图像中用户注视第一校准点时的瞳孔位置的横坐标，y′O为校准图像中用户注视第一校准点时的瞳孔位置的纵坐标，x′A为校准图像中用户注视第二校准点时的瞳孔位置的横坐标，y′A为校准图像中用户注视第二校准点时的瞳孔位置的纵坐标，x′B为校准图像中用户注视第三校准点时的瞳孔位置的横坐标，y′B为校准图像中用户注视第三校准点时的瞳孔位置的纵坐标。5.根据权利要求4所述的一种虚拟现实交互方法，其特征在于，所述注视位置为Xgaze＝xO+Xscale*(x′O-x)，Ygaze＝yO+Yscale*(y′O-y)；其中，Xgaze和Ygaze分别为所述注视位置的横坐标和纵坐标，x和y为所述瞳孔位置的横坐标和纵坐标，xO为第一校准点的横坐标，yO为第一校准点的纵坐标，x′O为校准图像中用户注视第一校准点时的瞳孔位置的横坐标，y′O为校准图像中用户注视第一校准点时的瞳孔位置的纵坐标。6.根据权利要求1所述的一种虚拟现实交互方法，其特征在于，所述若注视位置位于可操作区域内，判断注视状态是否满足预设条件，如果满足则执行相应的交互操作包括以下步骤：在预设时间内，拍摄多张所述参考图像，在所述多张参考图像中用户注视可操作区域内的同一位置的注视次数为N，预设N1，N2和N3三个阈值，若N>N1，则判定交互模式为第一交互模式，将N清零并执行第一交互模式对应的交互操作；若N>N2，则判定交互模式为第二交互模式，将N清零并执行第二交互模式对应的交互操作；若N>...

【专利技术属性】
技术研发人员：孙建康，张浩，陈丽莉，楚明磊，闫桂新，尹国冰，薛鸿臻，马福强，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11