增强现实中对象的识别方法及系统和计算机技术方案

本发明专利技术提供了一种增强现实中对象的识别方法及系统和计算机，其中，该识别方法包括：计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。本发明专利技术通过检测双眼瞳孔位置，实现三维视线的建模，并将三维视线与三维空间进行叠加匹配，解决了在三维空间中识别出用户的关注对象的问题，并可以与该关注对象进行交互。

【技术实现步骤摘要】
增强现实中对象的识别方法及系统和计算机
本专利技术涉及一种增强现实技术，尤其涉及一种增强现实中对象的识别方法及系统和计算机。
技术介绍
增强现实(AugmentedReality，简称AR)，也被称之为混合现实，是通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的对象实时地叠加到了同一个画面或空间同时存在。增强现实技术可应用到如下领域：医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位；军事领域：部队可以利用增强现实技术，进行方位的识别，获得目前所在地点的地理数据等重要军事数据；古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构；工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等；网络视频通讯领域：该系统使用增强现实和人脸跟踪技术，在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟对象，在很大程度上提高了视频对话的趣味性；电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时地将辅助信息叠加到画面中，使得观众可以得到更多的信息；娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战；旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料；市政建设规划：采用增强现实技术将规划效果叠加到真实场景中以直接获得规划的效果。对于增强现实的显示技术实现原理基本上是将左右两眼看到的真实场景图像之上叠加上生成的虚拟图像。目前已经有类似头盔的产品出售.谷歌(Google)眼镜也是类似产品，但由于虚拟信息叠加在单眼，不能实现立体的虚拟场景。现有技术对于虚拟3D空间内对象与图片的展现技术目前已经相对比较成熟，但交互技术目前仍存在一些障碍，具体表现为计算机无法很方便地获知人对于3D空间内的哪个对象感兴趣，想操纵哪个对象或虚拟对象。对于这方面现有技术主要有以下几种：头盔上装有传感器，实现对头盔在3D空间中的定位和方向定位；通过外部传感器跟踪人眼动作，确定视线方向，但因为空间是3D，该方法不能够定位对象景深；通过手势识别方式，判断想要操作的对象位置，同样缺乏景深信息，如果有多个景深的对象处于相同方位，就无法正确识别。现有的双目视觉基本上是通过两个平行轴摄像机拍摄对象，然后用本领域熟知的深度恢复和三维重建方法(RameshJain，RangacharKasturi，BrainGSchunck，MachineVersion，McGrawHill，1995)进行三维重建。
技术实现思路
本专利技术实施例提供了一种增强现实中对象的识别方法及系统和计算机，以解决如何在三维空间中识别出用户的关注对象，并与该关注对象进行交互的问题。本专利技术实施例提供了一种增强现实中对象的识别方法，该方法包括：计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。优选地，所述计算机确定出用户待操作的虚拟对象之后，所述方法还包括：所述计算机接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。优选地，所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：双眼视线滑动对应于：改变当前输入焦点；左眼闭合且右眼视线滑动对应于：拖拽操作；左眼闭合且右眼眨眼对应于：点击操作；右眼闭合且左眼视线滑动对应于：放大或缩小操作；右眼闭合且左眼眨眼对应于：右键点击操作；双眼快速连续眨眼对应于：弹出菜单操作；单眼凝视对象2秒以上对应于：长按操作；双眼凝视对象2秒以上对应于：删除操作；以及双眼闭合2秒以上对应于：关闭菜单操作。优选地，所述计算机对待操作对象执行对应的操作之前，所述方法还包括：所述计算机接收输入设备输入的视差图像，对外部世界建模，确定所述双眼视线焦点处有真实对象，识别出所述真实对象的属性；所述待操作对象包括识别出属性的真实对象。优选地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。优选地，所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标，包括：所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。本专利技术实施例还提供了一种计算机，应用与增强现实中，该计算机包括：图像识别模块，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块；所述图像分析模块，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块；所述景深恢复计算模块，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块；以及所述对象匹配模块，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。优选地，所述计算机还包括：对象操控命令输出模块，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。优选地，所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：双眼视线滑动对应于：改变当前输入焦点；左眼闭合且右眼视线滑动对应于：拖拽操作；左眼闭合且右眼眨眼对应于：点击操作；右眼闭合且左眼视线滑动对应于：放大或缩小操作；右眼闭合且左眼眨眼对应于：右键点击操作；双眼快速连续眨眼对应于：弹出菜单操作；单眼凝视对象2秒以上对应于：长按操作；双眼凝视对象2秒以上对应于：删除操作；以及双眼闭合2秒以上对应于：关闭菜单操作。优选地，所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。优选地，所述对象操控命令输出模块，还用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。本专利技术实施例还提供了一种增强现实中对象的识别系统，该系统包括输入设备和计算机，其中：所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标；所述计算机为上述计算机。优选地，所述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；或者，所述输入设备提供的语音信息和/本文档来自技高网...

【技术保护点】
一种增强现实中对象的识别方法，其特征在于，该方法包括：计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。

【技术特征摘要】
1.一种增强现实中对象的识别方法，其特征在于，该方法包括：计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象；所述计算机对待操作对象执行对应的操作之前，所述方法还包括：所述计算机接收输入设备输入的视差图像，对外部世界建模，判断所述双眼视线焦点处是否有真实对象，在确定所述双眼视线焦点处有真实对象之后，识别出所述真实对象的属性。2.根据权利要求1所述的方法，其特征在于：所述计算机确定出用户待操作的虚拟对象之后，所述方法还包括：所述计算机接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。3.根据权利要求2所述的方法，其特征在于：所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：双眼视线滑动对应于：改变当前输入焦点；左眼闭合且右眼视线滑动对应于：拖拽操作；左眼闭合且右眼眨眼对应于：点击操作；右眼闭合且左眼视线滑动对应于：放大或缩小操作；右眼闭合且左眼眨眼对应于：右键点击操作；双眼快速连续眨眼对应于：弹出菜单操作；单眼凝视对象2秒以上对应于：长按操作；双眼凝视对象2秒以上对应于：删除操作；以及双眼闭合2秒以上对应于：关闭菜单操作。4.根据权利要求2所述的方法，其特征在于：所述待操作对象包括识别出属性的真实对象。5.根据权利要求1-4任一权利要求所述的方法，其特征在于：所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。6.根据权利要求1所述的方法，其特征在于：所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标，包括：所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。7.一种计算机，其特征在于，应用与增强现实中，该计算机包括：图像识别模块，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块；所述图像分析模块，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔...

【专利技术属性】
技术研发人员：钱煜明，屠要峰，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：