基于计算机视觉的测距方法及其在HMD上的应用技术

本发明专利技术公开了一种基于计算机视觉的测距方法及应用该测距方法的HMD光学系统调节方法和头戴显示装置，本发明专利技术利用图像配准技术及光学系统成像原理，计算出人眼距目标图像的距离，即物距；根据测量出的物距，调节头戴显示光学系统成像距离，解决现有头戴显示光学系统虚像距人眼的距离不可调的缺陷，可根据目标图像到人眼的距离远近，自动调节虚像到人眼距离的远近，使虚像与实际环境更好的融合。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种基于计算机视觉的测距方法及应用该测距方法的HMD光学系统调节方法和头戴显示装置，本专利技术利用图像配准技术及光学系统成像原理，计算出人眼距目标图像的距离，即物距；根据测量出的物距，调节头戴显示光学系统成像距离，解决现有头戴显示光学系统虚像距人眼的距离不可调的缺陷，可根据目标图像到人眼的距离远近，自动调节虚像到人眼距离的远近，使虚像与实际环境更好的融合。【专利说明】基于计算机视觉的测距方法及其在HMD上的应用
本专利技术涉及可穿戴计算头戴显示设备领域，尤其涉及一种头戴显示装置。
技术介绍
现有的HMD (HeadMountDisplay,头戴式可视设备)虚拟现实/增强现实的显示系统，由于光学显示系统是按照一固定成像距离设计，因此图像源经光学显示系统后在人眼前方显示的虚像距人眼的距离是固定的，如果将这样的HMD设备用于增强现实应用，由于虚像距人眼的距离是不变的，而所处环境是时刻改变的，通过这些显示系统看到的虚像就是飘浮在空中的，与实际环境脱离，不仅不能达到真正的增强显示效果，且用户体验极差。
技术实现思路
本专利技术的目的是提供一种基于计算机视觉的测距方法及应用该测距方法的HMD光学系统调节方法和头戴显示装置，解决现有头戴显示光学系统虚像距人眼的距离不可调的缺陷，可根据目标图像到人眼的距离远近，自动调节虚像到人眼距离的远近，使虚像与实际环境更好的融合。为了实现上述专利技术目的，本专利技术提供了一种基于计算机视觉的测距方法，应用于头戴显示设备上，包括:头戴显示设备的摄像机捕获当前场景图像，在服务器端搜索与当前场景图像中的目标图像匹配的样本图像；对摄像机捕获的当前场景图像和样本图像进行配准，得到单应性矩阵；根据单应性矩阵的逆矩阵及样本图像顶点坐标，计算所捕获的当前场景图像中的目标图像的各顶点坐标；根据计算出的各顶点坐标及摄像机的分辨率，计算所述目标图像的拍摄尺寸；根据目标图像的拍摄尺寸、目标图像的真实尺寸及摄像机的像距，计算摄像机距目标图像的距离。其中，服务器端存储有目标图像的真实尺寸及样本图像的特征描述数据，通过与目标图像匹配的样本图像，可查询到目标图像的真实尺寸。优选的，所述头戴显示设备的摄像机捕获当前场景图像，在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像，进一步包括:摄像机捕获包含目标图片的当前场景图像；对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到整幅图像的特征描述数据；根据当前场景图像的特征描述数据，在图像数据库中进行图像搜索，得到与当前场景图像中的目标图片匹配的样本图像。相应的，本专利技术还提供了一种HMD光学系统调节方法，所述HMD光学系统包括图像源模块和光学放大系统，所述调节方法包括:根据前述的基于计算机视觉的测距方法计算出摄像机距目标图像的距离；摄像机距目标图像的距离加上摄像机距人眼距离，得到目标图像距人眼的距离；根据目标图像距人眼的距离，调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性，以实现虚像到人眼距离等于目标物到人眼的距离。优选的，所述方法还包括:根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸，调节头戴显示设备光学系统中光学元件的位置关系或改变光学元件的光学特性，以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。相应的，本专利技术还提供了一种头戴显示装置，包括主体框架、摄像机、透视式光学显示系统和主控系统，所述主控系统包括图像检索模块、图像配准模块、测距模块和调节控制模块；透视式光学显示系统包括图像显示模块、光学放大系统和微调机构；所述摄像机捕获包含目标图像的当前场景图像；所述图像检索模块在服务器端搜索与所述目标图像匹配的样本图像；所述图像配准模块对摄像机捕获的当前场景图像和样本图像进行配准，得到单应性矩阵；所述测距模块首先根据单应性矩阵的逆矩阵、样本图像顶点坐标及摄像机的分辨率计算目标图像的拍摄尺寸，然后根据目标图像的拍摄尺寸、目标图像的真实尺寸、摄像机的像距及摄像机距人眼距离，计算目标图像到人眼的距离；所述调节控制模块，用于根据得到的目标图像到人眼的距离，控制微调机构调整图像显示模块与光学放大系统的轴向距离，和/或控制微调机构调整光学放大系统的焦距，使虚像到人眼距离等于目标物到人眼的距离。优选的，所述调节控制模块，还用于根据图像源模块显示的虚拟信息图像的尺寸及目标图像的真实尺寸，控制微调机构调整图像显示模块与光学放大系统的轴向距离，和/或控制微调机构调整光学放大系统的焦距，以实现将虚拟信息图像的虚像放大到目标图像的真实尺寸。优选的，所述调整光学放大系统的焦距，进一步包括:用微调机构改变光学放大系统中各光学元件的位置关系，以调整光学放大系统的焦距。优选的，当通过调整图像显示模块与光学放大系统的轴向距离，或通过改变光学放大系统中各光学元件的位置关系来调整光学放大系统的焦距时，所述微调机构采用螺纹副传动微调方式，每一个需要移动的光学组件安装一组微调机构，每组微调机构包括驱动控制板、微型步进电机、齿轮副、转动螺杆、移动螺母座；需移动的光学组件安装固定在移动螺母座上，微型步进电机在驱动控制板的驱动下，以齿轮副方式驱动螺纹副中的转动螺杆转动来带动移动螺母座的轴向移动。优选的，所述光学放大系统中的一个或多个光学元件采用液体透镜，微调机构向液体透镜外加电压或微调机构通过机械力改变液体形状，实现调整光学放大系统的焦距。优选的，所述调节控制模块内嵌光学指标计算单元，将目标物到人眼的距离作为像距，和/或将目标图像的真实尺寸作为像高输入光学指标计算单元，光学指标计算单元自动计算出需要调整的光学指标；调节控制模块将计算出的需要调整的光学指标转换为微调机构可识别的指令，以控制微调机构对相关光学元件进行微调。与现有技术相比，本专利技术具有如下有益效果:1.本专利技术基于计算机视觉的测距方法，无需为HMD单独增强双目立体视觉系统，即无需对HMD硬件作改进，成本低，实用性强；2.本专利技术虚像距人眼的距离可根据目标图像到人眼的距离自动做调整，能最大限度的保证用户在使用这些图像显示器时用眼的舒适度，缓解视野疲劳；且在增强现实应用中，当景深变化时，自动调节虚像距人眼的距离，使虚像与实际环境贴合，能达到真正的增强显示效果，可极大增强用户体验；3.本专利技术还可以根据目标图像的真实尺寸及图像源模块显示的虚拟信息图像的尺寸，调节光学系统放大倍数，实现将虚拟信息图像的虚像放大到目标图像的真实尺寸，达到虚像与实际环境位置和大小均完全贴合。【专利附图】【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图:图1为本专利技术实施例基于计算机视觉的测距方法的一种流程示意图；图2为本专利技术实施例头戴显示装置结构示意图；图3为本专利技术实施例头戴显示装置中主控系统结构示意图；图4为本专利技术实施例头戴显示装置中透视式光学显示系统的一种结构示意图；图5为图4中微调机构的一种结构示意图；图中标记:1_主体框架，2-透视式光学显示系统，3-摄像机，4本文档来自技高网...

【技术保护点】
基于计算机视觉的测距方法，应用于头戴显示设备上，其特征在于，包括：头戴显示设备的摄像机捕获当前场景图像，在服务器端搜索与当前场景图像中的目标图像匹配的样本图像；对摄像机捕获的当前场景图像和样本图像进行配准，得到单应性矩阵；根据单应性矩阵的逆矩阵及样本图像顶点坐标，计算所捕获的当前场景图像中的目标图像的各顶点坐标；根据计算出的各顶点坐标及摄像机的分辨率，计算所述目标图像的拍摄尺寸；根据目标图像的拍摄尺寸、目标图像的真实尺寸及摄像机的像距，计算摄像机距目标图像的距离。

【技术特征摘要】

【专利技术属性】
技术研发人员：柳寅秋，宋海涛，黄琴华，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：