增强现实的实现方法及用于实现增强现实的计算机系统技术方案

本发明专利技术公开一种增强现实的实现方法及用于实现增强现实的计算机系统。通过设置于智能眼镜中的增强现实实现系统来执行的增强现实的实现方法包括：通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；在上述二维图像数据中生成二维坐标数据的步骤；基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。

The realization method of augmented reality and the computer system used to realize augmented reality

【技术实现步骤摘要】
增强现实的实现方法及用于实现增强现实的计算机系统
本专利技术涉及实现三维增强现实的技术。
技术介绍
最近，随着信息通信技术持续发展，在实际现实的对象上实时显示虚拟现实的数据的增强现实(AugmentedReality)技术。作为基于增强现实的相关技术的一例，在韩国公开专利公报第10-2011-0004974号(公开日：2011年1月17日)中揭示了利用增强现实的基于位置的服务提供方法及系统、服务器及便携式终端。通常，用于增强现实的识别及跟踪技术分为利用图像传感器(摄像头)的二维(2D)识别技术和利用空间传感器的三维(3D)识别技术。利用图像传感器的技术虽为非常普通的技术，但是在确定增强现实对象的位置的步骤中只使用二维坐标(x，y)。但是，在最近使用的智能眼镜(smartglass)等的全息装置中，为了给用户带来投入感，具有空间坐标显示功能，因此不适用于使用二维坐标系的二维识别技术。并且，在现有的工业现场中收集并利用的数据均以二维为基础，所以不可能直接用于全息装置。还存在用于收集并构建用于全息装置的三维数据的费用远大于生成二维数据的费用的问题。即，由于以三维数据为基础的识别所具有的问题，至今，几乎不存在将全息装置成功应用到工业现场的实例。但是，随着技术的发展，工业现场对增强现实的需求也在增长，通过采用增强现实来降低费用的效果也达到了不可忽视的水平。
技术实现思路
本专利技术的目的在于，提供可在使用三维坐标的增强现实中通过二维图像识别空间来预测增强现实对象的三维坐标的方法及系统。本专利技术提供一种增强现实的实现方法，通过设置于智能眼镜中的增强现实实现系统来执行的增强现实的实现方法包括：通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；在上述二维图像数据中生成二维坐标数据的步骤；基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。根据一实施方式，在生成上述二维坐标数据的步骤中，可利用二维图像全息矩阵预测算法来生成上述二维坐标数据。根据再一实施方式，生成上述三维坐标的步骤可包括：在上述智能眼镜中计算与上述真实世界物体的角度和距离信息相对应的投影矩阵的步骤；以上述二维摄像头的空间坐标来对上述二维坐标数据进行正规化的步骤；在经正规化的上述空间坐标中生成与上述智能眼镜的视线呈直角的虚拟平面的步骤；利用上述投影矩阵来生成上述虚拟平面上的三维坐标点的步骤；以及利用上述三维坐标点来确定将要显示上述增强现实对象的三维空间坐标的步骤。根据另一实施方式，上述虚拟平面作为用于以从二维到三维的方式进行逆投影的虚拟平面，通过上述投影矩阵和经正规化的上述空间坐标来确定相应平面的几何位置。根据还有一实施方式，确定上述三维空间坐标的步骤可包括：生成用于连接上述智能眼镜的位置坐标与上述三维坐标点的虚拟直线的步骤；延长上述直线来检测与在二维深度值数据中预测的环境信息的三维模型相交叉的点的步骤；以及将所检测出的上述点确定为将要显示上述增强现实对象的三维空间坐标的步骤。根据又一实施方式，以使得位于上述真实世界物体的上述准确位置上的上述增强现实对象具有与上述真实世界物体基本相同的深度值的方式进行显示。根据又一实施方式，增强现实的实现方法包括在上述真实世界物体上显示上述增强现实对象的处理步骤。本专利技术提供一种计算机系统，作为用于在智能眼镜实现增强现实的计算机系统，包括：存储器，包括计算机可读指令；总线，与上述存储器相连接；以及处理器，与上述总线相连接，用于执行计算机可读指令，上述处理器进行处理的步骤包括：通过上述智能眼镜的二维摄像头收集二维图像数据的步骤；在上述二维图像数据中生成二维坐标数据的步骤；基于上述智能眼镜的位置及旋转数据与二维深度值数据来在上述二维坐标数据中生成三维坐标的步骤；以及通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。根据本专利技术的实施例，即使没有所要识别的物体的三维模型数据，也可通过二维图像识别空间中的物体位置来预测增强现实对象的三维坐标，由此，可在无需在工业现场追加使用费用来生成三维数据的情况下，利用现有的二维数据来实现准确度高的基于三维坐标系的增强现实环境。附图说明图1为用于说明本专利技术一实施例的增强现实实现系统的内部结构以及用于实现增强现实的处理步骤的框图。图2为示出本专利技术一实施例的二维图像数据的例示图。图3为本专利技术一实施例的用于说明以特定领域的值对二维图像数据进行正规化的步骤的例示图。图4为本专利技术一实施例的用于说明生成虚拟二维平面的步骤的例示图。图5为本专利技术一实施例的用于说明在三维空间上寻找用于显示增强现实对象的位置的步骤的例示图。图6为示出佩戴采用本专利技术的智能眼镜来维护汽车引擎的状况的图。具体实施方式以下，参照附图，详细说明本专利技术的实施例。本专利技术涉及在使用三维坐标的增强现实中通过二维图像识别空间来预测增强现实对象的三维坐标的方法及系统。在利用智能手机、平板等传统显示器的增强现实软件中，使用基于二维图像识别环境并在显示器的二维坐标区域显示增强现实对象的方式。但是，在利用2个以上的全息显示器的智能眼镜中，除二维坐标(x，y)之外，还使用表示深度值的z坐标，所以需在三维坐标区域显示增强现实对象。在本专利技术中，为了利用二维图像数据来预测三维坐标而使用逆投影。逆投影为以现有的计算机图形图像(CG)处理方式作为基础的处理方式。在计算机图形图像处理中，利用投影来处理数据，这属于在存在虚拟物体的三维空间中，向从用户视角的特定平面进行映射来生成二维图像的步骤。即，计算机图形图像处理的投影步骤以将三维空间投影到二维平面的方式进行。本专利技术按倒序进行计算机图形图像处理中的投影步骤，来在二维图像中求三维空间上的坐标。这种处理方式便相当于逆投影。图1为用于说明本专利技术一实施例的增强现实实现系统的内部结构以及用于实现增强现实的处理步骤的框图。本专利技术一实施例的增强现实实现系统以能够在按全息图显示增强现实对象的智能眼镜上工作作为目标。并且，本专利技术的目的在于，不使用所要识别的目标物体的三维建模数据，而是采用传统二维图像识别技术来以相对较少的费用识别三维物体并指定增强现实对象的位置。本专利技术一实施例的增强现实实现系统可通过计算机系统实现，虽然无需明确图示大部分的现有技术性结构要素，但是作为基本结构要素可包括处理器、存储器、永久存储装置、总线、输入输出接口及网络接口。处理器作为用于实现增强现实的结构要素，可以是能够处理指令序列的任一装置或装置的一部分。例如，处理器可包括计算机处理器、移动装置或其他电子装置内的处理器和/或数字处理器。根据需要或在适当情况下，增强现实实现系统可包括一个以本文档来自技高网...

【技术保护点】
1.一种增强现实的实现方法，通过设置于智能眼镜中的增强现实实现系统来执行，其特征在于，包括：/n通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；/n在上述二维图像数据中生成二维坐标数据的步骤；/n基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及/n通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。/n

【技术特征摘要】
20181205 KR 10-2018-01551201.一种增强现实的实现方法，通过设置于智能眼镜中的增强现实实现系统来执行，其特征在于，包括：
通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；
在上述二维图像数据中生成二维坐标数据的步骤；
基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及
通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。


2.根据权利要求1所述的增强现实的实现方法，其特征在于，在生成上述二维坐标数据的步骤中，利用二维图像全息矩阵预测算法来生成上述二维坐标数据。


3.根据权利要求1所述的增强现实的实现方法，其特征在于，生成上述三维坐标的步骤包括：
在上述智能眼镜中计算与上述真实世界物体的角度和距离信息相对应的投影矩阵的步骤；
以上述二维摄像头的空间坐标来对上述二维坐标数据进行正规化的步骤；
在经正规化的上述空间坐标中生成与上述智能眼镜的视线呈直角的虚拟平面的步骤；
利用上述投影矩阵来生成上述虚拟平面上的三维坐标点的步骤；以及
利用上述三维坐标点来确定将要显示上述增强现实对象的三维空间坐标的步骤。


4.根据权利要求3所述的增强现实的实现方法，其特征在于，上述虚拟平面作为用于以从二维到三维的方式进行逆投影的虚拟平面，通过上述投影矩阵和经正规化的上述空间坐标来确定相应平面的几何位置。


5.根据权利要求3所述的增强现实的实现方法，其特征在于，确定上述三维空间坐标的步骤包括：
生成用于连接上述智能眼镜的位置坐标与上述三维坐标点的虚拟直线的步骤；
延长上述直线来检测与在二维深度值数据中预测的环境信...

【专利技术属性】
技术研发人员：赵根植，
申请(专利权)人：扩展知识公司，
类型：发明
国别省市：韩国;KR