一种增强现实操作方法及系统技术方案

本发明专利技术提供一种增强现实操作方法及系统，本申请利用精确无畸变的空间悬浮裸眼三维显示技术，基于增强现实的实时交互方式，在宏观尺度下实现对微观场景的直接、快捷、准确操作。同时，通过空间悬浮图像构建增强现实操作场景，不再依赖于传统视觉反馈显微操作系统中通过输入参数或操纵杆控制视觉伺服器械模块的操作方式，具有操作快速、准确、直观的特点。

Augmented reality operation method and system

The present invention provides a method and system for augmented reality operation, the application using the technology of 3D display space suspended naked eye without distortion accurately, enhance the real-time interactive mode based on the reality of the scene, micro direct, fast and accurate operation in macro scale. At the same time, the construction of augmented reality scenarios through the image space suspension, no longer rely on the traditional visual feedback through the input parameters or joystick to control the visual servo instrument module the mode of operation of the micro operating system, has the characteristics of quick, accurate and intuitive.

【技术实现步骤摘要】
一种增强现实操作方法及系统
本专利技术涉及显微操作和增强现实
，更具体地，涉及一种增强现实操作方法及系统。
技术介绍
目前，随着纳米材料及现代制造加工技术的发展，科学研究及工业制造的对象逐渐向亚毫米级甚至纳米级转移，这一情况在集成电路、精细加工、细胞操作及显微手术领域中显得尤为突出。在上述提及的领域中，对微观场景中微小物体的操作与加工具有重大需求。由于其场景及目标物体往往是微米或纳米级的，其操作及加工的精度也要求达到相应的水平，这种精度要求直接让人手动操作是极为困难的。传统的显微操作可以通过光学显微镜及半自动化高精度机器人实现。典型产品如用于德国徕卡应用于细胞实验的显微操作系统。在该系统中，操作者通过一个倒置显微镜观察待放大的细胞及操作场景，通过手柄或按键实现微注射器的移动操作和注射操作。这种基于光学显微镜的微操作技术只能提供二维观察视野，限制了该技术在更为复杂应用场景中的使用，如三维装配或细胞的三维移植。在某些需要复杂微操作的场景中，实现微场景的三维观察极为重要。虽然采用体视显微镜代替普通的光学显微镜可以在一定程度上解决这个问题，但是体视显微镜只能提供固定的两个视点，因此在一些复杂操作中仍然有相当的局限性。然而，尽管上述方法在一定程度上实现了显微操作的视觉反馈，但是机器人的操作仍然需要操作人员经过视觉反馈后通过按键或其他方式控制。操作与场景的对应依赖于操作人员的想象和经验，复杂而且不直观。基于增强现实技术实现快速、准确、直观的显微操作具有巨大的应用前景。
技术实现思路
本专利技术为克服上述问题或者至少部分地解决上述问题，提供一种增强现实操作方法及系统。根据本专利技术的一个方面，提供一种增强现实操作方法，包括以下步骤：步骤1，将待放大局部场景以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像；步骤2，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与待放大局部场景信息进行匹配，获得匹配结果信息；步骤3，基于所述匹配结果信息，利用伺服控制机器人实现对所述待放大局部场景的操作；步骤4，对所述待放大局部场景的空间影像进行更新。根据本专利技术的一个方面，提供一种增强现实显微操作系统，包括局部场景采集模块、空间悬浮显示装置、伺服控制机器人、第一器械操作及定位模块和局部场景伺服控制模块：所述局部场景采集模块分别与所述空间悬浮显示装置和所述第一器械操作及定位模块相连，用于采集待放大局部场景信息，分别将所述待放大局部场景信息发送给所述空间悬浮显示装置和所述第一器械操作及定位模块；所述空间悬浮显示装置与所述局部场景采集模块相连，包括裸眼立体显示器和光学投影设备：所述光学投影设备根据所述空间立体影像数据生成所述局部场景立体影像源；所述裸眼立体显示器基于所述局部场景立体影像源，投影所述局部场景立体影像；用于接收所述局部场景采集模块发送来的待放大局部场景信息，将所述待放大局部场景信息以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像；所述第一器械操作及定位模块分别与所述局部场景采集模块和所述局部场景伺服控制模块相连，用于采集对于所述空间悬浮影像的器械操作形变影像，将所述器械操作形变影像与所述待放大局部场景信息进行匹配，获得匹配结果信息；将所述匹配信息发送给所述局部场景伺服控制模块；所述局部场景伺服控制模块分别与所述第一器械操作及定位模块和所述伺服控制机器人相连，基于所述器械操作形变影像与所述空间悬浮影像匹配结果信息生成控制指令，将控制指令发送给所述伺服控制机器人；所述伺服控制机器人，与所述局部场景伺服控制模块相连，用于接收所述局部场景伺服控制模块发送来的控制指令，执行对于待放大局部场景的伺服控制器械的操作。本申请提出一种增强现实操作方法及系统，本申请利用精确无畸变的空间悬浮裸眼三维显示技术，基于增强现实的实时交互方式，在宏观尺度下实现对微观场景的直接、快捷、准确操作。同时，通过空间悬浮图像构建增强现实操作场景，不再依赖于传统视觉反馈显微操作系统中通过输入参数或操纵杆控制视觉伺服器械模块的操作方式，具有操作快速、准确、直观的特点。附图说明图1为根据本专利技术实施例一种增强现实操作方法的整体流程示意图；图2为根据本专利技术实施例一种增强现实显微操作系统的示意图；图3为根据本专利技术实施例一种增强现实操作方法中采集对于所述空间悬浮影像的第一器械形变信息，通过关键点的空间位置变化确定第一器械的形变参量；通过器械中心位置的定位确定第一器械的位移及旋转参量的示意图；图4为根据本专利技术实施例一种增强现实操作方法中采集对于所述空间悬浮影像的第一器械形变信息，通过关键点的空间位置变化确定第一器械的形变参量；通过器械中心位置的定位确定第一器械的位移及旋转参量的示意图；图5为根据本专利技术实施例一种增强现实显微操作系统的整体框架示意图；图6为根据本专利技术实施例一种增强现实显微操作系统的光学投影设备的结构示意图；图7为根据本专利技术实施例一种增强现实显微操作系统的光学投影设备的结构示意图；图8为根据本专利技术实施例一种增强现实显微操作系统的光学投影设备的结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。图1中，本专利技术一个具体实施例中，示出一种增强现实操作方法整体流程示意图。总的来说，包括：步骤1，将待放大局部场景以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像。步骤2，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与所述空间悬浮影像信息进行匹配，获得匹配结果信息。步骤3，基于所述匹配结果信息，利用伺服控制机器人实现对所述待放大局部场景的操作。步骤4，对所述待放大局部场景的空间影像进行更新。本专利技术另一个具体实施例中，一种增强现实操作方法，所述步骤1中空间悬浮影像还包括：空间二维影像或空间三维影像。本具体实施例中由一个空间悬浮显示装置提供通过特定光路传递后悬浮于无遮挡物的空间中的图像。选择的空间悬浮显示图像可以是二维或三维，空间悬浮显示装置能够将二维或三维图像投射到空间中的给定位置。本专利技术另一个具体实施例中，一种增强现实操作方法，所述步骤2还包括：S21，对所述空间悬浮影像进行标定：确定世界坐标系下所述空间悬浮影像的大小、所述空间悬浮影像中心的空间位置及所述空间悬浮影像的倾斜角度；对所述待放大局部场景进行标定：确定待放大局部场景中心在世界坐标系下的位置及所述待放大局部场景在实际场景下的物理尺度。所述世界坐标系：由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。根据空间悬浮显示的光学结构和相应硬件参数，对投影的局部场景进行标定。在世界坐标系下，结合三维场景的采集装置，计算投影局部场景的大小、投影局部场景中心的空间位置及投影局部场景倾斜角度。在显微三维场景采集前需要对被采集场景进行标定。标定工作台及物镜工作距离获得待采集场景中心在世界坐标系下的位置。记录采集到本文档来自技高网...

【技术保护点】
一种增强现实操作方法，其特征在于，包括以下步骤：步骤1，将待放大局部场景以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像；步骤2，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与待放大局部场景信息进行匹配，获得匹配结果信息；步骤3，基于所述匹配结果信息，利用伺服控制机器人实现对所述待放大局部场景的操作；步骤4，对所述待放大局部场景的空间影像进行更新。

【技术特征摘要】
1.一种增强现实操作方法，其特征在于，包括以下步骤：步骤1，将待放大局部场景以空间悬浮方式进行实时显示，获得所述待放大局部场景的空间悬浮影像；步骤2，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息，将所述第一器械的空间位置变化信息和器械形变信息与待放大局部场景信息进行匹配，获得匹配结果信息；步骤3，基于所述匹配结果信息，利用伺服控制机器人实现对所述待放大局部场景的操作；步骤4，对所述待放大局部场景的空间影像进行更新。2.如权利要求1所述的方法，其特征在于，所述步骤2还包括：S21，对所述空间悬浮影像进行标定：确定世界坐标系下所述空间悬浮影像的大小、所述空间悬浮影像中心的空间位置及所述空间悬浮影像的倾斜角度；对所述待放大局部场景进行标定：确定待放大局部场景中心在世界坐标系下的位置及所述待放大局部场景在实际场景下的物理尺度；S22，采集对于所述空间悬浮影像进行操作的第一器械空间位置变化信息和器械形变信息：通过空间定位方法对所述第一器械操作形变的关键点及中心位置进行定位；S23，将所述第一器械操作在所述空间悬浮影像坐标系下的变化参量转化到所述待放大局部场景坐标系下，获得所述第一器械的空间位置变化信息和器械形变信息与所述待放大局部场景信息的匹配结果信息。3.如权利要求1所述的方法，其特征在于，所述步骤1还包括：所述空间悬浮影像能够为二维影像或三维影像；所述空间悬浮方式为二维影像时，利用光学显微镜或荧光显微镜采集所述待放大局部场景数据；所述空间悬浮方式为三维影像时，利用光场显微镜或激光扫描显微镜采集所述待放大局部场景数据；对所述待放大局部场景放大倍率不高时，能够利用双目摄像机或深度相机采集所述待放大局部场景数据。4.如权利要求1所述的方法，其特征在于，所述步骤2中所述第一器械与所述伺服控制器械类型一致、外形一致、形变方式一致，尺寸与所述伺服控制器械在所述空间悬浮影像中的一致。5.如权利要求3所述的方法，其特征在于，所述S22还包括：采集对于所述空间悬浮影像的第一器械形变信息，通过关键点的空间位置变化确定第一器械的形变参量；通过器械中心位置的定位确定第一器械的位移及旋转参量。6.一种增强现实操作系统，其特征在于，包括局部场景采集模块、空间悬浮显示装置、伺服控制机器人、第一器械操作及定位模块和局部场景伺服控制模块：所述局部场景采集模块分别与所述空间悬浮显示装置和所述第一器械操作及定位模块相连，用于采集待放大局部场景信息，分别将所述待放大局部场景信息发送给所述空间悬浮显示装置和所述第一器械操作及定位模块；所...

【专利技术属性】
技术研发人员：廖洪恩，黄天琪，张欣然，马聪，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11