基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统技术方案

本发明专利技术公开了基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。头部姿态跟踪单元由多对摄像机、立体眼镜及头部姿态信号采集与处理模块组成；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成；实时成像系统由成像传感器、图像采集与处理模块组成；图形工作站将作业对象三维模型或作业前作业对象图像、实时影像及作业器械的实时姿态进行配准与融合，生成立体增强现实场景，并对其进行自适应动态调整。该发明专利技术使作业者可从不同视角便捷观察作业立体场景，使作业器械灵活易控，提高了认知能力及作业质量和效率。

Adaptive dynamic augmented reality operation navigation system based on real time tracking and multi-source information fusion

The invention discloses an adaptive dynamic stereo augmented reality real-time tracking and operation navigation system based on multi-source information fusion, the system consists of head pose tracking unit, real-time imaging unit, operation device, operation device tracking and positioning unit, graphics workstation and monitor. Head pose tracking unit is on camera, stereo glasses and head pose signal acquisition and processing module; operation equipment tracking unit, composed of position sensor, data acquisition and processing module; real-time imaging system consists of image sensor, image acquisition and processing module; graphics workstation will real-time attitude real-time image and operation operation operation device, object image registration and fusion of 3D object model or before the operation, 3D augmented reality scene, and adaptive adjustment of the. The invention of the operators from different perspectives and convenient observation work three-dimensional scene operation equipment is flexible and easy to control, improve the cognitive ability and the quality and efficiency of operations.

【技术实现步骤摘要】
基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
本专利技术涉及图像处理领域，确切地说是涉及基于实时跟踪和自适应动态立体增强现实作业导航系统，为精确作业提供高质、高效的手段。
技术介绍
传统的作业导航利用工作站在二维显示屏上显示三维作业场景，缺乏景深信息、实时影像信息及便利的人机交互能力，作业用户需要通过想象建立三维作业场景，难以对作业器械进行灵活有效的控制，不利于精确高效作业。
技术实现思路
本专利技术提供一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可使得作业高质量、高效率完成。本专利技术采取了以下的技术方案：一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。所述头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；所述多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；所述立体眼镜携带3个或3个以上的标志点，用于立体场景观察及头部姿态跟踪；所述实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；所述作业器械携带成像传感器和位姿传感器；所述作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标。所述头部姿态跟踪单元由多目摄像机、携带标志点的立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态。立体眼镜携带3个或3个以上的标志点；多目摄像机由一对或多对摄像机组成，多目摄像机安装于显示器上，用来跟踪立体眼镜上的标志点；头部姿态信号采集和处理模块对多目摄像机跟踪立体眼镜上标志点获得的信息进行分析和处理，获得作业用户的头部姿态。所述立体眼镜携带3个或3个以上的标志点，作业用户利用它观察显示屏上的左右眼视差图像，从而在人脑中形成具有景深的作业立体场景；同时，立体眼镜携带的标志点也被用于头部姿态的实时跟踪。所述实时成像单元由成像传感器、图像采集与处理模块组成，它通过成像传感器采集作业器械当前位姿处的实时影像信号，经处理后生成实时影像并保存于图形工作站。所述作业器械携带有成像传感器和位姿传感器，用于作业、实时影像信息及位姿信息获取。所述作业器械跟踪定位单元由位姿传感器、定位单元信号采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器的位姿信号，经处理后得到作业器械及成像传感器的位姿信息，并保存于图形工作站；作业前，通过标定操作获得作业前作业对象成像坐标系与作业器械跟踪定位坐标系之间的空间变换矩阵T1。所述图形工作站通过对多源信息(作业前影像及其三维模型、作业规划路径、作业姿态、实时影像、实际作业路径等)进行融合，利用虚拟摄像机产生左右眼视差图像并显示在显示屏上，作业用户利用立体眼睛观察显示屏，从而在人脑中形成具有景深的作业立体场景，并根据作业规划及观察到的实时作业场景对作业器械进行实时调整和控制。作业前，根据作业对象的几何结构或者断层成像数据，利用图形工作站进行三维建模及作业路径规划，并建立虚拟摄像机，对作业对象三维模型、作业规划路径进行融合生成左右眼视差图像；作业中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取作业路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前作业路径周边的关键信息，为后继作业提供数据；图形工作站根据上述位姿信息及变换矩阵T1进行计算形成实际作业路径，将实时影像、作业规划路径、实际作业路径、作业前作业对象影像及其三维模型进行融合，利用虚拟摄像机生成左右眼视差图像。与现有技术相比，本专利技术具有如下有益效果：本专利技术通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示形成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可有效提高作业质量与效率。附图说明图1为实时跟踪自适应动态立体增强现实导航系统原理图具体实施方式下面结合图1说明采用本专利技术的系统实施作业导航的实例。实施例1：微创脊柱外科手术(1)在患者病变周边布置多个标志点，标志点数目n不少于3个；然后对患者进行断层成像，利用图形工作站对断层图像进行处理获取所有标记点在成像系统中的坐标P＝[P1，P2，...，Pn]T以及脊柱、血管、神经等组织的三维模型，并进行手术路径规划，手术路径应尽可能避开重要组织或器官；(2)将患者置于手术床上，利用作业器械跟踪定位单元获取忠者体部布置的所有标记点在定位坐标系统中的坐标P’＝[P1’，P2’，...，Pn’]T；(3)根据患者体部布置的标记点在成像系统和作业器械跟踪定位坐标系统中的坐标P和P’，利用如下公式(1)进行坐标变换计算，获取作业器械跟踪定位坐标系与成像坐标系之间的坐标变换矩阵T1；P＝T1P’(1)(4)利用图形工作站建立虚拟摄像机，对术前患者影像及其三维模型及手术计划路径进行融合生成左右眼视差图像；启动头部姿态跟踪单元，手术医生戴上立体眼睛观察具有景深的虚拟现实立体场景，对手术计划进行评估和调整；头部姿态跟踪单元跟踪立体眼睛上的标志点获得头部姿态参数，传送给图形工作站，图形工作站根据该头部姿态参数对虚拟场景进行坐标变换，使手术医生可从不同姿态便捷地观察具有景深的虚拟立体手术场景。(5)启动作业器械跟踪定位单元、实时成像单元、头部姿态跟踪单元，手术医生戴上立体眼睛开始手术，将作业器械按照手术计划路径逐步置入患者体内，抵达病变位置后进行病变手术作业。在作业过程中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像单元获取手术路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前手术路径周边的关键信息，为后继作业提供支持；图形工作站根据上述位姿信息及变换矩阵T1进行计算形成实际作业路径，并对实时影像、作业前作业对象影像及其三维模型、手术计划路径、实际作业路径进行融合，利用虚拟摄像机生成左右眼视差图像；手术医生利用立体眼睛实时观察具有景深的立体增强现实手术场景及实时影像的处理分析结果，对手术过程进行控制和调整，避开重要器官，提高手术精度；头部姿态跟踪单元实时跟踪手术医生的头部姿态，图形工作站根据头部姿态参数对虚拟场景进行调整，使得手术医生可从不同姿态随时观察具有景深的虚拟立体场景，避免对重要组织的损伤，提高手术质量和效率。实施例2：发动机缺陷检测(1)根据发动机的机械结构，建立检测坐标系统及其三维模型，确定其表面n个角点在该坐标系下的坐标P＝[P1，P2，...，Pn]T，n不小于3，并对缺陷检测路径进行规划；(2)利用作业器械跟踪定位单元获取上述发动机表面n个角点在定位坐标系统中的坐标P’＝[P1’，P2’，...，Pn’]T；(3)根据检测坐标系和作业器械跟踪定位坐标系统中的坐标P和P本文档来自技高网...

【技术保护点】
一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；立体眼镜携带标志点，用于立体场景观察及头部姿态跟踪；实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；作业器械携带成像传感器和位姿传感器；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标；图形工作站将作业对象三维模型、作业前作业对象图像(如有)、实时影像及作业器械的实时姿态进行配准与融合，生成立体增强现实场景，并根据多目摄像机实时跟踪获得的作业用户头部姿态对立体增强现实场景进行自适应动态调整。作业对象三维模型可根据作业对象的几何参数直接建模获得，或者通过对作业前获取的作业对象图像进行分割和三维重建获得。该专利技术通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角观察实时作业场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可确保作业高质量、高效率完成。...

【技术特征摘要】
1.一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；立体眼镜携带标志点，用于立体场景观察及头部姿态跟踪；实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；作业器械携带成像传感器和位姿传感器；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标；图形工作站将作业对象三维模型、作业前作业对象图像(如有)、实时影像及作业器械的实时姿态进行配准与融合，生成立体增强现实场景，并根据多目摄像机实时跟踪获得的作业用户头部姿态对立体增强现实场景进行自适应动态调整。作业对象三维模型可根据作业对象的几何参数直接建模获得，或者通过对作业前获取的作业对象图像进行分割和三维重建获得。该发明通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角观察实时作业场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可确保作业高质量、高效率完成。2.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：利用图形工作站建立作业对象的三维模型，可根据作业对象的几何参数建立作业对象的三维模型，或者根据作业前获取的作业对象图像对其进行分割和三维重建形成作业对象的三维模型，并根据作业要求进行作业规划。3.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业器械携带有成像传感器和位姿传感器。4.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业器械定位单元由位姿传感器、定位单元数据采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器...

【专利技术属性】
技术研发人员：周正东，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32