基于纳米操作的实时力感与可视图像人机交互方法及系统技术方案

本发明专利技术公开一种基于纳米操作的实时力感与可视图像交互方法及系统，它将具有力感的多自由度机电装置及图像仿真界面与纳米操作装置结合起来，为操作者提供了力觉与视觉反馈，这是以往的纳米操作所不具备的。操作者不仅可以通过多自由度的机电装置实时控制纳米操作装置的运作，而且可以感受到操作过程中纳米操作装置与被操作物间的作用力，同时通过图像仿真界面实时看到操作的状况。该交互系统在微观世界与宏观世界架设了一座桥梁，使得对微观世界中物体的操作如同对宏观世界中物体的操作一样方便，灵活。使纳米操作更贴近于现实情况，大大提高了纳米操作的效率，为进行大规模纳米操作及装配开辟了道路。

【技术实现步骤摘要】

本专利技术涉及纳米尺度下的操作与加工的纳米科技，具体地说是一种基于纳米操作的实时力感与可视图像人机交互方法及系统。
技术介绍
纳米科学技术是新兴的科科研领域。纳米尺度下的操作与加工是纳米科技的重要组成部分。只有在可操作的前提下，才能研究纳米尺度下物质的各种物理、化学等自然特性，才能研制纳米器件，纳米传感器以及纳米计算机等先进的技术装备。因此，纳米操作是当前微纳米科技前沿的热点。但是现有的用于纳米技术研究的设备基本是基于SPM(隧道电流扫描或原子力扫描成像)机理的设备。这类设备(如SPM)缺乏实时力反馈信息、视觉反馈信息和人机交互能力，因而只能进行离线扫描规划的纳米现象观察，不能进行人机交互方式的纳米尺度操作。因而研究和开发具有实时的力及视觉反馈信息的人机交互式纳米操作技术具有特别重要的意义。
技术实现思路
为了实现纳米尺度下的人机交互操作，本专利技术提供一种基于纳米操作的实时力感与可视图像人机交互方法及系统。本专利技术技术方案如下基于纳米操作的实时力感与可视图像人机交互方法将纳米操作装置与具有力感的多自由度机电装置结合起来，实现由多自由度机电装置控制纳米操作装置的运作；通过纳米操作装置中光电传感器的信息及对扫描探针悬臂梁进行动力学分析，得到作用在扫描探针针尖的作用力模型，在人机交互界面中利用此力模型与被操作物体的动力学模型实时更新扫描的图像，进而动态显示纳米操作的过程；基于UDP协议的点到点通信的工作流程，操作人员通过具有力感的多自由度机电装置实时感觉到真实作业场景中的探针与对象间的相互作用力，并在此情况下进行操作，同时在图形界面上观察到人工操作的结果。本专利技术方法所用系统纳米操作装置输入为多自由度机电装置的位置信号，输出为扫描探针的形变信号，接至信号处理系统，信号处理系统的输出为代表探针针尖作用力的力信号，再传送给具有力感的多自由度机电装置；多自由度机电装置的输出为位置信号，经由信号处理系统将转化为控制纳米操作装置运作的命令信号输入给纳米操作装置，同时，信号处理系统将通过多自由度机电装置的位置信号及被操作物的运动模型实时更新的仿真图像传给图像仿真界面。本专利技术具有如下优点A、采用本专利技术所述方法，可以将无法感知的微观作用力转换为宏观力，并通过具有力感的多自由度机电装置输出，使操作者可以实时感受到纳米环境中的3D操作力(大小和方向)。B、采用本专利技术在可视化仿真图形指导下，操作员可以直观的在纳米环境中利用实时更新的作业图形提示进行纳米级操作。C、采用本专利技术操作者可以在力反馈和视觉反馈的辅助下进行人机交互式纳米操作，大大提高了操作的灵活性及效率。附图说明图1为本专利技术系统结构示意图。图2为本专利技术一个实施例具有力感的多自由度机电装置(Phantom)结构示意图。图3为图1所述系统的详细结构示意图。图4为本专利技术纳米级杆状物体的动力学建模。图5为本专利技术一个实施例基于UDP协议的点到点通信的工作流程图。图6a为本专利技术一个实施例力反馈传送的程序流程图。图6b为本专利技术一个实施例位置控制及图像更新的程序流程图。图7为本专利技术一个实施例图像仿真界面程序流程图。具体实施例方式实施例1如图1所示，该人机交互系统主要有纳米操作装置、信号处理系统、图像仿真界面及多自由度机电装置组成，纳米操作装置将其探针的形变信号传给信号处理系统，信号处理系统将其转化为代表探针针尖作用力的力信号，再传送给具有力感的多自由度机电装置；多自由度机电装置的位置信号经由信号处理系统转化为控制纳米操作装置运作的控制命令后，输入给纳米操作装置，同时，信号处理系统通过多自由度机电装置的位置信号及被操作物的运动模型实时更新仿真图像，并将更新的图像传给图像仿真界面用来显示。参见图1～3，本专利技术所述系统具体结构为一纳米操作装置(本实施例采用市购产品如原子力显微AFM(AtomicForce Microscope)，用来进行纳米扫描及操作，并向信号处理系统传送装置中探针形变的信号，及接收由多自由度机电装置传送来的控制命令。一信号处理系统，用于力信息及视觉信息的转换、处理及传输。接收多自由度机电装置的位置信号，并将其转化为控制纳米操作装置运作的控制命令经网络传送给纳米操作装置，实现纳米操作装置与多自由度机电装置的同步运作；同时根据多自由度机电装置位置信号及被操作物的运动模型实时更新仿真图像，传给图像仿真界面，使操作者在图像仿真界面上实时看到操作的结果；接受纳米操作装置传来的探针形变信号，将其转化为代表探针所受的力信号，并由网络传送给多自由度机电装置，使操作者实时感受到在操作过程中的力。一具有力感的多自由度机电装置，通过信号处理系统与纳米操作装置相连，以实现由多自由度机电装置实时控制纳米操作装置与的运作。其中所述具有力感的多自由度机电装置，为具有三段式操作手柄1和电机系统2的机电装置。其输入信号为操作手柄1的位置信号，电机系统2将位置信号输出给信号处理系统；并由信号处理系统接受纳米操作装置传来的实时的力反馈信息。其中所述纳米操作装置(AFM)由激光器3，光电传感器4，扫描探针5，压电陶瓷驱动器6构成，其中扫描探针5在压电陶瓷上对准预进行扫描的样品，由激光器3提供光源，光电传感器4获得扫描探针5形变信号，通过信号处理系统将形变信号转变为相应的力信号，通过网络经载体计算机A将其传至计算机B，压电陶瓷驱动器6接收多自由度机电装置的传来的控制信号，产生相对探针的运动，进而实现探针欲进行的操作。这种由纳米操作装置、具有力感的多自由度机电装置和图像仿真界面构成的的人机交互式纳米操作系统，为纳米尺度下的人工介入作业与加工、装配和制造提供了新的可行性技术途径。本专利技术方法及系统具有以下功能1、作用力的生成与感知功能。实时采集AFM系统在操作中光电传感器信号，将其在力的分解模型作用下生成相应的电信号，经具有力感的多自由度机电装置的机电系统转换生成XYZ三个方向上的机械力，这种力作用在具有力感的多自由度机电装置的的操作手柄上，可以使操作员感受到各向操作力的存在和大小。2、纳米操作环境的可视化图像仿真功能。由信息处理系统根据AFM型纳米操作装置扫描图象和对象的运动学模型生成，并根据操作动作信号实时更新，为操作员提供可视化的实时操作图像界面。以辅助操作员进行操作，提高操作效率和操作精度。3、交互式探针动作控制功能。操作者对多自由度机电装置的操作手柄的操作(推、拉、刻划、敲击等)，经多自由度机电装置的机电信号转换，在线传递到纳米操作装置AFM，控制压电陶瓷的运作，进而使探针产生相应的三维运动。所述具有力感的多自由度机电装置目前市场上多种，普遍具有一个或一个以上的自由度，并且至少在一个方向上可以提供力反馈，本实施例采用美国Sensable公司的六自由度PhantomTM机电操作装置，它可以在X、Y、Z三个方向上提供力反馈，其结构如图2所示，其中由第一、二、三段操作杆I、II、III构成直角坐标系X、Y、Z三个自由度，其机电系统输出值是第三段操作杆III末端在参考系W的坐标，在W的三个方向可产生作用力。这样即可以实现三个方向上的力反馈，又可以输出操作位移量，以作为位置控制信号。所述AFM可以在纳米扫描过程中，提供反映扫描探针受力形变的光电信号，该信号将作为操作力在操作系统中作为力反馈信号。所述纳米操作流程为1)本文档来自技高网...

【技术保护点】
一种基于纳米操作的实时力感与可视图像人机交互方法，其特征在于：将纳米操作装置与具有力感的多自由度机电装置结合起来，实现由多自由度机电装置控制纳米操作装置的运作；通过纳米操作装置中光电传感器的信息及对扫描探针悬臂梁进行动力学分析，得到作用在扫描探针针尖的作用力模型，在人机交互界面中利用此力模型与被操作物体的动力学模型实时更新扫描的图像，进而动态显示纳米操作的过程；基于ＵＤＰ协议的点到点通信的工作流程，操作人员通过具有力感的多自由度机电装置实时感觉到真实作业场景中的探针与对象间的相互作用力，并在此情况下进行操作，同时在图形界面上观察到人工操作的结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：席宁，董再励，田孝军，焦念东，王越超，刘连庆，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：89[中国|沈阳]