一种远程虚拟手术的数字孪生触觉反馈交互方法及装置制造方法及图纸

本发明专利技术公开了一种远程虚拟手术的数字孪生触觉反馈交互方法及装置，包括：设计触觉反馈手套装置，建立具有虚拟模型和触觉信号产生机制的数字孪生系统，在数字孪生系统中建立被感知物体的孪生模型，建立人手的孪生模型并设置该模型的自由度与人手保持一致。人手孪生模型可以与触觉反馈手套实现虚实联动并将产生的触觉信号传入触觉反馈手套驱动手套上的人工肌肉运动使用户产生触感。从而实现用户在佩戴触觉反馈手套时可以“触摸”到虚拟模型的目的。的。的。

【技术实现步骤摘要】
一种远程虚拟手术的数字孪生触觉反馈交互方法及装置


[0001]本专利技术属于软件工程和计算机科学领域，具体涉及一种应用于远程虚拟手术的数字孪生触觉反馈交互方法及装置。

技术介绍

[0002]医疗设备联网，使得医生可以通过网络对手术室实施远程控制，同时提供更加精准的操作与更加严格的医疗环境保障。远程问诊，远程咨询，远程探病等新一代的医疗体系也必将进入人们的生活，为普通百姓带来实惠便利的医疗服务。虚拟手术系统，为医生提供一个虚拟的3D环境以及可交互操作平台，逼真的模拟临床手术的全过程。与传统的手术教学相比，虚拟手术具有无损伤性、可重复性和可指定性等优点。但是，该领域的大部分研究仅限于仿真的可视化阶段，由于缺乏触觉效果，医生在虚拟环境下完成的手术与临床环境差别很大。
[0003]数字孪生技术是当代中国的发展热潮之一，数字孪生是客观世界中的物化事物及其发展规律被软件定义后的一种结果，可以在计算机中通过三维建模复现出飞控计算机硬件装备的“孪生体”，并将采集到的数据传入计算机中驱动孪生体使其做出与物理设备相同的运动，从而实现“虚实联动”的效果。此外，数字孪生系统还可以结合智能算法将数据进行处理，使孪生系统具备“判断”和“决策”的功能，并进一步为数字孪生模型触觉的产生提供指导。而目前的通讯手段尚未实现触觉信息的传递，更无法实现用户对孪生模型触觉上的感知。

技术实现思路

[0004]本专利技术要解决的技术问题为：提出一种应用于远程虚拟手术的数字孪生触觉反馈交互方法及装置，该方法能够实现用户在现实生活中对数字孪生模型进行触觉上的感知。
[0005]本专利技术解决其技术问题是采取以下技术方案实现的：一种远程虚拟手术的数字孪生触觉反馈交互方法，包括以下步骤：
[0006]步骤一：设计触觉反馈手套。触觉反馈手套的形状模拟手套的形状进行设计，具体设计如下：
[0007]①
触觉反馈手套背面装有多个姿态传感器如图1中的2所示，每个姿态传感器的位置按照人手的指骨位置进行排列，从而用于解析人手各个指骨的位置信息，为驱动孪生系统中人手孪生模型运动提供数据基础。传感器与孪生系统之间使用无线透传模块进行信息传递。
[0008]②
触觉反馈手套的正面装有多个电驱动人工肌肉点如图1中1所示，装置接收到孪生系统发出的触觉信息后可以控制人工肌肉点的电平信号从而驱动相应的人工肌肉点进行收缩，进而对用户的手掌产生挤压，从而使用户感知到触觉。不同位置的人工肌肉点进行联合运动对用户手掌模拟不同形状物体的触感。
[0009]步骤二：建立待抓取物体，人手的数字孪生模型，为触觉信号的产生提供基础条
件，并且实现人手孪生模型与人手物体模型的虚实联动。具体实现如下：
[0010]①
建立待抓取物体的孪生模型。待抓取物体需要添加“刚体”组件和碰撞器，并且启用碰撞触发功能，即可以检测物体是否被碰撞，以便于后期产生碰撞信号。
[0011]②
建立人手数字孪生模型。人手的数字孪生模型需要参照触觉反馈手套的物理模型进行建立。对操作者人手的各个关节与指骨进行复刻，并且对人手孪生模型中的各个组成部分添加“刚体”组件与“碰撞器”组件，以便于在检测到碰撞触发时产生碰撞信号。触觉反馈手套的各个指骨上均带有三维姿态传感器，可以将人手各个指骨的三维坐标信息通过无线透传的方式传输至孪生系统中，人手数字孪生模型可以接受各个指骨上姿态传感器的数据并且驱动孪生模型中响应指骨模型进行相同的运动，从而可以实现“虚实联动”的效果。定位方面，每次启动触觉反馈手套时，其孪生模型均回归虚拟世界中心。
[0012]步骤三：建立起孪生模型与作用环境之后，需要在系统中建立起触觉信号产生机制，并将产生的触觉信号传送至触觉反馈手套，进而使触觉反馈手套对人手产生相应的压力，从而完成触觉的产生。具体内容如下：
[0013]①
建立人手孪生模型的触觉信号产生机制。人手孪生模型中各个指骨上设置有多个碰撞检测区，当人手孪生模型的某个碰撞检测区检测与待抓取孪生模型的碰撞后，碰撞器的触发机制启动。系统将检测到人手孪生模型与待抓取孪生模型的接触点，并改变“接触信号”以表示人手孪生模型是否接触到待抓取孪生模型。
[0014]②
建立触觉信号的生成、传递和感知机制。在数字孪生系统中，当人手触碰到待抓取物体时，人手孪生模型的碰撞检测区会检测到碰撞，之后在该碰撞检测区产生触觉信号，系统可以将该触觉信号通过无线透传的方式传递给触觉反馈手套，触觉反馈手套通过解析触觉信号的发生位置，驱动相关物理设备对操作者的手产生触觉的反馈。从而完成触觉信号的生成、传递和感知。
[0015]根据本专利技术的另一方面，还提出一种远程虚拟手术的数字孪生触觉反馈交互装置，包括：
[0016]触觉反馈手套，触觉反馈手套的形状模拟手套的形状进行设计；
[0017]所述触觉反馈手套背面装有多个姿态传感器，每个姿态传感器的位置按照人手的指骨位置进行排列，从而用于解析人手各个指骨的位置信息，为驱动孪生系统中人手孪生模型运动提供数据基础，传感器与孪生系统之间使用无线透传模块进行信息传递；
[0018]触觉反馈手套的正面装有多个电驱动人工肌肉点，接收到孪生系统发出的触觉信息后控制人工肌肉点的电平信号从而驱动相应的人工肌肉点进行收缩，进而对用户的手掌产生挤压，从而使用户感知到触觉；不同位置的人工肌肉点进行联合运动对用户手掌模拟不同形状物体的触感；
[0019]人手抓取物体时，将产生的触觉信号传送至触觉反馈手套，进而使触觉反馈手套对人手产生相应的压力，从而完成触觉的产生，通过人手的数字孪生模型和物体模型，实现人手孪生模型与人手物体模型的虚实联动。
[0020]本专利技术与现有技术相比的优点在于：
[0021]通过应用数字孪生技术可以在孪生系统中刻画人手孪生模型和待抓取孪生模型，并且通过产生触觉信号和佩戴触觉反馈手套实现人手对孪生系统中虚拟模型的触觉感知，从而实现操作者在远程虚拟手术过程中对触觉的反馈与交互，使得操作者的感受更加多元
与真实。
附图说明
[0022]图1本专利技术的触觉反馈手套的构成与孪生模型图；(a)触觉反馈手套正面示意图；(b)触觉反馈手套背面示意图；(c)人手虚拟模型示意图；
[0023]图2本专利技术的触觉反馈机制流程图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本专利技术的一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0025]本专利技术提出一种应用于远程虚拟手术的数字孪生触觉反馈交互方法及装置，该方法能够实现用户在现实生活中对数字孪生模型进行触觉上的感知。
[0026]根据本专利技术的一个实施例，一种远程虚拟手术的数字孪生触觉反馈交互装置，包括：
[0027]触觉反馈手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程虚拟手术的数字孪生触觉反馈交互方法，其特征在于，包括以下步骤：步骤一：设计触觉反馈手套，触觉反馈手套的形状模拟手套的形状进行设计；步骤二：建立待抓取物体以及人手的数字孪生模型，为触觉信号的产生提供基础条件，并且实现人手孪生模型与人手物体模型的虚实联动；步骤三：建立起孪生模型与作用环境之后，建立触觉信号产生机制，并将产生的触觉信号传送至触觉反馈手套，进而使触觉反馈手套对人手产生相应的压力，从而完成触觉的产生。2.根据权利要求1所述的一种远程虚拟手术的数字孪生触觉反馈交互方法，所述步骤一：设计触觉反馈手套，触觉反馈手套的形状模拟手套的形状进行设计，具体设计如下：
①
触觉反馈手套背面装有多个姿态传感器，每个姿态传感器的位置按照人手的指骨位置进行排列，从而用于解析人手各个指骨的位置信息，为驱动孪生系统中人手孪生模型运动提供数据基础，传感器与孪生系统之间使用无线透传模块进行信息传递；
②
触觉反馈手套的正面装有多个电驱动人工肌肉点，接收到孪生系统发出的触觉信息后控制人工肌肉点的电平信号从而驱动相应的人工肌肉点进行收缩，进而对用户的手掌产生挤压，从而使用户感知到触觉；不同位置的人工肌肉点进行联合运动对用户手掌模拟不同形状物体的触感。3.根据权利要求1所述的一种远程虚拟手术的数字孪生触觉反馈交互方法，所述步骤二：建立待抓取物体以及人手的数字孪生模型，为触觉信号的产生提供基础条件，并且实现人手孪生模型与人手物体模型的虚实联动，具体实现如下：
①
建立待抓取物体的孪生模型，在孪生系统中，待抓取物体需要添加“刚体”组件和碰撞器，并且启用碰撞触发功能，即可以检测物体是否被碰撞，以便于后期在于人手接触时产生碰撞信号；
②
建立人手数字孪生模型，人手的数字孪生模型参照触觉反馈手套的物理模型进行建立，对操作者人手的各个关节与指骨进行复刻，之后在Unity3D软件中对人手孪生模型中...

【专利技术属性】
技术研发人员：陶飞，王琰隆，邹孝付，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：