用于360°悬浮光场三维显示系统的触觉交互装置及方法制造方法及图纸

本发明专利技术公开了一种用于360°悬浮光场三维显示系统的触觉交互装置及方法，属于计算机视觉技术领域，包括置于高速旋转屏幕一侧且用于采集手部位置信息的Leap Motion、具有振动功能的指套和用于处理信息并传递信号的处理器；处理器与Leap Motion通讯连接，获取手部位置信息，处理器设有蓝牙发射模块，通过蓝牙发射模块对指套发出指令，控制指套振动，指套内设有蓝牙接收模块。通过读取手指信息、坐标转换、模型判断、蓝牙传送、驱动硬件等步骤实现手指与模型力触觉的交互。当手指与显示模型的边界一定范围内相互接触时，指套会给手指一个震动的力，达到力触觉交互的效果。即当手碰到显示模型时，手指会有震动触感。从而给使用者产生更加真实的感官体验。

【技术实现步骤摘要】
用于360°悬浮光场三维显示系统的触觉交互装置及方法
本专利技术涉及计算机视觉
，具体地说，涉及一种用于360°悬浮光场三维显示系统的触觉交互装置及方法。
技术介绍
随着计算机科学和投影技术的发展，近年来，三维显示技术发展迅速。其中，真实的三维图像可以使观察者看到空间中的显示，环顾场景的四周有正确的视野以及遮挡关系，而裸眼的三维显示成为研究的热门。通过重建三维场景的光场，可以实现具有正确遮挡关系的大范围高质量的三维彩色图像显示。通过模拟真实物体的发光方式，重建了三维场景的光场分布，这样在显示系统周围的不同观察者可以看到正确的三维图像。扫描光场显示场景可以给观察者带来极强的悬浮感并且观察者与虚拟场景之间没有任何物理隔离，因此观察者倾向于去亲手触碰三维显示场景，由此科学家们提出了基于体感检测器件的悬浮场景手势交互方法。目前市场上最为常见的体感检测器件包括MicrosoftKinect和LeapMotion，其中Kinect可最多跟踪6个人，共25个骨骼节点，因此适用于较大动作的检测；LeapMotion则可同时跟踪人双手的全部关节，因此更适用于手指较小动作的检测。LeapMotion是专为识别手势动作而设计的传感器，尺寸很小，识别帧率根据电脑的性能而定，一般的帧率范围在20至290帧/s。它使用三个红外LEDs作为红外光发射器，通过使用两个红外相机作为传感器。获取得到的灰度图像和相应的深度信息传输给电脑进行计算从而转变三维手势信息。现有技术中有通过产生与虚拟物体三维形状信息、手指与虚拟物体接触姿态信息相一致的分布式触觉刺激反馈给操作者，从而模拟人手以不同姿态接触不同形状虚拟物体时所产生的触感，提供使用者良好的触觉交互体验的技术，如公布号为CN107831892A的中国专利文献公开的一种基于指套式装置的虚拟物体三维形状触觉再现方法，但该技术运用的是虚拟的三维场景中，无法使使用者产生真实的感官体验。
技术实现思路
本专利技术的目的为提供一种用于360°悬浮光场三维显示系统的触觉交互装置，该装置轻便易携，坐标判断鲁棒性好，普适性强，交互效果明显，触感明显，可用于多种光场三维显示系统的人机交互，从而使使用者产生真实的感官体验。本专利技术的另一目的为提供一种用于360°悬浮光场三维显示系统的触觉交互方法，该方法基于上述装置实现。为了实现上述目的，本专利技术提供的用于360°悬浮光场三维显示系统的触觉交互装置包括置于高速旋转屏幕一侧且用于采集手部位置信息的LeapMotion、具有振动功能的指套和用于处理信息并传递信号的处理器；处理器与LeapMotion通讯连接，获取手部位置信息，处理器设有蓝牙发射模块，通过蓝牙发射模块对指套发出指令，控制指套振动，指套内设有蓝牙接收模块。上述技术方案中，利用以上装置，通过读取手指信息、坐标转换、模型判断、蓝牙传送、驱动硬件等步骤实现手指与模型力触觉的交互。当手指与显示模型的边界一定范围内相互接触时，指套会给手指一个震动的力，达到力触觉交互的效果。即当手碰到显示模型时，手指会有震动触感。从而给使用者产生更加真实的感官体验。作为优选，指套上设有电动马达，实现指套的振动。作为优选，电动马达包括直流电动机和与直流电动机的输出端连接的偏心轮。当指套为“振动”状态时，控制电路接通，直流电动机起动，带动偏心轮做高速旋转，从而产生震动。作为优选，蓝牙发射模块包括usb转ttl组件、蓝牙发送端和蓝牙接收端。作为优选，指套内设有供电模块。供电模块可以是可充电的锂电池。为了实现上述另一目的，本专利技术提供的用于360°悬浮光场三维显示系统的触觉交互方法包括以下步骤：1)建立世界坐标系，制作一个3D模型放置到高速旋转屏幕上，利用制作的打印模型对LeapMotion进行位姿估计，所述3D模型在LeapMotion的坐标与在世界坐标中的坐标分别为：通过迭代最近点法找到一个变换参数：旋转矩阵R,和平移向量得到LeapMotion与世界坐标的转换关系：2)利用世界坐标系中特定位置的双目相机标定所述3D模型，所述3D模型上各点在世界坐标中的坐标为：由张正友标定法和PnP算法分别得出双目相机的内外参矩阵，取内外参矩阵的均值分别作为两个相机的投影矩阵P1，P2；三维场景中各点在世界坐标中的坐标为P″，P″在两个相机视图中的平面坐标为x1，x2，由此得出：x1＝P1P″，x2＝P2P″由线性三角形法得到三维场景中各点坐标3)通过迭代最近点法找到一个变换R′,得到LeapMotion与3D模型的坐标转换公式：4)将佩戴有指套的手指深入可探测区域，通过LeapMotion检测到手指位置信息，并转换成世界坐标；5)将得到的手指坐标与模型坐标进行比对和判断，当手指坐标与3D模型坐标一致时，给指套发出指令，启动其震动模式。作为优选，步骤1)中，得到LeapMotion与世界坐标的转换关系的方法为：将LeapMotion放置并固定在高速旋转屏幕一侧，以四组坐标测出LeapMotion位姿，取平均数得到坐标参数，并得到坐标转换关系。作为优选，3D模型采用3D打印的方式制成。作为优选，双目相机为工业相机，有效像素为130万，分辨率为1280*720时，帧率为34FPS。与现有技术相比，本专利技术的有益效果为：本专利技术的指套式力触觉交互装置，当手指与悬浮光场三维显示模型表面相接触时，LeapMotion识别到手指位置并传给处理器与模型坐标比对，通过蓝牙传输发送一个制动信号给电动马达模块，从而实现指套式力触觉交互。整个装置轻便易携，坐标判断鲁棒性好，普适性强，交互效果明显，触感明显，可用于多种光场三维显示系统的人机交互模块。附图说明图1为本专利技术实施例的用于360°悬浮光场三维显示系统的触觉交互装置的示意图；图2为本专利技术实施例的用于360°悬浮光场三维显示系统的触觉交互装置内部结构示意图；图3为本专利技术实施例的用于360°悬浮光场三维显示系统的触觉交互装置工作流程示意图；图4为本专利技术实施例的用于360°悬浮光场三维显示系统的触觉交互装置的坐标转换测量示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本专利技术作进一步说明。实施例参见图1至图4，本专利技术用于360°悬浮光场三维显示系统的触觉交互装置包括：LeapMotion1，置于高速旋转屏幕一侧，用于采集手部位置信息；指套2，佩戴在使用者手指上，具有振动功能，指套内设有蓝牙接收模块；处理器3，用于处理信息并传递信号；处理器3与LeapMotion1通讯连接，获取手部位置信息。处理器3内设有蓝牙发射模块，蓝牙发射模块包括usb转ttl组件、蓝牙发送端和蓝牙接收端。通过蓝牙发射模块对指套2发出指令，控制指套2振动。指套2上设有电动马达和供电模块，电动马达包括压电陶瓷致动器和振动电机，实现指套的振动。供电模块由两个3.7V锂电池构成，为电动马达和蓝牙接收模块供电。通过高速投影机和旋转的定向散射屏001投影出三维模型。反射式的定向散射屏001与伺动电机连接，在水平面内高速旋转，高速投影机位于屏幕旋转中心正上方，投影机光轴与定向散射屏001的旋转中心同轴以确保投影出来的图像没有畸变。该利用光场重建技术，将投影机每秒钟更新的600幅图像实时渲染成三维场景002，供周围的观测者观看。由本文档来自技高网...

【技术保护点】
1.一种用于360°悬浮光场三维显示系统的触觉交互装置，包括置于高速旋转屏幕一侧且用于采集手部位置信息的Leap Motion、具有振动功能的指套和用于处理信息并传递信号的处理器；所述处理器与所述Leap Motion通讯连接，获取手部位置信息，所述处理器设有蓝牙发射模块，通过蓝牙发射模块对所述指套发出指令，控制指套振动，指套内设有蓝牙接收模块。

【技术特征摘要】
1.一种用于360°悬浮光场三维显示系统的触觉交互装置，包括置于高速旋转屏幕一侧且用于采集手部位置信息的LeapMotion、具有振动功能的指套和用于处理信息并传递信号的处理器；所述处理器与所述LeapMotion通讯连接，获取手部位置信息，所述处理器设有蓝牙发射模块，通过蓝牙发射模块对所述指套发出指令，控制指套振动，指套内设有蓝牙接收模块。2.根据权利要求1所述的触觉交互装置，其特征在于：所述的指套上设有电动马达，实现所述指套的振动。3.根据权利要求2所述的触觉交互装置，其特征在于：所述的电动马达包括直流电动机和与所述直流电动机的输出端连接的偏心轮。4.根据权利要求1所述的触觉交互装置，其特征在于：所述的蓝牙发射模块包括usb转ttl组件、蓝牙发送端和蓝牙接收端。5.根据权利要求1所述的触觉交互装置，其特征在于：所述的指套内设有供电模块。6.一种用于360°悬浮光场三维显示系统的触觉交互方法，基于权利要求1至5中任一权利要求所述的触觉交互装置实现，其特征在于，包括以下步骤：1)建立世界坐标系，制作一个3D模型放置到高速旋转屏幕上，利用制作的3D打印模型对LeapMotion进行位姿估计，所述3D模型上各点在LeapMotion的坐标与在世界坐标中的坐标分别为：通过迭代最近点法找到变换参数：旋转矩阵R,和平移向量得到LeapMotion与世界坐标...

【专利技术属性】
技术研发人员：李海峰，李炜，倪丽霞，田明哲，刘旭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33