一种虚实交互的远程实验系统及方法技术方案

本发明专利技术属于远程实验技术领域，公开了一种虚实交互的远程实验系统及方法，包括图像映射模块、图像识别模块、远程通信模块和远端执行模块；图像映射模块用于为使用者展示远端实验室的3D虚拟图像并拍摄手部动作图像；图像识别模块用于深度识别裸手在“虚拟实验室”图像中的相对位置和实验手势，并建立三维空间图形控制系统；远程通信模块用于传输近端使用者的实验信息至远端实验室，并将远端实验室的信息反馈至近端；远端执行模块用于根据指令操控远端实验室的设备复现实验行为并将实验效果的各类信息同步反馈至近端。本发明专利技术的近远端实时同步的闭环系统实现了快速响应、同步实验，提高了使用者的体验感，极大的提高了时间效率。极大的提高了时间效率。极大的提高了时间效率。

【技术实现步骤摘要】
一种虚实交互的远程实验系统及方法


[0001]本专利技术属于远程实验
，尤其涉及一种虚实交互的远程实验系统及方法。

技术介绍

[0002]随着目前线上教学和办公的现象逐渐普及，远程工作的需求越来越高，特别是对于学生群体而言，很多实验动手内容难以在线上完成，因此催生了远程实验的技术。
[0003]目前一般的远程实验还只局限于仿真场景，学生只能通过软件调整设备的参数以观察模拟实验现象，没有身临其境的感受，无法获取真实的实验效果，没有沉浸式的操作体验，动手能力也得不到提升，因此一般的模拟远程实验满足不了学习生活的需求。

技术实现思路

[0004]本专利技术目的在于提供一种虚实交互的远程实验系统及方法，以解决上述的技术问题。
[0005]为解决上述技术问题，本专利技术的一种虚实交互的远程实验系统及方法的具体技术方案如下：
[0006]一种虚实交互的远程实验系统，包括图像映射模块、图像识别模块、远程通信模块和远端执行模块；所述图像映射模块用于为使用者展示远端实验室的3D虚拟图像并拍摄手部动作图像；所述图像识别模块用于深度识别裸手在“虚拟实验室”图像中的相对位置和实验手势，并建立三维空间图形控制系统用于虚拟显示和评估体系；所述远程通信模块用于传输近端使用者的实验信息至远端实验室，并将远端实验室的信息反馈至近端；所述远端执行模块用于根据指令操控远端实验室的设备复现实验行为并将实验效果的各类信息同步反馈至近端。
[0007]进一步的，所述图像映射模块为至少一套用于3D展示的显示器及图像处理器和一套立体摄像设备，用于全方位捕捉使用者的手势。
[0008]进一步的，所述用于3D展示的显示器及图像处理器为VR眼镜，所述立体摄像设备为双目立体视觉摄像机。
[0009]进一步的，所述图像识别模块为至少一台集成了3D图像手部定位、手势识别算法和3D空间图形控制系统的处理器。
[0010]进一步的，所述远程通信模块为至少两台支持5G技术的无线通讯模块，分别负责图像识别模块和远端执行模块的信号收发。
[0011]进一步的，所述远端执行模块为至少一套包含了立体视觉摄像机、多个传感器、机械装置和控制服务器的系统，其中立体视觉摄像机拍摄的视频信息不仅用于反馈至图像映射模块，还作为视觉传感器辅助机械装置进行环境位置判断。
[0012]本专利技术还公开了一种虚实交互的远程实验系统的实验方法，包括正向传输过程和逆向反馈过程，所述正向传输过程是图像映射模块将远端实验室的虚拟图像投影至显示器中，同时拍摄使用者在“虚拟实验室”区域内的手部动作，通过图像识别模块进行坐标定位
和手势识别，识别结果一方面送入三维空间系统控制对应的虚拟物体动作并显示，另一方面生成决策指令经远程通信模块传输至远端执行模块，远端执行模块下载编码指令操纵机械装置复现实验行为；所述逆向反馈过程是远端实验室装设的摄像设备拍摄的实验视频通过远程通信模块逆向反馈至图像识别模块，通过算法识别效果和故障并显示在图像映射模块中，从而形成闭环联动的系统。
[0013]进一步地，所述正向传输过程具体步骤如下：
[0014]步骤A1：“虚拟实验室”的映射：远端实验室的画面经图像映射模块进行三维重建投影成“虚拟实验室”，并将可移动的实验用具进行编号和区域矩阵划分，其中摄像机获取的深度图转换为二维图像的坐标公式如式(1)，
[0015][0016]其中，摄像机坐标系为(Xc,Yc,Zc)，世界坐标系为(Xw,Yw,Zw)，图像坐标系为(x,y)；
[0017]步骤A2：交互实验：图像识别模块对手部的实时视频进行解析，算法设置手部关节点共21个，由图像分割算法获取视频中手部轮廓，根据关节点的位移判断手势，在图像映射矩阵中设置对应区域的RGB亮度值最大以表示系统响应；
[0018]步骤A3：操作指令生成：摄像机捕捉到的手部深度信息矩阵d由(1)式转换为二维坐标，在立体图像矩阵中查找与d距离最近的区域坐标及实验用具编号，结合步骤A2识别的手势结果，判断实验用具将要进行的运动，根据以下变换公式(2)控制虚拟图像的变化，并将指令按“物体编号+运动形式+运动方向”的形式高速传输至远端执行模块，
[0019][0020]其中，如移动物体x倍距离，则变换矩阵如上式增大深度值；
[0021]步骤A4：远端实验操作：远端执行模块在接收到操作指令后，驱动机械装置按照指令进行对应的实验动作，同时立体摄像头监控实验效果。
[0022]进一步地，所述逆向反馈过程步骤如下：
[0023]步骤B1：远端实验监控：远端执行模块在接收指令操作时，立体相机拍摄实验物体的运动轨迹x，麦克风记录声音信号s、各类电表测量值v、光学传感器测量光强I、气体传感器检测的气体浓度g、温度传感器测量指定元件的温度T均转换为电信号E，以“物体编号+位置坐标+传感类型+电信号”的形式编码后经远程通信模块反传输至图像识别模块；
[0024]步骤B2：“虚拟实验”效果反馈：步骤B1传输的信息在图像识别模块中通过三维建
模算法进行虚拟图像的转换，视频信号逐帧转换为二维视觉图像，各类电信号经转换公式(4)处理后生成小图叠加至原二维图像上，实时传输至图像映射模块供使用者查看，声音信号经扬声器转换后输出到耳机；
[0025]E＝αv+βI+γg+δT
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0026]其中，α、β、γ、δ为各类传感器信号转化为电信号的系数，
[0027][0028]步骤B3：实验故障反馈：远端实验室的触摸响应元件如按钮等采用压电材料，由反传输的电信号判断是否响应即正确执行了指令，若正确执行则系统继续，若错误执行则立即中止远端机械臂并发送中断信号至图像映射模块告知使用者；
[0029]步骤B4：教师评估体系：图像识别模块引入专家系统评估使用者的实验行为，事先建立综合评估知识库，将实验用具的选取、实验步骤的顺序、操作时间的限制和实验效果的等级等分级赋分，并根据各权重综合评估。进一步地，所述正向传输过程和逆向反馈过程并向同时进行，互不影响。
[0030]本专利技术的一种虚实交互的远程实验系统及方法具有以下优点：
[0031]1.使用者无需本人到达真实的实验室，可以随时随地进行远程实验。
[0032]2.虚实交互的3D系统为使用者提供了真实的实验感受，并同步反馈实验现象给使用者，营造了身临其境的实验氛围。
[0033]3.近远端实时同步的闭环系统实现了快速响应、同步实验，提高了使用者的体验感。
[0034]4.闭环故障反馈的功能可以让使用者及时掌握远端实验室的动作响应情况，和实时的实验效果，以达到沉浸式观感。
[0035]5.针对一些安全要求较高的实验，机械臂代替人手实验可有效保护使用者的人身安全，避免实验失误造成的生命安全问题。
[0036]6.真正实现了“可见及可控”的三维操作，裸手与“虚拟实验室”的交互极大的方便了使用者对真实实验室的实时控制。...

【技术保护点】

【技术特征摘要】
1.一种虚实交互的远程实验系统，其特征在于，包括图像映射模块、图像识别模块、远程通信模块和远端执行模块；所述图像映射模块用于为使用者展示远端实验室的3D虚拟图像并拍摄手部动作图像；所述图像识别模块用于深度识别裸手在“虚拟实验室”图像中的相对位置和实验手势，并建立三维空间图形控制系统用于虚拟显示和评估体系；所述远程通信模块用于传输近端使用者的实验信息至远端实验室，并将远端实验室的信息反馈至近端；所述远端执行模块用于根据指令操控远端实验室的设备复现实验行为并将实验效果的各类信息同步反馈至近端。2.根据权利要求1所述的虚实交互的远程实验系统，其特征在于，所述图像映射模块为至少一套用于3D展示的显示器及图像处理器和一套立体摄像设备，用于全方位捕捉使用者的手势。3.根据权利要求2所述的虚实交互的远程实验系统，其特征在于，所述用于3D展示的显示器及图像处理器为VR眼镜，所述立体摄像设备为双目立体视觉摄像机。4.根据权利要求1所述的虚实交互的远程实验系统，其特征在于，所述图像识别模块为至少一台集成了3D图像手部定位、手势识别算法和3D空间图形控制系统的处理器。5.根据权利要求1所述的虚实交互的远程实验系统，其特征在于，所述远程通信模块为至少两台支持5G技术的无线通讯模块，分别负责图像识别模块和远端执行模块的信号收发。6.根据权利要求1所述的虚实交互的远程实验系统，其特征在于，所述远端执行模块为至少一套包含了立体视觉摄像机、多个传感器、机械装置和控制服务器的系统，其中立体视觉摄像机拍摄的视频信息不仅用于反馈至图像映射模块，还作为视觉传感器辅助机械装置进行环境位置判断。7.一种如权利要求1
‑
6任一项所述的虚实交互的远程实验系统的实验方法，其特征在于，包括正向传输过程和逆向反馈过程，所述正向传输过程是图像映射模块将远端实验室的虚拟图像投影至显示器中，同时拍摄使用者在“虚拟实验室”区域内的手部动作，通过图像识别模块进行坐标定位和手势识别，识别结果一方面送入三维空间系统控制对应的虚拟物体动作并显示，另一方面生成决策指令经远程通信模块传输至远端执行模块，远端执行模块下载编码指令操纵机械装置复现实验行为；所述逆向反馈过程是远端实验室装设的摄像设备拍摄的实验视频通过远程通信模块逆向反馈至图像识别模块，通过算法识别效果和故障并显示在图像映射模块中，从而形成闭环联动的系统。8.根据权利要求7所述的实验方法，其特征在于，所述正向传输过程具体步骤如下：步骤A1：“虚拟实验室”的映射：远端实验室的画面经图像映射模块进行三维重建投影成“虚拟实验室”，并将可移动的实验用具进行...

【专利技术属性】
技术研发人员：朱宇，孟濬，许力，陆国栋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：