一种基于VR看车和试驾模拟系统及方法技术方案

本发明专利技术公开了一种基于VR的看车和试驾模拟系统及方法，涉及看车和试驾模拟领域，本申请旨在解决VR在用户试车和试驾时候产生的交互无法量化而导致的交互效果不准确而导致的用户体验差的问题，本申请采用的技术方案为：在同一参考坐标系下基于采集终端模块采集人体骨骼信息以及获取汽车的控制信号以及场景信号以及人体位姿信号，并基于这些信号建立相应的驾驶视觉场景模型以及驾驶舱座椅模型，并将实时的这些信号输入模型生成相应的视觉场景效果以及触觉效果以及座椅变动效果。通过采用本方案，使得用户在使用VR进行试车或试驾过程的交互实现量化，同时实现了在同一坐标系下实现了试车与驾车，使得用户的体验更真实。本发明专利技术适用于VR的实际应用相关领域。

【技术实现步骤摘要】
一种基于VR看车和试驾模拟系统及方法
本专利技术涉及看车和试驾模拟领域，具体来说，涉及一种基于VR看车和模拟试驾的系统及方法。
技术介绍
虚拟现实(virtualreality，VR)是一种模拟人在自然环境中视、听、动等行为的先进人机交互技术，能够为使用者模拟出与现实中相同的三维图像世界。近些年来，VR技术发展迅速，人们的生产和生活也迫切的需要VR技术带来的各种便捷。在汽车行业，“VR看车”成了当下的一大重要需求。“VR看车”可以解决人们“现场看车”难和“试驾成本高”等难题。现场看车要求店家车辆款式齐全，这对于商家来说是个高成本和长耗时的过程。并且，真实试驾，由于时间和空间的限制，用户体验内容有限。然而，用户可以通过VR试驾在短时间内体验各种不同驾驶场景，例如晴天、雨天、冰雪天、城市道路和乡村道路等等。因此，VR看车不仅可以节约成本，还可以提高用户的试驾体验感，具有广阔的应用价值。但是现有的一些VR看车以及模拟驾驶只是简单的将VR技术挪用至看车模拟试驾领域，无法真正实现交互信息的量化，使得交互准确性差，从而导致用户的VR体验效果不佳，卖家车辆的无法得到真正的展示；那么如何提高VR看车试车过程中的交互准确性，提高用户体验，成为进一步提高VR在试驾领域的应用的重难点。现有技术还存在技术壁垒在试车与看车时候，用户是站着与坐着的区别，如果用户从看车到试车的过程中，现有的VR很难实现这个转变过程的衔接而造成用户感觉效果差，体验不真实；那么如何利用图像识别区分用户在看车还是在试驾以及如何在统一坐标系下实现VR的看车和试驾是亟待解决的问题。
技术实现思路
本专利技术的目的在于：针对上述由于现有的基于VR看车试车领域存在交互无法实现量化而导致的交互准确性不高进而导致用户看车试车效果不佳的问题，本专利技术提供了一种实现交互量化进而提高交互准确性的提升用户体验的基于VR看车和模拟试驾系统及方法。本申请提供了一种基于VR看车和模拟试驾系统，具体的技术方案包括：采集终端、云端、触觉反馈模块、VR头盔模块、驾驶模拟舱控制模块和驾驶舱座椅执行模块；所述的采集终端，采集人体的RGB-D数据并编码发送至云端；所述的VR头盔模块，检测人体头部位姿信息并发送至云端，发送用户选择的汽车三维模型信息以及场景信息，接收云端发送的视觉信号并显示汽车三维模型以及汽车三维模型的视觉场景；所述驾驶模拟舱控制模块，获取车辆控制信号并发送至云端；所述云端，接收VR头盔模块发送的汽车三维模型信息以及场景信息，人体头部位姿信息，采集终端发送的RGB-D数据(也就是人体骨骼位置信息)进行计算生成座椅位姿信号、试车视觉信号、看车视觉信号和触觉信号；所述驾驶舱座椅执行模块，接收到远端发送的座椅位姿信号并控制座椅产生试驾模拟时相应的变动(包括座椅的倾斜角度的变化，座椅的颠簸)；所述触觉反馈模块，接收云端发送的触觉信号并产生看车模拟时的用于刺激人体反应的信号。具体地，云端接收RGB-D数据并解码计算人体骨骼位置信息并接收汽车三维模型信息并进行触觉计算得触觉信号并发送至触觉反馈模块，接收人体头部位姿信息并结合汽车三维模型数据及人体骨骼位置信息进行视觉计算得看车视觉信号并发送至VR头盔模块，接收人体头部位姿信息并结合汽车三维模型数据及人体骨骼位置信息以及场景信息进行视觉计算得试车视觉信号并发送至VR头盔模块，接收场景信息及车辆控制信号进行计算得座椅位姿信号并发送至驾驶舱座椅执行模块。具体地，所述采集终端采用对准人体采集人体的RGB-D数据的4台ZEDStereoCamera；所述驾驶模拟舱控制模块包括座椅、方向盘、油门、刹车、离合器、换挡器、驾驶舱状态执行装置；所述VR头盔模块包括VR头盔；所述触觉反馈模块采用带压电传动装置的触觉反馈手套；所述云端采用服务器(有计算处理能力设备均可，并不局限于服务器)；所述VR头盔包括用于检测人体头部位姿信号的位姿传感器、汽车模型选择按钮、用于显示汽车三维模型的显示器。具体地,VR头盔的位姿传感器采用陀螺仪和加速度计。本申请提供了一种基于VR看车模拟方法，具体的技术方案为：步骤一，生成汽车三维模型基于用户需求生成汽车三维模型并以汽车三维模型为中心建立参考坐标系并获取汽车三维模型坐标(xj,yj,zj)(其中j为表示不同的汽车部分)步骤二,采集用户的人体骨骼位置信息和用户的头部的位姿信号基于参考坐标系获取用户的人体骨骼位置信息和用户的头部的位姿信号；步骤三，生成触觉信号和视觉信号基于户的人体骨骼位置信息(xi,yi,zi)(i为对应的骨骼点)和汽车三维模型坐标(xj,yj,zj)生成触觉信号，基于人体骨骼位置信息和汽车三维模型及头部位姿信号生成视觉信号；步骤四，产生触觉效果及视觉效果基于步骤三中的触觉信号产生用户触觉效果，基于步骤三中的视觉信号产生用户视觉效果。具体地,步骤四中产生触觉效果具体为：汽车三维模型包含汽车轮廓的空间坐标信息，人体骨骼点包含人体各部分的骨骼点空间坐标信息，当人体骨骼点空间坐标值(xi,yi,zi)到达汽车虚拟模型轮廓空间坐标值(xj,yj,zj)时，产生压力反馈，用户感受到触觉效果。用户需通过VR头盔“汽车模型选择按钮”选择打算观看的汽车类型，从而确定汽车的三维模型；采集终端实时采集RGB-D数据，将其和相机参数一起编码传输到云端(其中，相机参数通过相机的标定获取)；云端将收到的数据进行解码，解码后对RGB-D数据和相机参数计算得到人体骨骼位置；云端结合汽车的三维模型和人体骨骼位置进行触觉计算，即当人手的位置和虚拟的汽车模型重合时计算产生对应的触觉；云端将触觉计算的结果“触觉信号”传输给触觉反馈装置；人体(通常触觉反馈模块采用触觉反馈手套，所以即人体的手部感受到触觉效果)通过触觉反馈装置感受触觉效果。用户看车过程中的触觉获取原理为:视觉获取原理前半部分同触觉获取原理，即系统确定汽车三维模型和得到人体骨骼位置，另外还包括云端通过“位姿传感器”获得头部的位姿状态信号，人体骨骼位置用于人机交互；人机交互包括但不限于：人手的位位置和汽车三维模型车门把手位置重合，触发开门操作；人手的位位置和汽车三维模型后备箱按钮位置重合，触发开后备箱操作；手指的位置和汽车三维模型按钮的位置重合，触发按按钮操作。本申请提供了一种基于VR试驾模拟方法，具体的技术方案为：步骤一，生成汽车三维模型基于用户需求生成汽车三维模型并以汽车三维模型为中心建立参考坐标系；步骤二，获取驾驶场景信号及人体头部位姿信号基于参考坐标系及用户需求获取驾驶场景信号s，以及获取人体头部位姿信号p；步骤三，获取车辆驾驶控制信号基于参考坐标系获取车辆驾驶的油门、刹车、离合器、方向盘和换挡器的控制信号；步骤四，生成对应的驾驶视觉模型及驾驶舱座椅模型基于人体头部位姿信号p和车辆驾驶控制信号通过学习训练建立驾驶视觉模型F(a,b,c,d,g,p,s)和基于驾驶场景信号s和车辆驾驶控制信号通过学习训练生成驾驶舱座椅模型G(a,b,c,d,g,s)；步骤五，生成实时的视觉场景效果及座椅位姿效果基于实时采集的人体头部位姿信号p和车辆驾驶控制信号输入步骤四中的驾驶视觉模型F(a,b,c,d,g,p,s)计算生成视觉信号，接收视觉信号并生成对应用户的视觉场景效果，基于实时采集的驾驶场景信号s和本文档来自技高网...

【技术保护点】
一种基于VR看车和试驾模拟系统，其特征在于,包括：采集终端、云端、触觉反馈模块、VR头盔模块、驾驶模拟舱控制模块和驾驶舱座椅执行模块；所述采集终端，采集人体的RGB‑D数据并编码发送至云端；所述VR头盔模块，检测人体头部位姿信息并发送至云端，发送用户选择的汽车三维模型信息以及场景信息，接收云端发送的视觉信号并显示汽车三维模型以及汽车三维模型的视觉场景；所述驾驶模拟舱控制模块，获取车辆控制信号并发送至云端；所述云端，接收VR头盔模块发送的汽车三维模型信息以及场景信息，人体头部位姿信息，采集终端发送的RGB‑D数据进行计算生成座椅位姿信号、试车视觉信号、看车视觉信号和触觉信号；所述驾驶舱座椅执行模块，接收到远端发送的座椅位姿信号并控制座椅产生试驾模拟时相应的变动；所述触觉反馈模块，接收云端发送的触觉信号并产生看车模拟时的用于刺激人体反应的信号。

【技术特征摘要】
1.一种基于VR看车和试驾模拟系统，其特征在于,包括：采集终端、云端、触觉反馈模块、VR头盔模块、驾驶模拟舱控制模块和驾驶舱座椅执行模块；所述采集终端，采集人体的RGB-D数据并编码发送至云端；所述VR头盔模块，检测人体头部位姿信息并发送至云端，发送用户选择的汽车三维模型信息以及场景信息，接收云端发送的视觉信号并显示汽车三维模型以及汽车三维模型的视觉场景；所述驾驶模拟舱控制模块，获取车辆控制信号并发送至云端；所述云端，接收VR头盔模块发送的汽车三维模型信息以及场景信息，人体头部位姿信息，采集终端发送的RGB-D数据进行计算生成座椅位姿信号、试车视觉信号、看车视觉信号和触觉信号；所述驾驶舱座椅执行模块，接收到远端发送的座椅位姿信号并控制座椅产生试驾模拟时相应的变动；所述触觉反馈模块，接收云端发送的触觉信号并产生看车模拟时的用于刺激人体反应的信号。2.如权利要求1所述的一种基于VR看车和试驾模拟系统，其特征在于,云端接收RGB-D数据并解码计算人体骨骼位置信息并接收汽车三维模型信息并进行触觉计算得触觉信号并发送至触觉反馈模块，接收人体头部位姿信息并结合汽车三维模型数据及人体骨骼位置信息进行视觉计算得看车视觉信号并发送至VR头盔模块，接收人体头部位姿信息并结合汽车三维模型数据及人体骨骼位置信息以及场景信息进行视觉计算得试车视觉信号并发送至VR头盔模块，接收场景信息及车辆控制信号进行计算得座椅位姿信号并发送至驾驶舱座椅执行模块。3.如权利要求1所述的一种基于VR看车和试驾模拟系统，其特征在于,所述采集终端采用对准人体采集人体的RGB-D数据的4台ZEDStereoCamera；所述驾驶模拟舱控制模块包括座椅、方向盘、油门、刹车、离合器、换挡器、驾驶舱状态执行装置；所述VR头盔模块包括VR头盔；所述触觉反馈模块采用带压电传动装置的触觉反馈手套；所述云端采用服务器；所述VR头盔包括用于检测人体头部位姿信号的位姿传感器、汽车模型选择按钮、用于显示汽车三维模型的显示器。4.如权利要求3所述的一种基于VR看车和试驾的模拟系统，其特征在于,VR头盔的位姿传感器采用陀螺仪和加速度计。5.一种基于VR看车模拟方法，其特征在于,包括以下步骤：步骤一，生成汽车三维模型基于用户需求生成汽车三维模型并以汽车三维模型为...

【专利技术属性】
技术研发人员：张汝民，甘文东，王文一，曾辽原，陈建文，彭雄峰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51