本发明专利技术公开一种车机与AR/VR设备的姿态信息融合方法和系统，其中，车机与AR/VR设备的姿态信息融合方法包括：车机和AR/VR设备进行时钟同步操作；车机计算惯性系下的车机姿态信息并发送至AR/VR设备；AR/VR设备使用IMU信息融合视觉位姿信息，得到惯性系下的AR/VR设备姿态信息；AR/VR设备端的渲染引擎汇总惯性系下的AR/VR设备姿态信息和车机姿态信息，使用汇总的AR/VR设备姿态信息和车机姿态信息对车机的行驶状况场景进行渲染，得到渲染后的虚实融合场景信息；AR/VR设备显示渲染后的虚实融合场景信息。本发明专利技术的技术方案能解决现有技术中智能座舱难以实现AR/VR设备的数据与车机上IMU信息的数据融合，不能准确定位的问题。不能准确定位的问题。不能准确定位的问题。
【技术实现步骤摘要】
一种车机与AR/VR设备的姿态信息融合方法和系统
[0001]本专利技术涉及虚拟现实
，尤其涉及一种车机与AR/VR设备的姿态信息融合方法和系统。
技术介绍
[0002]在寻求汽车差异化的道路上，智能座舱成为车企竞逐的焦点。在智能座舱的硬件、软件和操作交互三大重要元素中，软硬件的交互效果直接影响汽车用户的体验。如今，在软硬件的交互方式上，AR/VR设备成为车企探索的新方向。
[0003]VR(Virtual Reality，虚拟现实技术)，又称虚拟实境或灵境技术，其基本实现方式是以计算机技术为主并综合多种影像技术，借助计算机等设备产生一个逼真且融合三维视觉、触觉和嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。AR(Augmented Reality，增强现实技术)是一种将虚拟信息与真实世界巧妙融合的技术，通过将计算机生成的虚拟信息模拟仿真后应用到真实世界，AR能够实现对真实世界的“增强”。在智能座舱中，AR/VR设备能够融合VR和AR两种技术，带给用户虚实融合以及逼真的汽车驾驶体验。
[0004]然而，在智能座舱中，现有AR/VR设备通常是基于摄像头和惯性传感器IMU定位的，在汽车行驶过程中，虽然AR/VR设备上的摄像头能够计算出用户在座舱内的相对位置，但车机上的IMU的测量值是相对于惯性系的，这样智能座舱难以实现AR/VR设备的数据与车机上IMU信息的数据融合，即不能准确定位。
技术实现思路
[0005]本专利技术提供一种车机与AR/VR设备的姿态信息融合方案，旨在解决现有技术提供的智能座舱难以实现AR/VR设备的数据与车机上IMU信息的数据融合，不能准确定位的问题。
[0006]为实现上述目的，根据本专利技术的第一方面，本专利技术提出了一种车机与AR/VR设备的姿态信息融合方法，包括：
[0007]车机和AR/VR设备进行时钟同步操作；
[0008]车机计算惯性系下的车机姿态信息并发送至AR/VR设备；
[0009]AR/VR设备使用IMU信息融合视觉位姿信息，得到惯性系下的AR/VR设备姿态信息；
[0010]AR/VR设备端的渲染引擎汇总惯性系下的AR/VR设备姿态信息和车机姿态信息，使用汇总的AR/VR设备姿态信息和车机姿态信息对车机的行驶状况场景进行渲染，得到渲染后的虚实融合场景信息；
[0011]AR/VR设备显示渲染后的虚实融合场景信息。
[0012]优选的，上述姿态信息融合方法中，车机计算惯性系下的车机姿态信息并发送至AR/VR设备的步骤包括：
[0013]车机使用融合算法融合车机内部传感器的传感数据，计算得到惯性系下的车机姿
态信息；
[0014]车机将惯性系下的车机姿态信息发送至AR/VR设备。
[0015]优选的，上述姿态信息融合方法中，AR/VR设备使用IMU信息融合视觉位姿信息，得到惯性系下的AR/VR设备姿态信息的步骤包括：
[0016]AR/VR设备通过视觉器件观测得到座舱坐标系下的视觉位姿信息；
[0017]AR/VR设备将座舱坐标系下的视觉位姿信息转化为惯性系下的视觉位姿信息；
[0018]AR/VR设备在惯性系下融合IMU信息和视觉位姿信息，得到惯性系下的AR/VR设备姿态信息。
[0019]优选的，上述姿态信息融合方法中，使用汇总的AR/VR设备姿态信息和车机姿态信息对车机的行驶状况场景进行渲染的步骤包括：
[0020]AR/VR设备向渲染引擎输出AR/VR设备姿态信息和车机姿态信息；
[0021]渲染引擎获取云端服务器发送的行驶状况场景；
[0022]AR/VR设备获取车机的车机交互信息，并发送至渲染引擎；
[0023]渲染引擎在同一坐标系下融合并渲染AR/VR设备姿态信息、车机姿态信息、行驶状况场景和车机交互信息，得到渲染后的虚实融合场景信息。
[0024]优选的，上述姿态信息融合方法中，渲染引擎在同一坐标系下融合并渲染AR/VR设备姿态信息、车机姿态信息、行驶状况场景和车机交互信息的步骤，包括：
[0025]渲染引擎将AR/VR设备姿态信息和车机姿态信息融合到惯性系或座舱坐标系下，得到车机设备融合姿态信息；
[0026]渲染引擎根据车机设备融合姿态信息，将行驶状况场景和车机的车机场景融合至同一坐标系，得到同一坐标系下的车机行驶场景图像信息；
[0027]渲染引擎实时获取车机交互信息，使用车机交互信息更新车机行驶场景图像信息；
[0028]渲染引擎对更新后的车机行驶场景图像信息进行渲染，得到渲染后的虚实融合场景信息。
[0029]优选的，上述姿态信息融合方法中，渲染引擎根据车机设备融合姿态信息，将行驶状况场景和车机的车机场景融合至同一坐标系，得到同一坐标系下的车机行驶场景图像信息的步骤包括：
[0030]渲染引擎选择车机设备融合姿态信息对应的坐标系，分别计算坐标系下行驶状况场景的坐标和车机场景的坐标；
[0031]渲染引擎使用车机设备融合姿态信息，计算AR/VR设备的视野范围；
[0032]渲染引擎根据行驶状况场景信息的坐标和车机场景的坐标，将行驶状况场景和车机场景添加至AR/VR设备的视野范围，得到车机行驶场景图像信息。
[0033]优选的，上述姿态信息融合方法中，使用车机交互信息更新车机行驶场景图像信息的步骤包括：
[0034]渲染引擎根据车机交互信息重新计算车机姿态信息；
[0035]渲染引擎根据重新计算的车机姿态信息，重新融合行驶状况场景和车机场景，得到更新后的车机行驶场景图像信息。
[0036]优选的，上述姿态信息融合方法中，渲染引擎将AR/VR设备姿态信息和车机姿态信
息融合到惯性系或座舱坐标系下，得到车机设备融合姿态信息的步骤包括：
[0037]渲染引擎融合惯性系下车机姿态信息和AR/VR设备姿态信息分别包含的惯性系坐标，得到惯性系下的车机设备融合姿态信息；
[0038]或者，
[0039]渲染引擎使用惯性系下AR/VR设备姿态信息以及惯性系和座舱坐标系的转换关系，计算座舱坐标系下AR/VR设备姿态信息；
[0040]在座舱坐标系下融合AR/VR设备姿态信息和车机姿态信息，得到座舱坐标系下的车机设备融合姿态信息。
[0041]根据本专利技术的第二方面，本专利技术还提供了一种车机与AR/VR设备的姿态信息融合系统包括：时钟同步的车机和AR/VR设备；
[0042]车机用于计算惯性系下的车机姿态信息并发送至AR/VR设备；
[0043]AR/VR设备用于使用IMU信息融合视觉位姿信息，得到惯性系下的AR/VR设备姿态信息；
[0044]AR/VR设备端的渲染引擎用于汇总惯性系下的AR/VR设备姿态信息和机姿态信息，使用汇总的AR/VR设备姿态信息和车机姿态信息对车机的行驶状况场景进行渲染，得到渲染后的虚实融合场景信息；
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车机与AR/VR设备的姿态信息融合方法，其特征在于，包括：车机和AR/VR设备进行时钟同步操作；所述车机计算惯性系下的车机姿态信息并发送至所述AR/VR设备；所述AR/VR设备使用IMU信息融合视觉位姿信息，得到惯性系下的AR/VR设备姿态信息；所述AR/VR设备端的渲染引擎汇总所述惯性系下的AR/VR设备姿态信息和车机姿态信息，使用汇总的所述AR/VR设备姿态信息和车机姿态信息对所述车机的行驶状况场景进行渲染，得到渲染后的虚实融合场景信息；所述AR/VR设备显示所述渲染后的虚实融合场景信息。2.根据权利要求1所述的姿态信息融合方法，其特征在于，所述车机计算惯性系下的车机姿态信息并发送至所述AR/VR设备的步骤，包括：所述车机使用融合算法融合所述车机内部传感器的传感数据，计算得到惯性系下的车机姿态信息；所述车机将所述惯性系下的车机姿态信息发送至所述AR/VR设备。3.根据权利要求1或2所述的姿态信息融合方法，其特征在于，所述AR/VR设备使用IMU信息融合视觉位姿信息，得到惯性系下的AR/VR设备姿态信息的步骤，包括：所述AR/VR设备通过视觉器件观测得到座舱坐标系下的视觉位姿信息；所述AR/VR设备将所述座舱坐标系下的视觉位姿信息转化为惯性系下的视觉位姿信息；所述AR/VR设备在惯性系下融合所述IMU信息和所述视觉位姿信息，得到所述惯性系下的AR/VR设备姿态信息。4.根据权利要求1所述的姿态信息融合方法，其特征在于，所述使用汇总的所述AR/VR设备姿态信息和车机姿态信息对所述车机的行驶状况场景进行渲染的步骤，包括：所述AR/VR设备向所述渲染引擎输出所述AR/VR设备姿态信息和车机姿态信息；所述渲染引擎获取云端服务器发送的行驶状况场景；所述AR/VR设备获取车机的车机交互信息，并发送至所述渲染引擎；所述渲染引擎在同一坐标系下融合并渲染所述AR/VR设备姿态信息、所述车机姿态信息、所述行驶状况场景和所述车机交互信息，得到所述渲染后的虚实融合场景信息。5.根据权利要求4所述的姿态信息融合方法，其特征在于，所述渲染引擎在同一坐标系下融合并渲染所述AR/VR设备姿态信息、所述车机姿态信息、所述行驶状况场景和所述车机交互信息的步骤，包括：所述渲染引擎将所述AR/VR设备姿态信息和所述车机姿态信息融合到惯性系或座舱坐标系下，得到车机设备融合姿态信息；所述渲染引擎根据所述车机设备融合姿态信息，将所述行驶状况场景和所述车机的车机场景融合至同一坐标系，得到同一坐标系下的车机行驶场景图像信息；所述渲染引擎实时获取所述车机交互信息，使用所述车机交互信息更新所述车机行驶场景图像信息；所述渲染引擎对更新后的所述车机行驶场景图像信息进行渲染，得到所述渲染后的虚实融合场景信息。6.根据权利要求5所述的姿态信息融合方法，其特征在于...
【专利技术属性】
技术研发人员：史明，
申请(专利权)人：北京梦想绽放科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。