用于显示虚拟路线的方法和装置制造方法及图纸

一种用于显示虚拟路线的方法和装置，基于从传感器异步接收的感测数据来估计车辆的位置，并且输出通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中而生成的三维(3D)虚拟路线。

Methods and devices for displaying virtual routes

A method and device for displaying virtual routes estimates the position of a vehicle based on sensing data received asynchronously from a sensor, and outputs a three-dimensional (3D) virtual route generated by registering the driving environment model corresponding to the driving environment of the vehicle and the position of the vehicle in the map information.

【技术实现步骤摘要】
用于显示虚拟路线的方法和装置相关申请的交叉引用本申请要求2017年11月9日在韩国知识产权局递交的韩国专利申请No.10-2017-0148756的权益，其全部公开内容通过引用合并于此以用于所有目的。
以下描述涉及用于显示虚拟路线的方法和装置。
技术介绍
为了辅助驾驶员，可以通过包括在车辆中的显示器或导航系统来提供表示各种可视信息的增强现实技术(AR)。例如，基于二维(2D)平视显示器(HUD)的导航设备请求用户直接执行要显示的路线信息与实际行驶信息之间的登记，或者在固定位置显示虚拟图像。因此，可能难以提供正确的方向，或者虚拟图像可能是行驶期间的危险因素。基于三维(3D)HUD的导航系统确定道路或车辆的空间信息，并且因此可以基于实际行驶环境来增强路线。然而，用户眼睛的位置可能变化，并且取决于用户眼睛的位置，在3D虚拟路线增强的位置处可能发生错误。
技术实现思路
提供了本
技术实现思路
以介绍下面在具体实施方式中进一步描述的对简化形式的理念的选择。本
技术实现思路
不意在标识所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。在一个总体方面，提供了一种显示虚拟路线的方法，包括：基于从传感器异步接收的感测数据来估计车辆的位置，通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中来生成三维(3D)虚拟路线，以及输出所述3D虚拟路线。所述传感器可以包括全球定位系统(GPS)传感器、惯性测量单元(IMU)传感器、车载诊断(OBD)传感器和相机传感器中的任意一个或任意组合。可以针对每个传感器，单独地对所述感测数据进行采样。所述估计可以包括将与处理对应的所述感测数据的处理时间有关的信息插入到每条感测数据中，并且基于所述感测数据估计所述车辆的位置，每个感测数据包括与所述处理时间有关的信息。所述估计可以包括基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置，基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置，以及基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。所述方法可以包括基于从所述传感器当中的相机传感器获取的图像数据来进行测距，其中所述估计包括基于所述感测数据和所述测距来估计所述车辆的位置。基于所述感测数据和所述测距的所述估计包括：基于除了所述图像数据之外的一条感测数据来估计所述车辆的所述位置；以及基于所述测距校正所述车辆的所述位置。生成所述3D虚拟路线可以包括：基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像，检测包括在所述分割图像中的对象，基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型，并且通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。生成所述3D虚拟路线可以包括：基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理，并且通过应用所述照明和所述纹理来生成所述3D虚拟路线。所述方法可以包括变换所述3D虚拟路线以匹配所述车辆的驾驶员的视点，其中所述输出可以包括显示变换后的3D虚拟路线。输出变换后的3D虚拟路线可以包括通过所述车辆的平视显示器(HUD)显示变换后的3D虚拟路线。所述变换可以包括：通过跟踪所述车辆的所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点，基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系，并且基于所述变换关系来变换所述3D虚拟路线。在一个总体方面，提供了一种用于显示虚拟路线的装置，所述装置包括：传感器模块，包括被配置为对感测数据进行感测的传感器，所述感测数据包括车辆的行驶环境的图像、所述车辆的姿势以及所述车辆的位置；存储器，被配置为存储地图信息；处理器，被配置为基于从所述传感器异步接收的感测数据来估计所述车辆的位置，并且通过将与所述车辆的所述行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成三维(3D)虚拟路线；以及显示器，被配置为显示所述3D虚拟路线。所述传感器可以包括以下项中的至少两项或更多项：全球定位系统(GPS)传感器，被配置为测量所述车辆的绝对路线；惯性测量单元(IMU)传感器，被配置为测量所述车辆的相对路线；车载诊断(OBD)传感器，被配置为测量所述车辆的行驶距离；以及相机传感器，被配置为捕获包括所述车辆的所述行驶环境在内的图像数据。可以针对每个传感器，单独地对所述感测数据进行采样。所述处理器可以被配置为将与处理对应的所述感测数据的处理时间有关的信息插入到每条感测数据中，并且基于所述感测数据估计所述车辆的位置，每个感测数据包括与所述处理时间有关的信息。所述处理器可以被配置为基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置，基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置，以及基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。所述处理器可以被配置为基于从所述传感器当中的相机传感器获取的图像数据来进行测距，并且基于所述感测数据和所述测距来估计所述车辆的所述位置。所述处理器可以被配置为基于除了图像数据之外的一条感测数据来估计所述车辆的位置，并且基于测距来校正所述车辆的位置。所述处理器可以被配置为基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像，检测包括在所述分割图像中的对象，基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型，并且通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。所述处理器可以被配置为基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理，并且基于所述照明和所述纹理来变换所述3D虚拟路线。所述装置可以包括：第二相机传感器，被配置为跟踪所述车辆的驾驶员的视点，所述处理器可以被配置为变换所述3D虚拟路线以匹配所述车辆的所述驾驶员的视点，并且通过所述显示器输出变换后的3D虚拟路线。所述显示器包括平视显示器(HUD)。所述处理器可以被配置为通过跟踪所述车辆的所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点，基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系，并且基于所述变换关系来变换所述3D虚拟路线。每个传感器可以单独地感测所述车辆的所述位置或姿势，并且每个传感器的感测速度可以不同步。在一个总体方面，提供了一种虚拟路线显示装置，包括：传感器模块，包括被配置为异步生成感测数据的传感器，所述感测数据包括：车辆的行驶环境的图像、基于对所述车辆的驾驶员的双眼的3D位置的跟踪而生成的所述车辆的驾驶员的视点、所述车辆的姿势以及所述车辆的位置；平视显示器(HUD)；存储器，被配置为存储地图信息和指令；以及处理器，被配置本文档来自技高网...

【技术保护点】
1.一种显示虚拟路线的方法，所述方法包括：基于从传感器异步接收的感测数据来估计车辆的位置；通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中来生成三维3D虚拟路线；以及输出所述3D虚拟路线。

【技术特征摘要】
2017.11.09 KR 10-2017-01487561.一种显示虚拟路线的方法，所述方法包括：基于从传感器异步接收的感测数据来估计车辆的位置；通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中来生成三维3D虚拟路线；以及输出所述3D虚拟路线。2.根据权利要求1所述的方法，其中所述传感器包括全球定位系统GPS传感器、惯性测量单元IMU传感器、车载诊断OBD传感器和相机传感器中的任意一个或任意组合。3.根据权利要求1所述的方法，其中针对所述传感器中的每个传感器，单独地对所述感测数据进行采样。4.根据权利要求1所述的方法，其中所述估计包括：将与处理对应的感测数据的处理时间有关的信息插入所述感测数据中的每条感测数据；以及基于所述感测数据来估计所述车辆的所述位置，所述感测数据中的每个感测数据包括与所述处理时间有关的信息。5.根据权利要求1所述的方法，其中所述估计包括：基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置；基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置；以及基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。6.根据权利要求1所述的方法，还包括：基于从所述传感器当中的相机传感器获取的图像数据来进行测距，其中所述估计包括基于所述感测数据和所述测距来估计所述车辆的所述位置。7.根据权利要求6所述的方法，其中基于所述感测数据和所述测距的所述估计包括：基于所述感测数据中除了所述图像数据之外的一条感测数据来估计所述车辆的所述位置；以及基于所述测距来校正所述车辆的所述位置。8.根据权利要求1所述的方法，其中生成所述3D虚拟路线包括：基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像；检测包括在所述分割图像中的对象；基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型；以及通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。9.根据权利要求1所述的方法，其中生成所述3D虚拟路线包括：基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理；以及通过应用所述照明和所述纹理来生成所述3D虚拟路线。10.根据权利要求1所述的方法，还包括：变换所述3D虚拟路线以匹配所述车辆的驾驶员的视点，其中所述输出包括显示变换后的3D虚拟路线。11.根据权利要求10所述的方法，其中输出变换后的3D虚拟路线包括通过所述车辆的平视显示器HUD显示变换后的3D虚拟路线。12.根据权利要求10所述的方法，其中所述变换包括：通过跟踪所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点；基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系；以及基于所述变换关系来变换所述3D虚拟路线。13.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使得所述处理器执行权利要求1所述的方法。14.一种用于显示虚拟路线的装置，所述装置包括：传感器模块，包括被配置为对感测数据进行感测的传感器，所述感测数据包括车辆的行驶环境的图像、车辆的姿势以及车辆的位置；存储器，被配置为存储地图信息；处理器，被配置为基于从所述传感器异步接收的感测数据来估计所述车辆的位置，并且通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成三维3D虚拟路线；以及显示器，被配置为显示所述3D虚拟路线。15.根据权利要求14所述的装置，其中所述传感器包括以下项中的至少两项或更多项：全球定位系统GPS...

【专利技术属性】
技术研发人员：郑景夫，姜纳硖，李基彰，洪性勋，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR