用于辅助驾驶的增强现实的方法及装置制造方法及图纸

本发明专利技术实施例提供了一种用于辅助驾驶的增强现实的方法及装置，应用于增强现实技术领域，该方法包括：基于行车过程中获取的信息来确定行车辅助信息，然后显示行车辅助信息对应的虚拟三维显示信息，本发明专利技术能够在车辆行驶过程中应用增强现实技术帮助驾驶人更好的掌握车辆行驶过程中的行车信息，并可以提升用户体验。

Augmented Reality Method and Device for Auxiliary Driving

The embodiment of the present invention provides a method and device for augmented reality for assistant driving, which is applied in the field of augmented reality technology. The method includes: determining the driving assistance information based on the information obtained in the driving process, and then displaying the virtual three-dimensional display information corresponding to the driving assistance information. The invention can apply augmented reality technology to assist driving in the driving process. People can better grasp the driving information in the process of driving, and can enhance the user experience.

【技术实现步骤摘要】
用于辅助驾驶的增强现实的方法及装置
本专利技术涉及增强现实
，具体而言，本专利技术涉及一种用于辅助驾驶的增强现实的方法及装置。
技术介绍
AR(AugmentedReality，增强现实)技术可以将虚拟物体和/或虚拟信息叠加到真实场景中，从而使得用户获得超过现实的感官体验，即用户可以感知到一个同时存在真实物体和虚拟物体和/或虚拟信息的场景。在驾驶车辆的过程中，由于路况复杂以及驾驶人自身的一些限制，驾驶人难以完全掌握车辆行驶过程中的行车信息，从而可能导致事故的发生。通过将AR技术应用于车辆驾驶，可以帮助驾驶人更好的掌握车辆行驶过程中的行车信息，从而更安全的驾驶机动车辆，减少车辆行驶过程中事故的发生。因此如何在驾驶人驾驶车辆过程中应用AR技术成为一个关键问题。
技术实现思路
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：本专利技术的实施例根据一个方面，提供了一种用于辅助驾驶的增强现实的方法，包括：基于行车过程中获取的信息来确定行车辅助信息；显示所述行车辅助信息对应的虚拟三维显示信息。本专利技术的实施例根据另一个方面，还提供了一种用于辅助驾驶的增强现实的装置，包括：确定模块，用于基于行车过程中获取的信息来确定行车辅助信息；显示模块，用于显示所述确定模块确定的行车辅助信息对应的虚拟三维显示信息。本专利技术提供了一种用于辅助驾驶的增强现实的方法及装置，与现有技术相比，本专利技术基于行车过程中获取的信息来确定行车辅助信息，然后显示行车辅助信息对应的虚拟三维显示信息，即本专利技术通过车辆行驶过程中获取到的信息，确定出行车过程中的行车辅助信息，并将行车过程中的行车辅助信息对应的虚拟三维显示信息，通过视觉和/或听觉的方式呈现给驾驶人，以通知或者警示驾驶人，从而可以实现在车辆行驶过程中应用增强现实技术帮助驾驶人更好的掌握车辆行驶过程中的行车信息，进而可以提升用户体验。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例的一种用于辅助驾驶的增强现实的方法流程示意图；图2为本专利技术实施例中当道路表面未被完全覆盖，确定道路信息的示意图；图3为本专利技术实施例中当道路表面被完全覆盖，且中间车道隔离栏杆可见时，确定道路信息的示意图；图4为本专利技术实施例中道路被完全覆盖，无法区分道路表面和道路边缘的示意图；图5为本专利技术实施例中当道路表面被完全覆盖，且中间车道隔离栏杆不可见时，确定道路信息的示意图；图6为本专利技术实施例中显示车辙的示意图；图7为本专利技术实施例中当车辙不清楚时，增强显示车辙的示意图；图8为本专利技术实施例中显示AR信息与驾驶人视线的关系示意图；图9为本专利技术实施例中当交通标志/指示标志被部分或者全部覆盖时，显示完整的交通标志/指示标志的示意图；图10为本专利技术实施例中根据历史记录，确定当前位置对应的交通标志和/或指示标志的示意图；图11为本专利技术实施例中确定侧方后视镜扩展区域的示意图；图12为本专利技术实施例中物理的侧方后视镜的可视区域以及侧方后视镜扩展区域的示意图；图13为本专利技术实施例中内视镜扩展区域示意图；图14为本专利技术实施例中显示虚拟交通灯的示意图；图15为本专利技术实施例中根据交通警察手势，显示对应的AR信息的示意图；图16为本专利技术实施例中操作键盘所需按键的AR信息显示方式示意图；图17为本专利技术实施例中对适合停车和不适合停车的区域进行显示并显示相应的增强现实辅助驾驶显示信息的示意图；图18为本专利技术实施例中设备预先准备和渲染较大范围AR信息，以降低延迟的示意图；图19为本专利技术实施例中由于车速不同，行车区域显示方式不同的示意图；图20为本专利技术实施例中当同时存在多个AR信息需要显示时，多个AR信息显示方式示意图；图21为本专利技术实施例中当驾驶人的视线统计显示驾驶人的注意力偏向左侧时，设备将AR信息显示在右侧的示意图；图22为本专利技术实施例中的一种用于辅助驾驶的增强现实的装置结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“单个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。本
技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。ADAS(AdvancedDriverAssistanceSystem，高级驾驶人辅助系统)旨在帮助驾驶人安全的驾驶机动车辆，减少事故发生，ADAS可以基于路况通过对驾驶人用视觉、听觉或者触觉的方式进行反馈，以通知或警示驾驶人，可以包括但不限于车道偏离预警，车道保持系统等。现有的AD本文档来自技高网...

【技术保护点】
1.一种用于辅助驾驶的增强现实的方法，其特征在于，包括：基于行车过程中获取的信息来确定行车辅助信息；显示所述行车辅助信息对应的虚拟三维显示信息。

【技术特征摘要】
1.一种用于辅助驾驶的增强现实的方法，其特征在于，包括：基于行车过程中获取的信息来确定行车辅助信息；显示所述行车辅助信息对应的虚拟三维显示信息。2.根据权利要求1所述的方法，其特征在于，基于行车过程中获取的信息来确定行车辅助信息，包括：基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息；显示所述行车辅助信息对应的虚拟三维显示信息，包括：显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息。3.根据权利要求2所述的方法，其特征在于，当所述被遮挡的行车辅助信息包括：路面道路信息、和/或非路面交通标志信息时，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在所述被遮挡的行车辅助信息的位置上，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息。4.根据权利要求3所述的方法，基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息，包括以下至少之一：若所述被遮挡的行车辅助信息只有部分被遮挡，则根据所述行车辅助信息的可感知部分，确定所述被遮挡的行车辅助信息；基于当前车辆的位置以及当前行车中可感知区域的参照物信息，确定被遮挡的行车辅助信息；基于从驾驶人视角以外其它角度获取到的被遮挡的行车辅助信息的多媒体信息，确定被遮挡的行车辅助信息；基于行车过程中获取的可感知区域中被遮挡的行车辅助信息的多媒体信息，对所述多媒体信息进行增强和/或复原，确定出所述被遮挡的行车辅助信息；被遮挡的行车辅助信息包括路面道路信息时，通过将当前道路与当前道路的地图进行对齐，根据所述地图确定被遮挡的行车辅助信息；根据其他的行车辅助信息，确定当前被遮挡的行车辅助信息。5.根据权利要求4所述的方法，其特征在于，在基于行车过程中获取的可感知区域的信息确定被遮挡的行车辅助信息之后，所述方法还包括：对确定的被遮挡的行车辅助信息进行校正；显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在校正的位置处显示校正后的行车辅助信息对应的虚拟三维显示信息。6.根据权利要求5所述的方法，其特征在于，对确定的被遮挡的行车辅助信息进行校正包括以下至少一项：当被遮挡的行车辅助信息包括车道相关信息时，基于当前车辆预设范围内其他车辆的行车轨迹和/或路面车辙信息，校正被遮挡的行车辅助信息的位置；当被遮挡的行车辅助信息包括路面道路信息时，通过将当前道路与当前道路的地图进行对齐，根据所述地图校正被遮挡的行车辅助信息的位置。7.根据权利要求2-4任一项所述的方法，其特征在于，当所述被遮挡的行车辅助信息包括：车道相关信息时，显示的车道宽度小于实际的车道宽度。8.根据权利要求2所述的方法，其特征在于，当所述被遮挡的行车辅助信息包括：盲区信息时，显示所述被遮挡的行车辅助信息对应的虚拟三维显示信息，包括：在后视镜的扩展区域显示盲区信息对应的虚拟三维显示信息。9.根据权利要求8所述的方法，其特征在于，当后视镜是侧方后视镜时，在扩展区域显示的虚拟三维显示信息是该虚拟三维显示信息对应的真实物体按照所述侧方后视镜的镜面属性和驾驶人视点生成的。10.根据权利要求1所述的方法，其特征在于，基于行车过程中获取的信息来确定行车辅助信息，包括：获取当前路段的交通规则和/或交警动作信息，并对确定的当前路段的交通规则和/或交警动作信息进行呈现方式的转换；显示所述行车辅助信息对应的虚拟三维显示信息，包括：显示转换后的所述当前路段的交通规则和/或交警动作信息对应的虚拟三维显示信息。11.根据权利要求1-10任一项所述的方法，其特征在于，所述显示所述行车辅助信息对应的虚拟三维显示信息的步骤，包括以下至少之一：当感知到异常车辙信息时，显示确定出的异常车辙区域对应的虚拟三维显示信息和/或该区域为异常车辙区域的警示信息的虚拟三维显示信息；当需要显示当前车辆已行驶过的道路区域的交通标志时，显示已获取到的当前车辆已行驶过的道路区域的交通标志对应的虚拟三维显示信息；当感知到当前车辆所在路口存在交通标志和/或交通信号灯，且交通标志和/或交通信号灯满足预定显示条件，显示该路口交通标志和/或交通信号灯对应的虚拟三维显示信息；当需要显示操作表盘中的按键信息时，显示以下信息至少之一对应的虚拟三维显示信息：所述按键的位置信息、所述按键的功能名称信息、所述按键的操作指示信息、和所述按键；当需要显示停车区域信息时，显示允许停车且适合停车区域、允许停车但不适合停车区域、不允许停车区域至少之一对应的虚拟三维显示信息。12.根据权利要求11所述的方法，其特征在于，所述基于行车过程中获取的信息来确定行车辅助信息的步骤，包括以下至少之一：确定路面车辙信息是否存在异常车辙信息，若存在异常车辙信息，则确定存在异常车辙区域；当需要显示当前车辆已行驶过的道路区域的交通标志时，从获取到的多媒体信息中和/...

【专利技术属性】
技术研发人员：王淳，李炜明，刘志花，董杰，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11