用于在车辆上鲁棒地执行AR应用的系统和方法技术方案

本发明专利技术包括一种用于在车辆上鲁棒地显示增强现实AR应用的系统和方法。所述系统包括：移动终端设备，其被设置用于在车辆上执行AR应用，其中，该AR应用包括借助三维网格在车辆上显示AR内容。移动终端设备包括至少一个传感器，其被设置用于检测关于移动终端设备的位置的物理传感器数据。移动终端设备包括检测单元，其被设置用于检测车辆上的可预定的固定点。此外，移动终端设备包括计算单元，其被设置用于评估物理传感器数据和所检测的固定点并在车辆上接触模拟地显示所述AR内容。在车辆上接触模拟地显示所述AR内容。在车辆上接触模拟地显示所述AR内容。

【技术实现步骤摘要】
用于在车辆上鲁棒地执行AR应用的系统和方法


[0001]本专利技术涉及一种用于在车辆上鲁棒地执行增强现实(AR)应用的系统和方法。

技术介绍

[0002]关于车辆的AR应用的使用是已知的。已知在内部空间中在车窗上显示与车辆周围环境有关的AR内容。此外还已知借助AR应用以不同配置方案来可视化车辆，例如为了使潜在客户更容易配置新车。在车辆上AR应用时的问题是对此的正确初始化和显示。例如，当边缘匹配时，良好的光照条件是用于正确初始化的先决条件，因此由于恶劣的环境条件(例如恶劣的天气情况)可能使显示变得困难。

技术实现思路

[0003]本专利技术的任务在于提供一种解决方案，所述解决方案能在车辆上实现AR内容的鲁棒且接触模拟(接触类似或Kontaktanalog)的显示。
[0004]根据本专利技术，所述任务通过独立权利要求的特征解决。优选的实施方式是从属权利要求的技术方案。
[0005]上述任务通过一种用于在车辆上鲁棒地显示增强现实AR应用的系统得以解决，所述系统包括：
[0006]移动终端设备，其被设置用于在车辆上执行AR应用，其中，该AR应用包括借助三维网格在车辆上显示AR内容；
[0007]其中，移动终端设备包括：
[0008]-至少一个传感器，其被设置用于检测关于移动终端设备的位置的物理传感器数据；
[0009]-检测单元，其被设置用于检测车辆上的可预定的固定点；和
[0010]-计算单元，其被设置用于评估物理传感器数据和所检测的固定点并在车辆上接触模拟地显示所述AR内容。
[0011]在本文的范围内，术语“车辆”包括用于运输人员(客运)、货物(货运)或工具(机器或辅助设备)的移动交通工具。特别地，术语车辆包括机动车辆以及可以至少部分地被电驱动的机动车辆(电动汽车，混合动力车辆)和自动驾驶车辆。术语“自动驾驶车辆”或“自动驾驶”在本文的范畴内涵盖具有自动纵向或横向引导的驾驶或理解为具有自动纵向和横向引导的自主驾驶。自动驾驶可以例如涉及在高速公路上较长时间的驾驶或在停车或调车的范畴内时间有限的驾驶。术语“自动驾驶”包括具有任何自动化程度的自动驾驶。示例性的自动化程度是辅助驾驶、部分自动驾驶、高度自动驾驶或全自动驾驶。
[0012]这些自动化程度由联邦公路研究所(BASt)定义(请参阅BASt出版物“Forschung kompakt”，版本11/2012)。在辅助驾驶的情况下，驾驶员持续执行纵向或横向引导，而系统在一定界限内承担相应其他功能。在部分自动驾驶的情况下，系统在一定时间段内和/或在特定情况下接管纵向和横向引导，此时驾驶员必须像辅助驾驶一样持续监控系统。在高度
自动驾驶的情况下，该系统在一定时期段内接管纵向和横向引导，而驾驶员不必持续监控系统；不过，驾驶员必须能够在一定时间内接管车辆引导。在全自动驾驶的情况下，该系统可以针对特定应用情况在所有情形下自动进行驾驶；对于这种应用情况不再需要驾驶员。上面提到的四种自动化程度对应于SAE J3016标准(SAE-汽车工程学会)的SAE级别1至4。此外，在SAE J3016中还设有SAE 5级作为最高的自动化级别，其未包含在BASt的定义中。SAE 5级对应于无驾驶员驾驶，在无驾驶员驾驶中，系统可以在整个驾驶中像人类驾驶员一样自动处理所有情形。
[0013]车辆可以具有通信模块，该通信模块用于与其他通信参与者、例如其他车辆，服务器，移动终端设备等建立通信连接。通信连接可用于数据传输。通信模块可以包括用户身份模块/用户识别模块(Subscriber Identity Module)或SIM卡(未示出)，其用于经由移动无线电系统或移动无线电网络建立通信连接。用户身份模块在此唯一地在蜂窝无线电网络中识别通信模块。通信连接可以是数据连接(例如，分组交换)和/或有线通信连接(例如，线路交换)。经由其他当前和将来技术、例如局部网或局域网(LAN)如无线局域网等的无线通信连接可以通过通信模块与其他通信参与者建立无线局域网等。
[0014]在本文的范围内，术语“移动终端设备”包括如下设备，所述设备能够在移动网络中经由局部网或局域网(LAN)、例如无线局域网(WiFi/WLAN)通信，或者所述设备能够在移动网络中经由广域网(WAN)、例如全球移动通信系统(GSM)、通用分组无线业务(GPRS)、全域进化增强资料率(EDGE)、通用移动电信系统(UMTS)、高速下行链路/上行链路分组接入(HSDPA、HSUPA)、长期演进(LTE)、全球微波接入互通性(WIMAX)进行无线通信。
[0015]通过其他当前或将来的通信技术、例如5G移动无线电系统的通信是可能的。术语“移动终端设备”尤其是包括智能手机，但也包括智能AR眼镜、其他移动电话或手机、个人数字助理(PDA)、平板电脑、笔记本电脑、智能手表以及所有当前以及将来的电子设备，这些电子设备配设有用于充电以及执行应用App的技术。
[0016]术语增强现实(AR)或扩展的现实包括对现实感知的计算机辅助性扩展。计算机辅助性扩展尤其包括对信息的视觉显示而对图像、视频等借助插入或叠加添加计算机生成的附加信息和/或虚拟对象。在本文的范围内，术语“AR应用”包括如下应用，所述应用可以由移动终端设备加载并执行，并以AR或AR内容扩展现实。
[0017]该系统包括移动终端设备，该移动终端设备被设置用于在车辆上或与车辆有关地加载并执行AR应用。该AR应用包括借助三维网格在车辆上显示AR内容。
[0018]三维(3D)网格(3D grid)或3D网状物是定义对象边缘的对象3D模型(在本例中为车辆)。
[0019]该移动终端包括至少一个传感器，该传感器被设置用于检测关于该移动终端设备的位置的物理传感器数据。
[0020]所述至少一个传感器可以包括以下传感器中的一个或多个：
[0021]陀螺仪或陀螺仪传感器或位置传感器，其被设置用于确定为物理传感器数据；和/或
[0022]运动传感器，其设置为用于将移动终端设备沿X轴、Y轴和Z轴的加速度确定为物理传感器数据。由此可以确定移动终端设备的位置或位置变化。
[0023]运动传感器的物理数据与陀螺仪的物理数据的组合可以使得能够确定移动终端
设备的位置。
[0024]该移动终端设备还包括检测单元，该检测单元被设置用于检测车辆上的可预定的固定点。
[0025]车辆上的可预定或预定的固定点可包括例如安置在车辆上的标志制造商标志或制造商徽标。
[0026]检测单元例如可以包括摄像机。借助摄像机可以检测在车辆上的可预定的固定点。
[0027]该移动终端设备还包括计算单元，该计算单元被设置用于评估由所述至少一个传感器检测的物理传感器数据以及在车辆上检测的固定点，并在车辆上接触模拟地显示AR内容。
[0028]对车辆上可预定或预定的固定点的检测有利地允许或实现了对车辆相对于移动终端设备的相对位置的检测。因此，当创建3D网格以初始化AR应用时可以舍弃计算耗费本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在车辆(110)上鲁棒地显示增强现实AR应用的系统(100)，所述系统包括：移动终端设备(120)，其被设置用于在车辆(110)上执行AR应用，其中，该AR应用包括借助三维网格(320)在车辆(110)上显示AR内容(510、520)；其中，移动终端设备(120)包括：-至少一个传感器(122A...122N)，其被设置用于检测关于移动终端设备(122)的位置的物理传感器数据；-检测单元(124)，其被设置用于检测车辆(110)上的可预定的固定点(114、310)；和-计算单元(126)，其被设置用于评估物理传感器数据和所检测的固定点(114、310)并接触模拟地在车辆(110)上显示所述AR内容。2.根据权利要求1所述的系统(100)，其中，所述移动终端设备(120)包括输入和输出单元(128)，其被设置用于接收用户输入；其中，计算单元(126)被设置用于以用户输入(530)扩展AR内容(510、520)。3.根据前述权利要求中的任一项所述的系统(100)，其中，为了在车辆(110)上接触模拟地显示所述AR内容(510、520)而对物理传感器数据和可预定的固定点(114、310)的评估包括：-确定移动终端设备(120)与可预定的固定点(114、310)的确切相对位置；-确定车辆(110)与移动终端设备(120)的确切相对位置；-初始化用于在车辆(110)上接触模拟地显示AR内容(510、520)的三维网格(320)；和-通过同步定位与建图SLAM接触模拟地显示AR内容(510、520)。4.根据前述权利要求中的任一项所述的系统(100)，其中，所述AR内容(510、520)包括：-车辆(110)上存在的损伤；和/或-对于车辆(110)的操作说明；和/或-用于车辆(110)的配件；和/或-车辆(110)上的修理；和/或-车辆(110)上的信息内容。5.一种用于在车辆(110)上鲁棒地显示增强现...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：宝马股份公司，
类型：发明
国别省市：