【技术实现步骤摘要】
【国外来华专利技术】元宇宙数据融合系统
[0001]本专利技术涉及用于辆车或同时用于一组车辆的元宇宙数据融合系统。元宇宙将虚拟现实和现实世界组合成混合现实的统一表示。车辆可以是自主车辆(AV)，并且元宇宙数据融合系统不仅在AV软件测试和设计方面而且还在AV摩托车运动竞赛和娱乐方面开辟了新的可能性。
技术介绍
[0002]自主系统(机器人、自驾驶汽车、无人机等)需要新的高效工具来在各种场景(尤其是最复杂和最危险的场景)中开发、测试、试验和挑战此类系统。这可以通过进行各种虚拟模拟来实现，但模拟实时物理的许多完全虚拟模型的准确性仍然不足。
[0003]在现实世界测试轨道或试验场上对真实现实世界车辆进行实验被广泛实践来解决该问题；例如，可以将物理障碍物移动到自主车辆的路径中，以观看车辆控制系统能够多好地定位、识别、跟踪和避开障碍物，尤其是在考虑到竞争要求时，该障碍物诸如附近的路缘石、道路标志。但这是昂贵的、设置缓慢、不一致并且在运行最极端的场景时经常存在物理损坏、受伤等。
[0004]本专利技术还利用以下内容：数字世界模型；利用虚拟对象增强物理世界的图像；“元宇宙”；创建现实世界对象或事件的现场数字复制品；影响物理世界的增强现实世界。这些中的每一个都是独立已知的，如下所述。
[0005]数字世界模型的概念并不新鲜：具有卫星导航设备的每个驾驶员都具有对物理世界的数字孪生体的访问权，在该孪生体上可以显示他们的实时位置。每个机器人需要物理世界的数字孪生体，以便自由移动并与动态对象实时交互。用于同时定位和映射(SLAM)的技术已...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于现实世界车辆中的数据融合系统，其中所述车辆包括多个数据源，所述多个数据源生成被空间映射到现实世界区域的传感器数据；并且其中所述数据融合系统被配置为将(i)被空间映射的传感器数据与(ii)虚拟数据融合或整合，所述虚拟数是在所述车辆外部已经生成的，或者无论在所述车辆内部还是外部已独立于所述车辆或所述车辆的操作而生成的，并且还被空间映射到虚拟世界。数据融合2.根据权利要求1所述的数据融合系统，其中存在生成控制数据的数据源，并且其中所述数据融合系统进一步被配置为将所述控制数据以及所述传感器数据与所述虚拟数据融合或整合。3.根据任一前述权利要求所述的数据融合系统，其中融合或整合的(i)传感器数据和/或控制数据以及(ii)所述虚拟数据被供应给依赖于该融合或整合的数据输入来控制所述车辆的现实世界车辆控制系统。4.根据任一前述权利要求所述的数据融合系统，其中所述车辆被配置为自主响应所述融合或整合的(i)传感器数据和/或控制数据以及(ii)所述虚拟数据。5.根据任一前述权利要求所述的数据融合系统，其中由所述车辆控制系统生成的数据与(i)所述传感器数据和/或控制数据以及(ii)所述虚拟数据融合或整合。6.根据任一前述权利要求所述的数据融合系统，其中数据融合或整合以接近零的等待时间发生。7.根据任一前述权利要求所述的数据融合系统，其中数据处理部件(“数据融入器”)执行以下任一项的功能：(i)处理所述虚拟数据；(ii)将所述虚拟数据传递到处理所述传感器数据和/或控制数据的车辆子系统中，使得所述虚拟数据能够与所述传感器数据和/或控制数据融合、合并或整合。世界模型8.根据任一前述权利要求所述的数据融合系统，其将(i)所述传感器数据和/或控制数据以及(ii)所述虚拟数据融合或整合到单个世界模型中。9.根据前述权利要求8所述的数据融合系统，其中所述单个世界模型是融合的被空间映射的世界，其是协调(i)所述传感器数据和/或控制数据以及(ii)所述虚拟数据中的任何差异的全局状态的单个统一表示。10.根据前述权利要求8或9所述的数据融合系统，其使用从下列项生成的世界模型：(i)一个或多个现实世界源，包括被空间映射的现实世界区域；以及(ii)一个或多个虚拟世界源，包括对应于所述现实世界区域的被空间映射的虚拟世界区域。11.根据前述权利要求8
‑
10所述的数据融合系统，其中所述世界模型驻留在或存储在存储器中，所述存储器(i)完全在所述车辆中，或(ii)分布在车内存储器和所述车辆外部的存储器之间，或(iii)完全在所述车辆外部。12.根据前述权利要求8
‑
11中任一项所述的数据融合系统，其中所述世界模型包括以下中的一个或多个：对象、条件和事件；其中对象指定所述现实世界和所述虚拟世界中的被空间映射的元素或事物；条件表征所述现实世界和所述虚拟世界的被空间映射的区域中的外界环境；并且事件指定对象在限定情况下如何表现或反应。13.根据前述权利要求8
‑
12中任一项所述的数据融合系统，其预测所述世界模型中的
对象的下一个最可能状态。14.根据前述权利要求8
‑
13中任一项所述的数据融合系统，其中使用以下技术中的一种或多种来预测所述世界模型中的对象的所述下一个最可能状态：航位推算、数学外推法、卡尔曼过滤、深度学习推理和特定问题解决方法，如用于车辆轮胎动力学的Pacejka模型或用于在未知环境中定位的SLAM。15.根据前述权利要求8
‑
14中任一项所述的数据融合系统，其中所述数据融合系统执行所述下一个最可能状态的实时数据处理和计算，但仅针对那些暂时参与到修改或形成局部世界模型的动作中的对象。虚拟世界16.根据前述权利要求中任一项所述的数据融合系统，其中所述被空间映射的虚拟数据是在被空间映射的虚拟世界内生成的。17.根据前述权利要求16所述的数据融合系统，其中所述虚拟世界是在所述车辆外部的系统中创建的，被独立于所述车辆控制，并且不是由所述车辆或所述车辆中的任何传感器或控制系统生成的。18.根据前述权利要求16或17所述的数据融合系统，其中所述虚拟世界完全驻留在所述车辆外部并且共享相同空间映射，或以其他方式对应于驻留或存储在存储器中的所述世界模型，所述存储器(i)完全在所述车辆中，或(ii)分布在车内存储器和所述车辆外部的存储器之间，或(iii)完全在所述车辆外部。19.根据前述权利要求16
‑
18所述的数据融合系统，其中所述虚拟数据包括与供所述车辆在其中移动或操作的世界成镜像、空间匹配或至少部分地空间相关的数据。20.根据前述权利要求16
‑
19所述的数据融合系统，其中所述虚拟数据包括：呈现或提供要与来自所述车内传感器中的一些或全部车内传感器的数据融合的数据的事件、条件或对象中的一个或多个，使得所述车内传感器就好像所述事件、条件或对象是真实现实世界事件、条件或对象一样做出反应。21.根据前述权利要求16
‑
20所述的数据融合系统，其中所述虚拟数据包括呈现给现实世界车辆控制系统的事件、条件或对象中的一个或多个，就好像所述事件、条件或对象是由所述车内传感器中的一些或全部车内传感器检测到的真实事件、条件或对象一样。22.根据前述权利要求16
‑
21所述的数据融合系统，其中所述虚拟数据包括事件、条件或对象中的一个或多个，所述事件、条件或对象被添加以测试所述现实世界车辆控制或规划和控制系统如何有效地对所述事件、条件或对象做出反应。23.根据前述权利要求16
‑
22所述的数据融合系统，其中所述虚拟数据包括所述车辆必须避开的对象，诸如虚拟人、锥、障碍物、标牌、建筑物或其他车辆。24.根据前述权利要求16
‑
23所述的数据融合系统，其中所述虚拟数据包括所述车辆必须做出反应的对象和/或条件，诸如雨、雾、冰、不平坦的道路表面。25.根据前述权利要求16
‑
24所述的数据融合系统，其中所述虚拟数据包括所述车辆必须通过的对象或战利品，诸如路线路径、交叉口、入口和出口。26.根据前述权利要求16
‑
25所述的数据融合系统，其中所述虚拟数据包括所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。27.根据前述权利要求16
‑
26所述的数据融合系统，其中所述虚拟数据包括所述车辆必
须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近所述车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。28.根据前述权利要求16
‑
27所述的数据融合系统，其中所述虚拟数据包括用于形成媒体娱乐的一部分的对象或战利品和/或条件，诸如电子竞技流、电视、游戏、影片。29.根据前述权利要求16
‑
28所述的数据融合系统，其中所述虚拟数据包括用于形成车辆测试或开发程序的一部分的对象和/或条件中的一个或多个。现实世界30.根据前述权利要求中任一项所述的数据融合系统，其处理包括以下任一项的数据：其他车辆、机器人、无人机和人员的所述现实世界位置、局部地形、所述车辆正在行驶的路线或道路、交通灯的任何其他状态、一天中的时间、天气条件、道路类型、天气、停车位和车库的位置。代理31.根据任一前述权利要求所述的数据融合系统，其使用负责对添加或注入到所述世界模型中的对象或事件或条件进行跟踪的代理。32.根据前述权利要求31所述的数据融合系统，其中代理具有它们自己的局部世界模型，所述局部世界模型对与每个代理的状态和行为相关的所述对象、事件或条件进行跟踪。33.根据前述权利要求31或32所述的数据融合系统，其中代理将它们的状态和行为与其他代理共享。34.根据前述权利要求31
‑
33所述的数据融合系统，其中所述代理负责对添加或注入到所述世界模型中的对象、事件和条件进行跟踪。35.根据前述权利要求31
‑
34所述的数据融合系统，其中所述代理负责处理错误。36.根据前述权利要求31
‑
35所述的数据融合系统，其中单个代理对应于或表示单个虚拟车辆。37.根据前述权利要求31
‑
36所述的数据融合系统，其中世界模型包括包含多个虚拟车辆的多代理系统。数据分布框架38.根据前述权利要求中任一项所述的数据融合系统，其使用分散的、以数据为中心的架构，诸如OMG DDS框架，来处理或传送所述传感器数据、控制数据和所述虚拟数据中的一个或多个。39.根据权利要求38所述的数据融合系统，其中隧道传输DDS数据包通过非IP网络进行隧道传输，所述非IP网络包括但不限于工业M2M(机器对机器)协议、V2X(车辆对一切)、CAN、FlexRay等。40.根据前述权利要求38或39所述的数据融合系统，其中数据分布框架提供具有用于车辆对一切(V2X)通信的增强协议堆栈的连接方法，所述连接方法利用以下特征中的一个或多个来扩展现有V2X系统的能力和性能：以每10毫秒的频率广播消息的能力；使得信号能够经由V2X无线电透明地发送到常规V2X系统并且不影响其工作的扩展的消息格式；IEEE 802.11p和3GPP C
‑
V2X上进行的DDS隧道传输；经由V2X无线电针对任何UDP和TCP连接以透明方式向常规V2X系统进行通用云上(OTT)数据传输，而不影响其工作。数据融入框架
41.根据前述权利要求中任一项所述的数据融合系统，其使用可重复使用的软件和硬件部件的可扩展工具包，所述可扩展工具包被设计为提供构建和部署用于各种控制和传感器系统的实时数据融入器的标准方式，从而允许将人工虚拟数据融入到正常数据中。42.根据前述权利要求41所述的数据融合系统，其提供用于OMG数据分布服务的数据融入逻辑。43.根据前述权利要求41
‑
42中任一项所述的数据融合系统，其提供用于车辆对一切(V2X)通信的数据融入逻辑。44.根据前述权利要求41
‑
43中任一项所述的数据融合系统，其提供用于将测量和校准系统连接到车辆ECU的汽车“通用测量和校准协议”(例如ASAM MCD
‑
1XCP)的数据融入逻辑。数据融入器45.根据前述权利要求中任一项所述的数据融合系统，其包括数据融入器，所述数据融入器是用于摄取表示以下虚拟数据中的任一种的数据的插件部件：虚拟对象、条件或事件。46.根据前述权利要求45所述的数据融合系统，其中数据融入器供应或提供虚拟数据以与现实世界传感器数据和/或控制数据融合。47.根据前述权利要求45
‑
46所述的数据融合系统，其中所述数据融入器向现实世界车辆控制系统提供数据，所述现实世界车辆控制系统处理：(i)所述虚拟数据，或(ii)融合或整合的虚拟数据和传感器数据和/或控制数据，作为现实数据或等效于现实世界数据。48.根据前述权利要求45
‑
47所述的数据融合系统，其中所述数据融入器彼此独立地维持它们的数据采样率和分辨率。49.根据前述权利要求45
‑
48所述的数据融合系统，其中所述数据融入器在数据融入器部件的自组织网状网络中维持计算的连贯性。50.根据前述权利要求45
‑
49所述的数据融合系统，其中用于处理传感器数据的所述数据融入器专门设计用于机器人和汽车中使用的各种类型的传感器，所述各种类型的传感器包括但不限于雷达、LIDAR、超声、计算机视觉和立体视觉相机。51.根据前述权利要求50所述的数据融合系统，其中所述传感器数据包括：基于图像的传感器信号，所述传感器包括输出2D串行图像的任何传感器；基于点云的传感器信号，所述点云包括来自LIDAR、计算机视觉系统和立体相机的数据；基于串行数据的传感器信号，所述传感器包括超声波传感器、雷达、温度和速度传感器。表示框架52.根据前述权利要求中任一项所述的数据融合系统，其包括表示框架，所述表示框架是可重复使用的软件整合适配器的可扩展工具包，所述可扩展工具包经由用户界面和/或交互式平台和/或设备向最终用户提供所述虚拟世界的沉浸式表示。53.根据权利要求52所述的数据融合系统，其中所述表示框架能够与用户界面整合，所述用户界面包括但不限于单屏或多屏视频显示器、移动终端和远程控制器、VR/AR耳机、用户运动跟踪器、直接操纵和有形界面。54.根据前述权利要求52
‑
53所述的数据融合系统，其中所述表示框架包括具有世界模型表示的多层结构的软件整合工具包，其中对象的各种属性与特定表示层具有亲和性，并且这些层中的每一层能够被分配给由特定用户界面部件和相应设备服务的特定表示方法。55.根据前述权利要求54所述的数据融合系统，其中基础表示层是从安装在现实世界
车辆赛道上并给出各种视点的相机传输的视频流集，并且在所述基础层的顶部上有一个或多个表示层或叠加层，从而针对各种媒体通道可视化虚拟对象，并且这些虚拟叠加层使用适当的工具、设备和用户界面应用于底层视频流，使得混合情景导致将现实对象和虚拟对象组合。车辆控制56.根据前述权利要求中任一项所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。