支持多模态实时数据库扩展回放的车载系统及实现方法技术方案

本发明专利技术公开了一种支持多模态实时数据库扩展回放的车载系统及实现方法，该方法首先通过数据采集以获得多模态实时数据，然后对多模态数据进行预处理，且采用分布式或多线程进行处理以提高处理效率，之后进行数据错误处理、系统性能指标和资源利用率的监控、数据转码解析等操作，还包括对于转码数据的检测、数据辅助信息提取关联操作，最后实现可支持扩展回放及可视化处理。本发明专利技术基于该方法应用到车载端，能够实现数据扩展回放、以及高效的处理以满足可视化要求。满足可视化要求。满足可视化要求。

【技术实现步骤摘要】
支持多模态实时数据库扩展回放的车载系统及实现方法


[0001]本专利技术属于数据处理技术，具体涉及一种支持多模态实时数据库扩展回放的车载系统及实现方法。

技术介绍

[0002]智能驾驶需要采集汽车周围环境的多模态数据(如图像、点云、声音、惯导等)，以实现感知和决策。由于多种传感器的存在，多模态数据之间的同一处理、同步和对齐影响回放仿真以及算法训练的效果。
[0003]与本专利技术相近似的现有技术处理方式包括：
[0004]单模态数据分析工具：这些工具专注于分析和处理特定类型的数据，如图像分析工具或总线信号分析工具等。它们无法同时处理不同类型的数据。
[0005]传统数据库系统：传统数据库系统主要用于处理结构化数据，如表格数据。虽然它们在处理结构化数据方面非常强大，但对于多模态数据的处理能力较弱。传统数据库系统可能无法直接存储和处理非结构化数据，如图像、音频或视频等。
[0006]记录仪数据回放技术：专注于车辆行驶数据的记录和回放。这些记录仪通常会记录车辆行驶过程中的诸多信息，如车速、加速度、刹车等。然而，现有技术在多模态数据回放和实时可扩展性方面存在较大挑战。
[0007]现有技术在大规模实时数据回放方面存在以下缺点：
[0008]处理效率低：多模态数据通常具有大量的数据量和复杂的数据结构，例如图像、音频和视频等。现有技术在处理大规模多模态数据时往往效率低下，无法满足实时性要求。
[0009]可扩展性受限：传统的实时数据库的扩展性受限，当数据种类增多，数据量增大时，无法保证数据的高效查询。
[0010]不能适用智能驾驶在环仿真需求，传统实时数据库未考虑智能驾驶数据使用场景需求，其在数据处理、存储和分析方面的瓶颈，将会直接影响到智能驾驶在环仿真中的表现。

技术实现思路

[0011]专利技术目的：本专利技术旨在解决多模态实时可扩展数据库回放装置及系统的技术问题，据此，本专利技术的第一目的是提供一种支持多模态实时数据库扩展回放的实现方法，且基于所提供的方法，本专利技术的第二目的是提供一种支持多模态实时数据库扩展回放的车载系统。
[0012]为实现上述的专利技术目的，本专利技术采用如下的技术方案。
[0013]一种支持多模态实时数据库扩展回放的实现方法，该方法包括如下步骤：
[0014]S1、数据采集：通过数据总线获取多模态数据，包括视频、图像、声音和总线信号数据；
[0015]S2、对采集的数据通过线程池进行预处理：将该数据统一组织和分片成元数据，然
后分为若干个子系统进行分布式和多线程并发处理，且同时通过线程池参数配置Config文件支持横向扩展和纵向扩展；
[0016]S3、数据错误处理：对于分片后的元数据进行完整性和正确性检验，检验未通过的元数据从历史线程缓存中拷贝并重新进行数据分片尝试，直到失败次数超过设定的K次后，在所属时间段数据集上添加缺失标识符；
[0017]S4、监控系统性能指标和资源利用率：如果一段时间T内产生缺失标识符次数超过Z次，报告终端提示对应数据源或者运行环境可能出现故障；
[0018]S5、数据片段索引定位：根据每个数据片段添加的索引信息，包括数据时间戳、数据源和环境信息数据，采用树结构搜索索引定位目标数据片；
[0019]S6、对所索引的数据进行解析和转码：利用数据解析算法对采集到的原始数据进行解析和转码，将其转化为直接可读或者易于传输的数据结构和格式；
[0020]S7、转码数据检测：在数据解析和转码中捕捉解析错误和异常情况，对于无效或损坏的数据段进行标记；
[0021]S8、数据辅助信息提取关联：从数据集中提取元数据辅助信息，包括时间戳、数据源、环境信息，且将辅助信息与转码后的数据绑定，根据数据的关联性，提取相关的信息并与转码后的数据进行聚合键值关联；
[0022]S9、回放处理：通过多线程并行化处理和优化数据存储结构，以实现数据的快速回放和多源数据的可视化处理。
[0023]进一步的，所述方法中，对于经过预处理得到的元数据包括如下两种横向处理方式：
[0024](a)根据数据类型分线程逻辑处理，将元数据按照发生时间送入渲染模块，经过GPU渲染后以可视化展示；
[0025](b)根据数据类型分线程回灌处理，将元数据中的原始数据按照发生时间回灌至数据总线或回灌至模型训练，通过深度学习算法以实现图像的识别。
[0026]进一步的，对经过预处理得到的元数据按照数据类型进行压缩，且存储在本地或云端数据库。
[0027]更进一步的，该方法还包括多模态数据可视化展示，具体包括：
[0028]分层可视化：将多模态数据按照不同的层次进行可视化，每个层次表示不同的数据模态；
[0029]并行坐标图：通过一个以上的坐标轴平行排列进行图形表示，每个坐标轴代表一个数据维度；用户通过选择和调整不同的坐标轴以可视化感兴趣的模态数据；
[0030]多维可视化：将一个以上的数据模态映射到多维空间中，包括平行坐标图、雷达图或多维散点图，或将若干个数据模态映射为相应数量的坐标轴或维度；
[0031]交互可视化：通过交互元素实现调整数据模态的可视化视角、筛选特定的模态数据或更改可视化的参数，所述的交互元素包括滑块、选择器或拉伸控制。
[0032]基于上述方法，一种支持多模态实时数据库扩展回放的车载系统，包括数据采集终端、数据处理模块和可视化终端设备，所述的数据采集终端通过线束连接有车载摄像头、毫米波雷达、激光雷达、麦克风；然后通过车辆总线接口将采集到的数据传输至数据处理模块；
[0033]所述的数据处理模块用于执行支持多模态实时数据库扩展回放的实现方法；
[0034]所述的可视化终端设备包括车载显示屏，用于将经过数据处理模块处理过的数据进行展示，并且支持回放操作。
[0035]进一步的，所述的数据处理模块包括通过无线传输模块将待处理的数据卸载至路侧云服务器进行计算。
[0036]更进一步的，所述的数据处理模块包括外接移动设备以实现数据回放和可视化展示。
[0037]有益效果：与现有技术相比，本专利技术显著的效果包括：
[0038]第一、多模态数据可视化回放：本专利技术能够高效地处理多模态数据的可视化回放。保证数据的时序一致性和准确性，支持多至十余种模态可扩展数据回放。
[0039]第二、数据完整性和异常处理机制：在回放过程中，本专利技术注重保证多模态数据的完整性。通过数据校验和错误机制，本专利技术能够确保在回放过程中数据的完整性和可追溯信息。
[0040]第三、实时性与可扩展性：本专利技术的回放系统实时性和可扩展性。通过车端数据库分布式编码及预处理等方法减少数据传输过程中的重复编解码，节约数据延时与整体算力开销，满足远程监控和数据服务实时调用的要求，提供快速高效的多模态数据回放能力。
[0041]第四、跨平台和互操作性：本专利技术的回放装置及系统设计具有跨平台和互操作性的特点。可以方便地与不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多模态实时数据库扩展回放的实现方法，其特征在于，该方法包括如下步骤：S1、数据采集：通过数据总线获取多模态数据，包括视频、图像、声音和总线信号数据；S2、对采集的数据通过线程池进行预处理：将该数据统一组织和分片成元数据，然后分为若干个子系统进行分布式和多线程并发处理，且同时通过线程池参数配置Config文件支持横向扩展和纵向扩展；S3、数据错误处理：对于分片后的元数据进行完整性和正确性检验，检验未通过的元数据从历史线程缓存中拷贝并重新进行数据分片尝试，直到失败次数超过设定的K次后，在所属时间段数据集上添加缺失标识符；S4、监控系统性能指标和资源利用率：如果一段时间T内产生缺失标识符次数超过Z次，报告终端提示对应数据源或者运行环境可能出现故障；S5、数据片段索引定位：根据每个数据片段添加的索引信息，包括数据时间戳、数据源和环境信息数据，采用树结构搜索索引定位目标数据片；S6、对所索引的数据进行解析和转码：利用数据解析算法对采集到的原始数据进行解析和转码，将其转化为直接可读或者易于传输的数据结构和格式；S7、转码数据检测：在数据解析和转码中捕捉解析错误和异常情况，对于无效或损坏的数据段进行标记；S8、数据辅助信息提取关联：从数据集中提取元数据辅助信息，包括时间戳、数据源、环境信息，且将辅助信息与转码后的数据绑定，根据数据的关联性，提取相关的信息并与转码后的数据进行聚合键值关联；S9、回放处理：通过多线程并行化处理和优化数据存储结构，以实现数据的快速回放和多源数据的可视化处理。2.根据权利要求1所述的支持多模态实时数据库扩展回放的实现方法，其特征在于，对于经过预处理得到的元数据包括如下两种横向处理方式：(a)根据数据类型分线程逻辑处理，将元数据按照发生时间送入渲染模块，经过GPU渲染后以可视化展示；(b)根据数据类型分线程回灌处理，将元...

【专利技术属性】
技术研发人员：陈乐易，张弘毅，
申请(专利权)人：太仓磐易科技有限公司，
类型：发明
国别省市：