一种数据采集处理系统及数据采集处理方法技术方案

本发明专利技术涉及一种数据采集处理系统及数据采集处理方法，由车端控制器和云端服务器构成，车端控制器与车辆上的环境感知系统和车辆总线系统相连，用于采集环境感知数据和车辆行驶状态数据，并通过网络将数据上传至云端服务器。本发明专利技术数据采集处理系统的数据采集处理方法，包括车端数据采集处理和云端数据存储管理分析，在数据源端直接进行数据价值识别，且该价值的评判基准具有一定的普遍性和稳定性，能够持续发现价值，然后再采集，采集到的数据为有价值的数据；减少了数据采集流量成本和数据存储成本，且节约了数据处理分析的时间，建立起了直接具有数据索引的数据库；由于价值判断基准的稳定性和普遍性，可以长时间运行在数据源端而不用频繁更新。源端而不用频繁更新。源端而不用频繁更新。

【技术实现步骤摘要】
一种数据采集处理系统及数据采集处理方法


[0001]本专利技术属于自动驾驶
，具体涉及一种数据采集处理系统及数据采集处理方法。

技术介绍

[0002]目前，大数据技术已在各行各业广泛应用，但其数据量大，且数据价值密度低，往往采集积累了很大的数据量，但想对某一方面的数据进行分析时，犹如大海捞针，找不到或费很大劲才能找到有价值的数据。一方面，浪费了流量和数据存储空间来采集和存储这些海量数据；另一方面，为使用、提取有价值的数据制造了难度。
[0003]很多行业，尤其是汽车行业，一般的数据采集和处理方式是将数据全部采集存储起来，然后通过数据清洗，找到所需的数据进行分析。现有技术公开了一种规控算法的评估方法、系统及计算机存储介质，规控算法的评估方法包括：车端根据车辆数据识别非常态场景，车辆数据包括外部数据和内部数据；车端识别出非常态场景之后，生成非常态场景数据并传输至线下端；线下端根据非常态场景数据构建虚拟场景，并基于虚拟场景评估非常态场景对应的规控算法。其主要是进行数据清洗和机器学习训练或虚拟场景搭建，用于机器学习训练数据的采集。该技术对数据采集事件和数据标签的设计都没有给出清晰的说明，也没有数据库对比的查重功能。

技术实现思路

[0004]本专利技术的目的就在于提供一种在数据源端直接进行数据价值识别的数据采集处理系统，还提供一种数据采集处理系统的数据采集处理方法，以解决无差别数据采集造成的数据存储和数据流量资源浪费、采集存储后的大数据无法检索和利用率不高的问题。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种数据采集处理系统，由车端控制器和云端服务器构成；所述车端控制器与车辆上的环境感知系统和车辆总线系统相连，用于采集环境感知数据和车辆行驶状态数据；所述云端服务器具有数据收发模块、存储模块、检索模块以及回放分析模块，用于数据收发、存储、检索以及回放分析；所述车端控制器通过网络将数据上传至云端服务器；所述车端控制器与驾驶员状态监控系统相连，用于采集驾驶员操控数据。
[0007]一种数据采集处理系统的数据采集处理方法，包括车端数据采集处理和云端数据存储管理分析；
[0008]其中，所述车端数据采集处理，包括以下步骤：
[0009]A1、车端控制器实时采集记录最近一段时间的环境感知传感器数据、车辆行驶状态数据和驾驶员操控数据；
[0010]A2、对环境感知传感器数据进行分析，如果发生识别可信度低的事件或者自动驾驶轨迹或速度规划数据与驾驶员驾车实际的轨迹和速度的差值超过阈值，或者自动驾驶时驾驶员接管事件发生，将触发下一步的分析过程；
[0011]A3、从环境感知传感器数据中截取上述事件发生前后一段时间的数据，及当前的事件信息，并从环境感知传感器数据、车辆行驶状态数据中提取关键信息，形成场景标签；
[0012]A4、将步骤A3生成的场景数据标签与云端服务器存储的场景标签数据库进行对比，如果具有相同场景，将该数据库对应的场景数据计数加1，如果该场景标签累积计数值小于标定值，则将该事件发生前、后标定时间的数据与场景标签进行压缩打包，上传至云端服务器，否则丢弃该场景标签；
[0013]所述云端数据存储管理分析，包括以下步骤：
[0014]B1、云端服务器接收到上传的数据，提取数据中的场景标签，分别将场景标签和原始数据存储到场景标签数据库和原始数据库，并建立链接；
[0015]B2、通过对场景标签内容的检索，输入检索关键词，找到对应的原始数据进行分析，将原始数据通过曲线、图标、视频流等方式展示出来；
[0016]B3、收集多台车上传的数据，并根据每车每次上传的数据标签对标签数据库进行更新，包括对应的计数值，并将更新后的标签数据库通过网络对车端控制器中的标签数据库进行更新。
[0017]进一步地，步骤A2，所述可信度低的事件包括车道线识别信号的可信度、障碍物目标识别信号的可信度等，当其可信度数值低于某一标定值时，认为该信号的可信度低事件发生。
[0018]更进一步地，所述标定值初设为30％。
[0019]进一步地，步骤A2，所述自动驾驶轨迹或速度规划数据与驾驶员驾车实际的轨迹和速度的差值超过阈值。
[0020]更进一步地，所述轨迹横向偏差大于1米或速度偏差大于30km/h。
[0021]进一步地，步骤A3，所述关键信息包括目标信息、道路信息和车辆操控信息。
[0022]更进一步地，所述目标信息为有行人过马路，道路信息为2车道直行路段，车辆操控信息为刹车50％和转向90度。
[0023]进一步地，步骤A4，所述场景的累计计数值小于某一标定值，事件发生前、后标定时间为事件发生前某一标定值和事件发生后某一标定值。
[0024]更进一步地，所述标定值初设为50，事件发生前、后标定时间为事件发生前60秒和事件发生后30秒。与现有技术相比，本专利技术的有益效果是：
[0025]本专利技术数据采集处理系统及数据采集处理方法，在数据源端直接进行数据价值识别，且该价值的评判基准具有一定的普遍性和稳定性，能够持续发现价值，然后再采集，采集到的数据为有价值的数据；减少了数据采集流量成本和数据存储成本，并且节约了数据处理分析的时间，建立起了直接具有数据索引的数据库；由于价值判断基准的稳定性和普遍性，可以长时间运行在数据源端而不用频繁更新。
附图说明
[0026]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0027]图1本专利技术数据采集处理系统的结构示意图；
[0028]图2车端控制器数据采集流程图；
[0029]图3云端服务器数据处理流程图。
具体实施方式
[0030]下面结合实施例对本专利技术作进一步说明：
[0031]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0032]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033]本专利技术基于自动驾驶的终极目标，向人一样驾驶车辆，而设计的一套可持续自动发现问题、记录上传问题的稳定的数据源处理方法和系统。主要用于汽车电控行业或自动驾驶行业，用于解决数据采集和数据管理的相关问题。
[0034]如图1所示，本专利技术数据采集处理系统，由车端的控制器和与其配合使用的云端服务器构成。
[0035]所述车端控制器连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集处理系统，其特征在于：由车端控制器和云端服务器构成；所述车端控制器与车辆上的环境感知系统和车辆总线系统相连，用于采集传感器数据和总线数据；所述云端服务器具有数据收发模块、存储模块、检索模块以及回放分析模块，用于数据收发、存储、检索以及回放分析；所述车端控制器通过网络将数据上传至云端服务器；所述车端控制器与驾驶员状态监控系统相连，用于采集驾驶员状态数据。2.一种数据采集处理系统的数据采集处理方法，其特征在于：包括车端数据采集处理和云端数据存储管理分析；其中，所述车端数据采集处理，包括以下步骤：A1、车端控制器实时采集记录最近一段时间的环境感知传感器数据、车辆行驶状态数据和驾驶员操控数据；A2、对环境感知传感器数据进行分析，如果发生识别可信度低的事件或者自动驾驶轨迹或速度规划数据与驾驶员驾车实际的轨迹和速度的差值超过阈值，或者自动驾驶时驾驶员接管事件发生，将触发下一步的分析过程；A3、从环境感知传感器数据中截取上述事件发生前后一段时间的数据，及当前的事件信息，并从环境感知传感器数据、车辆行驶状态数据中提取关键信息，形成场景标签；A4、将步骤A3生成的场景数据标签与云端服务器存储的场景标签数据库进行对比，如果具有相同场景，将该数据库对应的场景数据计数加1，如果该场景标签累积计数值小于标定值，则将该事件发生前、后标定时间的数据与场景标签进行压缩打包，上传至云端服务器，否则丢弃该场景标签；所述云端数据存储管理分析，包括以下步骤：B1、云端服务器接收到上传的数据，提取数据中的场景标签，分别将场景标签和原始数据存储到场景标签数据库和原始数据库，并建立链接；B2、通过对场景标签内容的检索，输入检索关键词，找到对应的原始数据进行分析，将原始数据通过曲线、图标...

【专利技术属性】
技术研发人员：刘秋铮，尚秉旭，王洪峰，袁文建，厉健峰，吴秋瑾，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：