数据预处理系统、方法、电子设备及存储介质技术方案

本申请涉及数据预处理技术领域，特别涉及一种数据预处理系统、方法、电子设备及存储介质，其中，包括：数据管理模块、自动标注模块和校准标注模块，基于三种模块对车辆的原始视频数据执行视频抽帧、图像清洗和图像筛选操作，得到满足预设条件的待标注图像数据并自动标注，得到初始标注图像数据，根据当前业务需求判断初始标注图像数据内的标注满足预设修改条件时，则对其修改初始标注图像数据，得到最终标注图像数据。本申请实施例集成多种数据处理方式与数据传输协议，实现数据预处理系统与算法训练系统的紧密集成，实现对原始数据从预处理到算法训练的全链路流转，从而简化系统复杂性，缩短数据处理周期，提高数据的处理效率和可靠性。和可靠性。和可靠性。

【技术实现步骤摘要】
数据预处理系统、方法、电子设备及存储介质


[0001]本申请涉及数据预处理
，特别涉及一种数据预处理系统、方法、电子设备及存储介质。

技术介绍

[0002]在智能驾驶领域蓬勃发展的今天，算法已经成为智能驾驶的核心。但是，高质量的算法需要依托大量数据的训练，因此，提高算法训练的效率和质量，会极大促进算法迭代，推动智能驾驶技术的发展。由于算法训练需要大量的、带有特定标注信息的图像数据，因此，图像数据的预处理是算法训练的必要环节。
[0003]然而，现阶段数据预处理一般存在以下几个问题，第一，原始图片直接采用手工标注，缺少机器辅助标注；第二，图片中存在大多数相似或相同图片，标注员重复标注，耗费了大量时间和精力，却没有明显的效果提升；第三，从原始视频到算法训练，各个环节割裂不统一，造成流程性的效率低下，因此，当前算法整体存在效率不高、数据冗余、质量低下的问题，亟待解决。

技术实现思路

[0004]本申请提供一种数据预处理系统、方法、电子设备及存储介质，以解决相关技术中的预处理算法效率不高、数据冗余、质量低下等问题。
[0005]本申请第一方面实施例提供一种数据预处理系统，包括：数据管理模块，用于读取并存储车辆的原始视频数据，并根据当前业务需求对所述原始视频数据执行视频抽帧、图像清洗和图像筛选操作，得到满足预设条件的待标注图像数据；自动标注模块，用于根据接收到的标注请求自动标注所述待标注图像数据，得到初始标注图像数据；以及校准标注模块，用于根据所述当前业务需求判断所述初始标注图像数据内的标注是否满足预设修改条件，并在所述初始标注图像数据内的标注满足所述预设修改条件时，根据所述当前业务需求修改所述初始标注图像数据，得到最终标注图像数据。
[0006]根据上述技术手段，通过三种模块的功能采集，得到待标注图像的数据及修改条件，从而提高了数据处理的精度和效率。
[0007]进一步地，在本申请的一个实施例中，所述校准标注模块还用于在所述初始标注图像数据内的标注不满足所述预设修改条件时，将所述初始标注图像数据作为所述最终标注图像数据。
[0008]根据上述技术手段，通过对修改条件的判定对初始标注图像进行相应的修改，从而提高了数据处理的效率和可靠性。
[0009]进一步地，在本申请的一个实施例中，上述的数据预处理系统，还包括：基础服务模块，所述基础服务模块用于为所述用户提供数据库、算法和存储服务。
[0010]根据上述技术手段，可以为用户实时的进行业务调用。
[0011]进一步地，在本申请的一个实施例中，上述的数据预处理系统，还包括：显示模块，
用于显示所述原始视频数据、所述待标注图像数据、所述初始标注图像数据和所述最终标注数据。
[0012]根据上述技术手段，通过显示模块，提高了待标注数据的可视化。
[0013]进一步地，在本申请的一个实施例中，上述的数据预处理系统，还包括：设置于所述数据管理模块和所述自动标注模块之间的通讯模块，所述通讯模块设置有预设通信方式和预设通讯协议，使得所述数据管理模块直接向所述自动标注模块发起所述标注请求。
[0014]根据上述技术手段，通过采用通讯模块，提高了数据的处理周期。
[0015]本申请第二方面实施例提供一种数据预处理方法，包括以下步骤：读取并存储车辆的原始视频数据，并根据当前业务需求对所述原始视频数据执行视频抽帧、图像清洗和图像筛选操作，得到满足预设条件的待标注图像数据；根据接收到的标注请求自动标注所述待标注图像数据，得到初始标注图像数据；以及根据所述当前业务需求判断所述初始标注图像数据内的标注是否满足预设修改条件，并在所述初始标注图像数据内的标注满足所述预设修改条件时，根据所述当前业务需求修改所述初始标注图像数据，得到最终标注图像数据。
[0016]进一步地，在本申请的一个实施例中，上述的数据预处理方法，还包括：在所述初始标注图像数据内的标注不满足所述预设修改条件时，将所述初始标注图像数据作为所述最终标注图像数据。
[0017]进一步地，在本申请的一个实施例中，上述的数据预处理方法，还包括：显示所述原始视频数据、所述待标注图像数据、所述初始标注图像数据和所述最终标注数据。
[0018]本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的数据预处理方法。
[0019]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的数据预处理方法。
[0020]本申请实施例可以通过数据管理模块、自动标注模块和校准标注模块，对车辆的原始视频数据执行视频抽帧、图像清洗和图像筛选操作，得到满足预设条件的待标注图像数据并自动标注，得到初始标注图像数据，根据当前业务需求判断初始标注图像数据内的标注满足预设修改条件时，则对其修改初始标注图像数据，得到最终标注图像数据。由此，解决了相关技术中的预处理算法效率不高、数据冗余、质量低下等问题。
[0021]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0022]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0023]图1为根据本申请实施例提供的一种数据预处理系统的示例图；
[0024]图2为根据本申请一个实施例的算法训练场景下的数据预处理系统结构示意图；
[0025]图3为根据本申请一个实施例的数据预处理系统的整体流程图；
[0026]图4为根据本申请实施例的数据预处理方法的流程图；
[0027]图5为根据本申请实施例的电子设备的结构示意图。
[0028]附图标记说明：10
‑
车辆的多传感器目标融合装置；100
‑
数据管理模块、200
‑
自动标注模块、300
‑
校准标注模块。
具体实施方式
[0029]下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0030]下面参考附图描述本申请实施例的数据预处理系统、方法、电子设备及存储介质。针对上述
技术介绍
中提到的相关技术中的预处理算法效率不高、数据冗余、质量低下的问题，本申请提供了一种数据预处理系统，在该系统中，通过数据管理模块、自动标注模块和校准标注模块，对车辆的原始视频数据执行视频抽帧、图像清洗和图像筛选操作，得到满足预设条件的待标注图像数据并自动标注，得到初始标注图像数据，根据当前业务需求判断初始标注图像数据内的标注满足预设修改条件时，则对其修改初始标注图像数据，得到最终标注图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据预处理系统，其特征在于，包括：数据管理模块，用于读取并存储车辆的原始视频数据，并根据当前业务需求对所述原始视频数据执行视频抽帧、图像清洗和图像筛选操作，得到满足预设条件的待标注图像数据；自动标注模块，用于根据接收到的标注请求自动标注所述待标注图像数据，得到初始标注图像数据；以及校准标注模块，用于根据所述当前业务需求判断所述初始标注图像数据内的标注是否满足预设修改条件，并在所述初始标注图像数据内的标注满足所述预设修改条件时，根据所述当前业务需求修改所述初始标注图像数据，得到最终标注图像数据。2.根据权利要求1所述的系统，其特征在于，所述校准标注模块还用于在所述初始标注图像数据内的标注不满足所述预设修改条件时，将所述初始标注图像数据作为所述最终标注图像数据。3.根据权利要求1所述的系统，其特征在于，还包括：基础服务模块，所述基础服务模块用于为所述用户提供数据库、算法和存储服务。4.根据权利要求3所述的系统，其特征在于，还包括：显示模块，用于显示所述原始视频数据、所述待标注图像数据、所述初始标注图像数据和所述最终标注数据。5.根据权利要求4所述的系统，其特征在于，还包括：设置于所述数据管理模块和所述自动标注模块之间的通讯模块，所述通讯模块设置有预设通信方式和预设通讯协议，使得所述数据管理模块直接向所述自动标注模块发起所...

【专利技术属性】
技术研发人员：陈俊，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：