一种支持数据集生成的无人艇数据管理系统技术方案

本发明专利技术提供的一种支持数据集生成的无人艇数据管理系统和方法，该系统设计了数据收集模块，将原始数据通过文件形式自动上传至数据集管理系统。通过数据处理模块对原始数据进行编辑和删除。通过数据标注模块，根据业务需求进行规范标注，形成有效数据集。数据查询模块，可查看历史数据信息、已标注数据、待标注数据，数据删除模块可提高数据管理效率。数据统计模块能够统计系统现有数据情况。该方法能够通过数据收集、数据处理、数据标注、数据集生成的循环流程，不断为无人艇增加新数据集，并有效管理，为后续不断迭代训练智能算法提供了数据基础。础。础。

【技术实现步骤摘要】
一种支持数据集生成的无人艇数据管理系统


[0001]本专利技术涉及数据管理
，尤其涉及一种支持数据集生成的无人艇数据管理系统。

技术介绍

[0002]数据的管理与应用设计对无人艇不断提高自主能力至关重要，数据是无人艇获取知识的来源，每次无人艇运行后收集回来的数据都有意义，因此需要建立一个数据管理系统，能够存储和管理从艇端获取原始数据，并将根据业务需求，进行数据编辑与标注，形成有效数据集，可用于机器学习算法的训练与验证。现有技术如专利：多源数据管理方法、系统和数据管理设备，该专利提出的数据管理方法能够对不同的数据源分别进行数据管理和查看，并能进行数据新增，修改和删除。可配置数据信息，无需跟着业务变化而反复修改维护系统。但方法相对通用，没有提出具体能够适配的数据类别，而且不具备对数据编辑的能力，因此将该数据管理设计方法应用于水面无人艇的具体业务还有一定的局限性。又如专利：一种签约数据集的管理方法、终端及服务器，该专利提出了服务器与终端之间数据的下载传输方式，但没有对数据存储管理进行描述，而且缺乏数据处理和管理操作的描述，也没有对管理的数据进行统计。而水面无人艇在运行过程中，艇上各设备将产生大量数据，需要根据相关要求，对数据进行统一管理。根据业务需要进行数据编辑与处理，并按规范生成数据集，最终可以根据用户需求进行数据统计。因此该专利技术方法应用于水面无人艇的具体业务还有一定的局限性。

技术实现思路

[0003]本专利技术为了克服上述问题在于提供一种支持数据集生成的无人艇数据管理系统，用以解决现有技术中相关数据管理设备应用于无人艇进行具体业务数据管理存在的没有具体适配类别货对数据没有边际能力的局限性问题。
[0004]本专利技术的上述目的可采用下列技术方案来实现：
[0005]本专利技术提供了一种支持数据集生成的无人艇数据管理系统，包括：
[0006]数据收集模块，用于通过网络接口从无人艇的数据采集模块获取无人艇的原始数据信息；其中，所述相关数据信息包括无人艇的实时运行数据、图片数据和视频文件；
[0007]数据预处理模块，用于对获取的所述原始数据信息进行预处理，得到预处理数据信息；
[0008]数据存储模块，用于对预处理后的预处理数据信息进行保存；
[0009]数据标注模块，用于按照业务需求和规范对预处理后的预处理数据信息进行标注，得到标注数据信息；
[0010]数据生成模块，用于对所述标注数据信息进行处理，生成用于训练算法的训练数据集。
[0011]进一步的，还包括数据删除模块，用于对获取的所述相关数据信息中的文本信息
进行编辑和删除，对视频类数据进行裁剪和删除；
[0012]或对有效的视频数据按帧生成图片数据后按照数据集规定的像素或大小进行剪切，无效数据则删除。
[0013]进一步的，采用FTP方式，通过网络接口获取无人艇的相关数据信息，所述相关数据信息将自动存储于预先设定好的文件目录下，数据基本信息录入数据库中。
[0014]进一步的，还包括数据查询模块，用于用户搜索和查看数据字段。
[0015]进一步的，还包括数据统计模块用于对所述原始数据信息、预处理数据信息、标注数据信息、训练数据集进行数据量的统计。
[0016]进一步的，所述数据删除模块还用于对预定时间段内的历史数据进行自动删除和指定删除。
[0017]本专利技术的另一方面还提供一种支持数据集生成的无人艇数据管理方法，包括步骤：
[0018]通过网络接口从无人艇的数据采集模块获取无人艇的原始数据信息；所述相关数据信息包括无人艇的实时运行数据、图片数据和视频文件；
[0019]对获取的所述原始数据信息进行预处理，得到预处理数据信息；
[0020]对预处理后的预处理数据信息进行保存；
[0021]按照业务需求和规范对预处理后的预处理数据信息进行标注，得到标注数据信息；
[0022]对所述标注数据信息进行处理，生成用于训练算法的训练数据集。
[0023]进一步的，还包括步骤：
[0024]对获取的所述相关数据信息中的文本信息进行编辑和删除，对视频类数据进行裁剪和删除；
[0025]对有效的视频数据按帧生成图片数据后按照数据集规定的像素或大小进行剪切，无效数据则删除。
[0026]进一步的，采用FTP方式，通过网络接口获取无人艇的相关数据信息，所述相关数据信息将自动存储于预先设定好的文件目录下，数据基本信息录入数据库中。
[0027]进一步的，还包括对所述原始数据信息、预处理数据信息、标注数据信息、训练数据集进行数据量的统计。
[0028]本专利技术至少具有以下特点及优点：
[0029]本专利技术提供的一种支持数据集生成的无人艇数据管理系统和方法，该系统设计了数据收集模块，将原始数据通过文件形式自动上传至数据集管理系统。通过数据处理模块对原始数据进行编辑和删除。通过数据标注模块，根据业务需求进行规范标注，形成有效数据集。数据查询模块，可查看历史数据信息、已标注数据、待标注数据，数据删除模块可提高数据管理效率。数据统计模块能够统计系统现有数据情况。该方法能够通过数据收集、数据处理、数据标注、数据集生成的循环流程，不断为无人艇增加新数据集，并有效管理，为后续不断迭代训练智能算法提供了数据基础。
[0030]进一步的，本专利技术提供的一种支持数据集生成的无人艇数据管理系统还包括数据查询模块，能够提供数据查询的接口，以便于用户对所关心的数据字段进行提取与查看；数据删除模块，能够对历史数据进行自动删除，可以指定删除时间以及删除的数据类型。
[0031]进一步的，本专利技术提供的一种支持数据集生成的无人艇数据管理系统还包括数据统计模块,用于对所述原始数据信息、预处理数据信息、标注数据信息、训练数据集进行数据量的统计。方便用户了解系统中现有数据情况。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术实施例提供的一种支持数据集生成的无人艇数据管理系统的优选结构示意框图；
[0034]图2为本专利技术实施例提供的一种支持数据集生成的无人艇数据管理方法的优选流程示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下文所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]参见图1为本专利技术实施例提供的一种支持数据集生成的无人艇数据管理系统的优选结构示意框图，包括：
[0037]数据收集模块，用于通过网络接口从无人艇的数据采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持数据集生成的无人艇数据管理系统，其特征在于，包括：数据收集模块，用于通过网络接口从无人艇的数据采集模块获取无人艇的原始数据信息；其中，所述相关数据信息包括无人艇的实时运行数据、图片数据和视频文件；数据预处理模块，用于对获取的所述原始数据信息进行预处理，得到预处理数据信息；数据存储模块，用于保存数据和预处理后的数据信息；数据标注模块，用于按照业务需求和规范对预处理后的预处理数据信息进行标注，得到标注数据信息；数据生成模块，用于对所述标注数据信息进行处理，生成用于训练算法的训练数据集。2.根据权利要求1所述的支持数据集生成的无人艇数据管理系统，其特征在于，还包括数据删除模块，用于对获取的所述相关数据信息中的文本信息进行编辑和删除，对视频类数据进行裁剪和删除；或对有效的视频数据按帧生成图片数据后按照数据集规定的像素或大小进行剪切，无效数据则删除。3.根据权利要求1所述的支持数据集生成的无人艇数据管理系统，其特征在于，采用FTP方式，通过网络接口获取无人艇的相关数据信息，所述相关数据信息将自动存储于预先设定好的文件目录下，数据基本信息录入数据库中。4.根据权利要求1所述的支持数据集生成的无人艇数据管理系统，其特征在于，还包括数据查询模块，用于用户搜索和查看数据字段。5.根据权利要求1所述的支持数据集生成的无人艇数据管理系统，其特征在于，还包括数据统计模块用于对所述原始数据信息、预处理数据信息、标注数据信息、...

【专利技术属性】
技术研发人员：韩玮，王千一，谢杨柳，陈卓，胥凤驰，吴与伦，郭晓晔，王伟，马向峰，李哲，梁旭，宋胜男，张文译，董钉，骆福宇，
申请(专利权)人：中国船舶工业系统工程研究院，
类型：发明
国别省市：