一种样本数据管理方法、装置、移动终端及存储介质制造方法及图纸

本发明专利技术公开了一种样本数据管理方法、装置、移动终端及存储介质，所述方法包括：获取待管理样本数据后，根据数据性质将待管理样本数据划分为第一样本、第二样本和第三样本；将第一样本通过表格的方式进行存储，将第二样本通过编码的方式进行存储，将第三样本通过文件的方式进行存储。采用本发明专利技术实施例能有效提高样本数据的检索效率。本数据的检索效率。本数据的检索效率。

【技术实现步骤摘要】
一种样本数据管理方法、装置、移动终端及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种样本数据管理方法、装置、移动终端及存储介质。

技术介绍

[0002]近年来，随着科技的进步和社会的发展，人工智能在许多领域的应用突飞猛进。无人驾驶等汽车自动化、智能化技术不断进步，在技术的提升中需要获得大量的不同视觉情况下的道路目标状态的样本进行学习与测试。目前基本是通过自行建设系统进行大规模道路检测目标样本的管理，将基础信息放置于数据库，样本数据采用数据库或者单节点文件库的形式进行存放。
[0003]将样本数据或者标注成果以二进制数据或者Base64编码后放入数据库中进行存储将极大占用数据库空间，导致数据库查询数据的速度变得极其的慢。而且对位置信息没有有效的存储方式，无法快速根据时空信息进行样本检索。另外将样本或者标注成果存入单节点，无法更好的管理每个样本服务器。当磁盘占用过大需要进行定期的维护，增大维护成本。
[0004]综上所述，现有技术中样本数据的管理方法存在数据检索效率低的问题。

技术实现思路

[0005]本专利技术实施例提供一种样本数据管理方法、装置、移动终端及存储介质，提高了数据检索效率。
[0006]本申请实施例的第一方面提供了一种样本数据管理方法，包括：
[0007]获取待管理样本数据后，根据数据性质将待管理样本数据划分为第一样本、第二样本和第三样本；
[0008]将第一样本通过表格的方式进行存储，将第二样本通过编码的方式进行存储，将第三样本通过文件的方式进行存储。
[0009]在第一方面的一种可能的实现方式中，还包括：
[0010]对第一样本配置表格索引策略，对第二样本配置网格索引策略，对第三样本配置目录文件索引策略。
[0011]在第一方面的一种可能的实现方式中，根据数据性质将待管理样本数据划分为第一样本、第二样本和第三样本，具体为：
[0012]根据数据性质获取待管理数据中样本类别数据以及样本表信息数据后，将样本类别数据和样本表信息数据作为第一样本；
[0013]根据数据性质获取待管理数据中的样本位置数据后，将样本位置数据作为第二样本；
[0014]根据数据性质获取待管理数据中的图片数据以及标注成果数据后，将图片数据和标注成果数据作为第三样本。
[0015]在第一方面的一种可能的实现方式中，将第二样本通过编码的方式进行存储，具体为：
[0016]将样本位置数据输入至预设网格模型中，以使预设网格模型根据样本位置数据输出三维空间网格数据；
[0017]将三维空间网格数据进行二进制转换后，生成空间网格编码并存储。
[0018]本申请实施例的第二方面提供了一种样本数据管理装置，包括：获取模块和管理模块；
[0019]其中，获取模块用于获取待管理样本数据后，根据数据性质将待管理样本数据划分为第一样本、第二样本和第三样本；
[0020]管理模块用于将第一样本通过表格的方式进行存储，将第二样本通过编码的方式进行存储，将第三样本通过文件的方式进行存储。
[0021]在第二方面的一种可能的实现方式中，还包括：
[0022]对第一样本配置表格索引策略，对第二样本配置网格索引策略，对第三样本配置目录文件索引策略。
[0023]在第二方面的一种可能的实现方式中，根据数据性质将待管理样本数据划分为第一样本、第二样本和第三样本，具体为：
[0024]根据数据性质获取待管理数据中样本类别数据以及样本表信息数据后，将样本类别数据和样本表信息数据作为第一样本；
[0025]根据数据性质获取待管理数据中的样本位置数据后，将样本位置数据作为第二样本；
[0026]根据数据性质获取待管理数据中的图片数据以及标注成果数据后，将图片数据和标注成果数据作为第三样本。
[0027]在第二方面的一种可能的实现方式中，将第二样本通过编码的方式进行存储，具体为：
[0028]将样本位置数据输入至预设网格模型中，以使预设网格模型根据样本位置数据输出三维空间网格数据；
[0029]将三维空间网格数据进行二进制转换后，生成空间网格编码并存储。
[0030]本申请实施例的第三方面提供了一种移动终端，包括处理器和存储器，存储器存储有计算机可读程序代码，处理器执行计算机可读程序代码时实现上述的一种样本数据管理方法的步骤。
[0031]本申请实施例的第四方面提供了一种存储介质，存储介质存储计算机可读程序代码，当计算机可读程序代码被执行时实现上述的一种样本数据管理方法的步骤。
[0032]相比于现有技术，本专利技术实施例提供的一种样本数据管理方法、装置、移动终端及存储介质，所述方法包括：获取待管理样本数据后，根据数据性质将待管理样本数据划分为第一样本、第二样本和第三样本；将第一样本通过表格的方式进行存储，将第二样本通过编码的方式进行存储，将第三样本通过文件的方式进行存储。
[0033]其有益效果在于：本专利技术实施例根据数据性质对不同的样本数据采用不同的方式进行存储，能够灵活实现样本数据的有效存储，根据不同的存储方式对不同样本数据进行相应的检索，能够有效提高样本数据的检索效率。
[0034]进一步地，本专利技术实施例中的第二样本为样本位置数据，第三样本为图片数据和标注成果数据。将样本位置数据通过编码的方式进行存储，即对样本位置数据进行网格编码及编码压缩，能够减轻对样本位置数据的存储。将图片数据和标注成果数据通过文件的方式进行存储，采用目录+文件方式将图片数据和标注成果数据存储于文件服务器，能够降低数据库存储空间的占用。
[0035]再者，本专利技术实施例对于不同性质的样本数据配置不同的索引策略，能够进一步提高检索效率。如：对于第二样本的检索，由于第二样本通过编码的方式进行存储，所以采用网格空间数据检索方式(即网格索引策略)进行检索，能够快速得到检索结果。
[0036]最后，本专利技术实施例对于样本数据采用自动化配置管理，具体采用单节点或分布式的方式进行样本数据管理，当单个节点的数据量已经达到了20TB，自动将新数据存放于下一个节点中，不需要进行人工进行文件的迁移及维护，解决了现有技术中需要对服务器进行定期的维护、维护成本大的问题。
附图说明
[0037]图1是本专利技术一实施例提供的一种样本数据管理方法的流程示意图；
[0038]图2是本专利技术一实施例提供的一种样本数据管理装置的结构示意图。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]参照图1，是本专利技术一实施例提供的一种样本数据管理方法的流程示意图，包括S101
‑
S102：
...

【技术保护点】

【技术特征摘要】
1.一种样本数据管理方法，其特征在于，包括：获取待管理样本数据后，根据数据性质将所述待管理样本数据划分为第一样本、第二样本和第三样本；将所述第一样本通过表格的方式进行存储，将所述第二样本通过编码的方式进行存储，将所述第三样本通过文件的方式进行存储。2.根据权利要求1所述的一种样本数据管理方法，其特征在于，还包括：对所述第一样本配置表格索引策略，对所述第二样本配置网格索引策略，对所述第三样本配置目录文件索引策略。3.根据权利要求2所述的一种样本数据管理方法，其特征在于，所述根据数据性质将所述待管理样本数据划分为第一样本、第二样本和第三样本，具体为：根据所述数据性质获取所述待管理数据中样本类别数据以及样本表信息数据后，将所述样本类别数据和所述样本表信息数据作为所述第一样本；根据所述数据性质获取所述待管理数据中的样本位置数据后，将所述样本位置数据作为所述第二样本；根据所述数据性质获取所述待管理数据中的图片数据以及标注成果数据后，将所述图片数据和所述标注成果数据作为所述第三样本。4.根据权利要求3所述的一种样本数据管理方法，其特征在于，所述将所述第二样本通过编码的方式进行存储，具体为：将所述样本位置数据输入至预设网格模型中，以使所述预设网格模型根据所述样本位置数据输出三维空间网格数据；将所述三维空间网格数据进行二进制转换后，生成空间网格编码并存储。5.一种样本数据管理装置，其特征在于，包括：获取模块和管理模块；其中，所述获取模块用于获取待管理样本数据后，根据数据性质将所述待管理样本数据划分为第一样本、第二样本和第三样本；所述管理模块用于将所述第一样本通过表格...

【专利技术属性】
技术研发人员：郑进锋，罗彬，陈鹏飞，余立能，杨军峰，吴龙胜，刘圣阳，朱贵冬，
申请(专利权)人：广州海格星航信息科技有限公司，
类型：发明
国别省市：