一种对样本进行碎片化标注的方法及装置制造方法及图纸

本申请公开了一种对样本进行碎片化标注的方法，包括如下步骤。步骤S10：对监督式机器学习算法的训练数据中的单个样本的输入进行切片。步骤S20：将单个样本的输入的所有切片分发给多个人员并行独立地对每个切片进行标注。步骤S30：将单个样本的输入的所有切片的标注合并，形成单个样本的整体标注，即单个样本的预期输出。上述方法能够实现标注去隐私以及提升标注效率。升标注效率。升标注效率。

【技术实现步骤摘要】
一种对样本进行碎片化标注的方法及装置


[0001]本申请涉及一种机器学习(machine learning)算法，特别是涉及一种对样本进行标注(label，也称标记)以形成训练数据(training data)的方法。

技术介绍

[0002]监督学习(supervised learning)是机器学习算法的一个类别，是指从已标注的训练数据中学习出一个函数或模式，该函数或模式能够映射已标注的训练数据中的各个样本的输入和预期输出。训练数据也称训练数据集(training data set)或训练集，是指一组样本，每个样本有输入和人工标注的预期输出。监督学习算法得到的函数或模式可用于预测新的输入的输出。
[0003]在对样本进行标注以形成训练数据的过程中，数据安全与隐私保护越来越受关注。一方面，需要保证样本标注去隐私；另一方面，需要保证样本标注的精度与效率。现有的对样本进行标注的方法通常是基于单个样本的整体进行标注，无法满足去隐私的要求；同时，单个样本只能单个人进行标注，导致标注速度缓慢。

技术实现思路

[0004]本申请所要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对样本进行碎片化标注的方法，其特征是，包括如下步骤；步骤S10：对监督式机器学习算法的训练数据中的单个样本的输入进行切片；步骤S20：将单个样本的输入的所有切片分发给多个人员并行独立地对每个切片进行标注；步骤S30：将单个样本的输入的所有切片的标注合并，形成单个样本的整体标注，即单个样本的预期输出。2.根据权利要求1所述的对样本进行碎片化标注的方法，其特征是，所述步骤S10中，所述监督式机器学习算法用来从图片中识别出文本内容，所述单个样本的输入是包含文本内容的图片；所述步骤S30中，单个样本的整体标注是该图片对应的文本及其位置。3.根据权利要求2所述的对样本进行碎片化标注的方法，其特征是，所述步骤S10进一步包括如下步骤；步骤S11：对每一样本的输入图片进行光学字符识别以得到该图片中的所有字符及坐标；步骤S12：对于横排文本的图片，利用光学字符识别的结果按照文本行进行分割，得到该图片的所有文本行；对于竖排文本的图片，利用光学字符识别的结果按照文本列进行分割，得到该图片的所有文本列；步骤S13：对于横排文本的图片，将每一文本行按照第一数量的字符进行切片，左右相邻的文本切片之间有第二数量的字符是重叠的；对于竖排文本的图片，将每一文本列按照第一数量的字符进行切片，上下相邻的文本切片之间有第二数量的字符是重叠的；第二数量小于第一数量；每个文本切片保存所属文本行的坐标、该文本切片的首字符的坐标、该文本切片的角度、该切片的类型为文本类型；步骤S14：对该图片根据光学字符识别的结果清除所有识别出的字符，该图片的剩余部分如有通过光学字符识别无法识别的内容，将无法识别的内容单独地或整体生成一个印章切片；每个印章切片保存该印章切片的首字符的坐标、角度、该切片的类型为印章类型；该图片的剩余部分如有光学字符识别遗漏的字符，将遗漏的字符单独地或整体生成一个遗漏切片；每个遗漏切片保存该遗漏切片的首字符的坐标、角度、该切片的类型为遗漏类型；或者，所述步骤S14放在步骤S11之后的任意位置执行。4.根据权利要求3所述的对样本进行碎片化标注的方法，其特征是，所述第二数量不为零且尽可能小。5.根据权利要求2所述的对样本进行碎片化标注的方法，其特征是，所述步骤S30进一步包括如下步骤；步骤S31：对每个切片的标注进行预处理，包括全半角字符标注统一、空字符过滤、三种切片类型解析、由每个切片的首字符的坐标与切片内坐标相结合得到全文坐标的任一种或多种；步骤S32：对于横排文本的图片，利用左右相邻的文本切片的重叠字符及坐标进行拼接以得到每一文本行的标注；对于竖排文本的图片，利用上下相邻的文本切片的重叠字符及坐标进行拼接以得到每一文本列的标注；步骤S33：对于横排文本的图片，利用每一文本行的标注的坐标将全部文本行的标注进行拼接以得到全部文本切片的标注；对于竖排文本的图片，利用每一文本列的标注的坐标
将全部文本列...

【专利技术属性】
技术研发人员：丁凯，滕兴，张彬，郭丰俊，龙腾，镇立新，
申请(专利权)人：上海生腾数据科技有限公司上海临冠数据科技有限公司上海盈五蓄数据科技有限公司，
类型：发明
国别省市：