一种模型训练装置和方法制造方法及图纸

本发明专利技术公开了一种模型训练装置和方法，本发明专利技术确定神经网络模型的原始训练样本集，原始训练样本集包括样本视频，样本视频包括已标注样本图，已标注样本图包括数量为预设数量的边界框，边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别样本视频中物体的特征信息；基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。本发明专利技术的神经网络模型应用到图像处理领域中，能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度。

【技术实现步骤摘要】
一种模型训练装置和方法
本专利技术涉及图像数据处理
，尤其涉及一种模型训练装置和方法。
技术介绍
神经网络模型具有并行分布处理能力、高度鲁棒性和容错能力、分布存储及学习能力以及能充分逼近复杂的非线性关系。神经网络模型最大的特点在于其是一种自动学习机制的数学模型，在神经网络中，能够对外部环境提供的模式样本进行学习训练，并能存储这种模式。目前，神经网络模型已经广泛地应用到各个领域里面，取得了很大的进展。在神经网络模型应用在图像处理领域中的图像识别技术的时候，具体是通过神经网络对图像中的某一特征进行识别，通过深度神经网络运算得到目标物体的边界框和类别。然而，现有技术中，要保证图像特征识别的准确度，神经网络的深度学习需要通过获取数据的多样性，需要大量的训练样本增加模型的鲁棒性，样本数量少模型容易过拟合，测试集识别准确率召回率低。但是现有的多数深度神经网络需要大量的训练样本，耗费人工，但使用少量样本训练模型则难以达到预期。少量迁移学习相对大量数据从零训练，数据的多样性达不到要求，很多特性差异大的图像不能很好的识别。因此，将神经网络模型应用到图像处理领域中，如何能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度，是一个亟需解决的技术问题。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种模型训练装置和方法，旨在解决神经网络模型应用到图像处理领域中，如何能够在降低神经网络模型深度学习的训练成本的基础上，进一步保证图像特征识别的准确度的技术问题。本专利技术就上述技术问题而提出的技术方案如下：本专利技术提供一种模型训练装置，所述模型训练装置包括：样本集确定模块，用于确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；第一模型构建模块，用于基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；第二模型构建模块，用于基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。相应地，所述第一模型构建模块包括：视频采集单元，用于按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；已标注帧获取单元，用于从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；第一模型训练单元，用于使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；图像识别跟踪单元，用于对迁移学习训练图像数据进行识别，得到识别出的内容数据；滤波单元，用于对所述识别出的内容数据进行过滤，得到过滤后的数据；所述模型训练单元，还用于使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。相应地，所述第一模型构建模块还包括：无标注帧获取单元，用于从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；图像识别跟踪单元，还用于对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；滤波单元，还用于对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。相应地，所述第二模型构建模块包括：第二模型训练单元，用于使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；图像裁剪单元，用于对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；分类训练单元，用于使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。优选地，所述装置还包括目标识别模块，所述目标识别模块包括：采集单元，用于采集目标视频；识别单元，用于基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；获取所述目标边界框的尺寸大小、位置和类别；第一分组单元，用于将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；滤波单元，用于对所述多个边界框标签组进行滤波处理；判断单元，用于基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；第二分组单元，用于剔除最大概率值不超过所述预设概率阈值的无效标签组，获取所述有效标签组的目标边界框的类别，根据所述有效标签组中的目标边界框的类别确定对应的目标物体。此外，本专利技术还提出一种模型训练方法，所述方法包括：确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。相应地，所述基于所述已标注样本图构建目标识别模型的步骤，包括：按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；对迁移学习训练图像数据进行识别，得到识别出的内容数据；对所述识别出的内容数据进行过滤，得到过滤后的数据；使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。相应地，所述获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合的步骤之后，还包括：从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框本文档来自技高网...

【技术保护点】
1.一种模型训练装置，其特征在于，所述装置包括：/n样本集确定模块，用于确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；/n第一模型构建模块，用于基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；/n第二模型构建模块，用于基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。/n

【技术特征摘要】
1.一种模型训练装置，其特征在于，所述装置包括：
样本集确定模块，用于确定神经网络模型的原始训练样本集，所述原始训练样本集包括样本视频，所述本视频包括已标注样本图，所述已标注样本图包括数量为预设数量的边界框，所述边界框用于表征所述样本视频中的一帧图像中的物体的特征信息；
第一模型构建模块，用于基于所述已标注样本图构建目标识别模型，所述目标识别模型用于识别所述样本视频中物体的特征信息；
第二模型构建模块，用于基于所述目标识别模型构建分类模型，所述分类模型用于检测所述边界框的有效性。


2.如权利要求1所述的装置，其特征在于，所述第一模型构建模块包括：
视频采集单元，用于按照预设播放顺序对所述样本视频中前后相邻帧图像进行遍历，其中，所述预设播放顺序包括视频正放顺序和视频倒放顺序；获取遍历到的前后相邻帧图像之间的重叠度，在所述重叠度大于预设重叠阈值时，将遍历到的前后相邻帧图像送入目标帧图像集合；
已标注帧获取单元，用于从所述目标帧图像集合中选取已标注帧图像，所述已标注帧图像包括已标注边界框，确定所述已标注边界框的位置和类别；
第一模型训练单元，用于使用预设训练网络集合对所述神经网络模型进行迁移学习训练，得到迁移学习训练图像数据；
图像识别跟踪单元，用于对迁移学习训练图像数据进行识别，得到识别出的内容数据；
滤波单元，用于对所述识别出的内容数据进行过滤，得到过滤后的数据；
所述模型训练单元，还用于使用所述预设训练网络集合对所述过滤后的数据进行迁移学习训练，得到第一训练数据结果，并将所述第一训练数据结果保存到训练样本集。


3.如权利要求2所述的装置，其特征在于，所述第一模型构建模块还包括：
无标注帧获取单元，用于从所述目标帧图像集合中选取无标注帧图像，所述无标注帧图像中不存在边界框；
图像识别跟踪单元，还用于对所述无标注帧图像进行识别，识别出无标签物体，并对所述无标签物体构建新的标签类型的边界框；
滤波单元，还用于对所述新的标签类型的边界框进行过滤，将过滤后的所述新的标签类型的边界框作为扩充边界框保存到所述训练样本集。


4.如权利要求1-3任一项所述的装置，其特征在于，所述第二模型构建模块包括：
第二模型训练单元，用于使用所述预设训练网络集合对所述训练样本集进行迁移学习训练，得到第二迁移学习训练图像数据；
图像裁剪单元，用于对所述第二迁移学习训练图像数据进行图像裁剪，得到边界框范围图像数据；
分类训练单元，用于使用卷积神经网络对所述边界框范围图像数据进行训练，以完成分类模型的构建。


5.如权利要求1-3任一项所述的装置，其特征在于，所述装置还包括目标识别模块，所述目标识别模块包括：
采集单元，用于采集目标视频；
识别单元，用于基于所述目标识别模型从所述目标视频的各帧图像中识别出各个目标边界框；获取所述目标边界框的尺寸大小、位置和类别；
第一分组单元，用于将前后相邻帧图像中位置的重叠度大于预设阈值的目标边界框分到一组，得到多个边界框标签组；
滤波单元，用于对所述多个边界框标签组进行滤波处理；
判断单元，用于基于所述分类模型并使用softmax函数分别计算各个边界框标签组的最大概率值，将最大概率值超过预设概率阈值的边界框标签组作为有效标签组；
第二分组单元，用于剔除最大概率值不超过所述预设概率...

【专利技术属性】
技术研发人员：蔡友良，
申请(专利权)人：深圳市凯立德科技股份有限公司，
类型：发明
国别省市：广东;44