一种深度学习模型数据图像信息采集方法技术

本发明专利技术提供一种深度学习模型数据图像信息采集方法，涉及图像信息采集技术领域。一种深度学习模型数据图像信息采集方法，包括以下步骤：通道预览、定时截图、手动补充图像、基于相似度自适应选图、人工挑选图形、基于自监督的预标注、人工数据标注、数据扩增和标签包装。通过多种数据收集手段结合，数据具有更大丰富度，引入了录像机通道图像收集、搜索引擎收集数据并导入，两种收集手段使得数据源多样，图像所在场景多样，基于三通道直方图计算图像相似度，并开发一套多图像两两图像间对比算法，全局剔除相似度高的图像，降低数据集中图像相似度，并且有较高计算效率。并且有较高计算效率。并且有较高计算效率。

【技术实现步骤摘要】
一种深度学习模型数据图像信息采集方法


[0001]本专利技术涉及图像信息采集
，具体为一种深度学习模型数据图像信息采集方法。

技术介绍

[0002]在深度学习的模型训练过程中需要大量的图像数据及标注信息供模型学习，常见的收集手段有：1.使用搜索引擎搜索收集；2.根据回放视频截取收集；3.根据监控摄像机当前图像截取收集；4.分布式数据收集。
[0003]数据收集流程和方法对数据的质量起到了至关重要的作用，而数据质量又对最终训练得到的模型存在较大影响，因此，要保证深度学习模型的性能，则需要对数据收集的流程方法有一定的规范和创新。并按照相应的方法，得到模型训练时需要的高质量数据，以下是目前既有的数据收集方法：1、使用搜索引擎搜索收集；目前基于搜索引擎可以根据关键词收集得到海量图像，在这些图像基础上进行数据标注。包装标签后即可用于模型的训练；2、根据回放视频截取收集；数据收集人员首先下载本地监控主机保存的监控录像；根据不同截图间隔，截取视频中的不同帧作为图像，当截取大量图像后进行图像标注；3、根据监控录像机当前图像截取收集，在数据准备阶段，数据收集人员可以根据监控当前实时画面对图像进行截取，随后进行标注；4、分布式数据收集。通过在分布式监控主机上部署图像收集脚本，其次使用e l asti csearch搜索技术对所需图像进行收集获取，汇总后再对图像进行标注工作。
[0004]既有方法1使用搜索引擎搜索得到的数据往往与算法应用的真实应用场景差异较大，可能对真实场景的干扰考虑不足，目标的多样性不足，造成模型训练时模型过拟合，既有方法2、3、4使用视频回放及实时视频截图的方案可能会导致图像中的正反例目标不均，输出的正反例不均会导致模型损失函数在计算时无法起到正确调节模型权重的作用，另外，方法2、3截取的图像通道较少，图像重复率较高，且相似度较高同样的会使模型训练过程中产生过拟合现象。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种深度学习模型数据图像信息采集方法，解决了现有方法目标的多样性不足，造成模型训练时模型过拟合、图像中的正反例目标不均以及图像通道较少，图像重复率较高的问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：一种深度学习模型数据图像信息采集方法，包括以下步骤：
[0009]S1.通道预览
[0010]数据收集人员明确数据收集的目标后，需要明确数据在哪个场景下被收集，通过
对既有视频通道的预览可以了解每个视频监控通道所监控的区域，人员通过预览可以明确该通道下的视频图像是否与图像收集所需场景相符，如果相符则对通道进行选择，后期为通道截图提供指导；
[0011]S2.定时截图
[0012]数据收集人员设置所需截图的监控录像机，基于通道预览查看摄像头实时图像信息并设置摄像头通道号，根据视频图像的变化程度设置截图间隔时间，根据场景或流程的持续时间设置截图持续总时间；
[0013]S3.手动补充图像
[0014]数据收集人员整理社会化图像加入到通道截图的数据集中，从而丰富整体数据集的容量；
[0015]S4.自适应选图
[0016]数据收集人员基于三通道直方图计算图像的相似度，设定相似度阈值后，当两图像相似度高于所设定的阈值则对其一进行剔除，最终留下两两相似度较低的图像；
[0017]S5.人工挑选图像
[0018]基于上述数据采集后，需要对图像进行人工挑选，根据上述流程采集情况对图像进行预览、评估，对无用图像进行剔除；
[0019]S6.基于自监督的预标注
[0020]完成图像收集后，需要根据模型要求对图像进行标注，在人工标注前数据标注人员可以使用与需求相关的，预训练的模型进行预标注；
[0021]S7.人工数据标注
[0022]采用l abe lme作为人工标注工具，标注完成后会在文件夹中生成.json为后缀的标注信息；
[0023]S8.数据扩增
[0024]数据收集并标注后，基于图像色温调节、亮度和对比度调节、图像尺度缩放和图像灰度值转换，借助opencv相关库可以实现自定义阈值的色温调节，并且根据亮度阈值及sobe l对比度算法随机提高或降低亮度及对比度，经过数据扩增后，数据集中图像数量及标签数量能够成倍增加，可以通过各扩增手段组合的方法降低图像相似度过高造成的不良影响；
[0025]S9.标签包装
[0026]标注工作及扩增工作完成后，经过l abe lme处理的标注信息保存于不同文件中，需要将其进行合并，扩增前将测试集与训练集进行分离，分离后再进行数据扩增最终再将图像和标签通过描述文件的形式进行包装。
[0027]优选的，所述步骤S6中基于目标图形训练的模型对图像进行预标注，再根据真实标注需求进行调整。
[0028]优选的，所述步骤S7中l abe lme是基于python语言开发的一款开源标注工具，图像标注人员可以在使用窗口配置图像存放的路径以及标签存放的路径，可以手动输入标签类别，并且其还支持矩形标注、多边形标注和圆形标注目标框。
[0029]优选的，所述步骤S8中的图像成比例缩放图像与标签坐标，使用矩阵运算。
[0030]优选的，所述步骤S9中模型训练时需要分离训练集和测试集，测试集不得进入模
型中训练。
[0031](三)有益效果
[0032]本专利技术提供了一种深度学习模型数据图像信息采集方法。具备以下有益效果：
[0033]1、本专利技术通过在传统数据收集方法的基础上融合了多种数据采集手段。图像数据来源多样，有基于搜索引擎收集并手动上传的图像，此外还有基于历史通道视频及实施通道视频图像截取的图像。通过对众多监控主机的任务下发，可以收集到部署于不同位置的图像数据，在场景上多样性较强。在模型部署，AI能力正式使用阶段，该专利技术采用的收集手段能够使得数据集中的反例更多，不容易造成模型的误判。
[0034]2、本专利技术通过在数据收集过程中引入多录像机多通道预览，数据收集人员可以对图像进行预览，基于AI能力需要部署的场景进行匹配，可以挑选最真实的场景图像，进而使得数据集中图像的场景具有更高的真实性。避免了因对通道图像不熟悉导致错误选择
[0035]3、本专利技术通过提出自适应选图方案。基于既有的直方图计算相似度的算法，基于冒泡算法改写了全局图像去重算法，较为高效地去除了数据集中的重复图像。深度学习模型训练过程中，过多的相似度高的图像数据集可能导致模型的过拟合，另外，当两张图像相似时，各图像的信息量有限，模型难以得到学习，延长了训练周期。
[0036]4、本专利技术通过基于自监督的预标注方案，可以对没有进行标注的图像进行预标注，一方面，经过预标注的图像已把部门需要标注的目标提取出，减少了标注人员的工作量。另一方面，在标注过程中，标注人员难免因为疏忽导致漏标和错标。使用预训练模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型数据图像信息采集方法，其特征在于，包括以下步骤：S1.通道预览数据收集人员明确数据收集的目标后，需要明确数据在哪个场景下被收集，通过对既有视频通道的预览可以了解每个视频监控通道所监控的区域，人员通过预览可以明确该通道下的视频图像是否与图像收集所需场景相符，如果相符则对通道进行选择，后期为通道截图提供指导；S2.定时截图数据收集人员设置所需截图的监控录像机，基于通道预览查看摄像头实时图像信息并设置摄像头通道号，根据视频图像的变化程度设置截图间隔时间，根据场景或流程的持续时间设置截图持续总时间；S3.手动补充图像数据收集人员整理社会化图像加入到通道截图的数据集中，从而丰富整体数据集的容量；S4.自适应选图数据收集人员基于三通道直方图计算图像的相似度，设定相似度阈值后，当两图像相似度高于所设定的阈值则对其一进行剔除，最终留下两两相似度较低的图像；S5.人工挑选图像基于上述数据采集后，需要对图像进行人工挑选，根据上述流程采集情况对图像进行预览、评估，对无用图像进行剔除；S6.基于自监督的预标注完成图像收集后，需要根据模型要求对图像进行标注，在人工标注前数据标注人员可以使用与需求相关的，预训练的模型进行预标注；S7.人工数据标注采用labelme作为人工标注工具，标注完成后会在文件夹中生成.json为后缀的标注信息；S8.数据扩增数据收集并标注后，基于图像色温调节、亮度和对比度调节、图像...

【专利技术属性】
技术研发人员：陈启达，曹俊慷，
申请(专利权)人：北京优海网络科技有限公司，
类型：发明
国别省市：