一种减少视频数据集用于人工智能训练时冗余的方法技术

本发明专利技术公开了一种减少视频数据集用于人工智能训练时冗余的方法，包括如下步骤：1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测；2)读取步骤1处理后的第一张图像保存为临时变量；3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比；4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。本发明专利技术属于互联网技术领域，具体是指一种可以有效降低视频数据用于人工智能模型训练时冗余性的方法。工智能模型训练时冗余性的方法。工智能模型训练时冗余性的方法。

【技术实现步骤摘要】
一种减少视频数据集用于人工智能训练时冗余的方法


[0001]本专利技术属于互联网
，具体是指一种减少视频数据集用于人工智能训练时冗余的方法。

技术介绍

[0002]随着移动互联网的快速发展和网络摄像头应用的普及，数字社交、数字工业等数字经济领域内视频数据逐步代替图像数据作为信息载体，从以往的单张图像变成动态的视频。视频相对于图像更具全面性和有效性，可以帮助人们更直观地理解其中内容含义。但是，视频是由时间维度上多张连续图像组合而成，因此，当其作为人工智能算法训练阶段的数据源时会存在大量信息冗余。这些冗余不仅会极大地降低人工智能模型训练时的效率，而且也会加大数据标注时所花费的时间成本和人力成本，同时也不利于人工智能模型泛化能力的提升

技术实现思路

[0003]为了解决上述难题，本专利技术提供了一种减少视频数据集用于人工智能训练时冗余的方法。
[0004]为实现上述目的，本专利技术采取的技术方案如下：一种减少视频数据集用于人工智能训练时冗余的方法，包括如下步骤：
[0005]1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测，设定模糊值阈值，如果高于设定阈值则认为该帧图像为清晰图像，进行本地存储，图像文件名称按照视频帧数顺序进行命名；
[0006]如果低于或等于设定阈值则认为该帧图像为模糊图像，进行删除操作；
[0007]2)读取步骤1处理后的第一张图像保存为临时变量；
[0008]3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比，设定相似度对比阈值，如果该张图像与临时变量的相似度对比值高于设定阈值，则认为两者差异较大，将该张图像保存并赋值到临时变量；如果该张图像与临时变量的相似度对比值低于或等于阈值，则认为两者相似，删除该张图像，以此类推，完成路径下前后张图像间的相似度对比；
[0009]4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。
[0010]进一步地，所述步骤1)中检测算法包括但不限于拉普拉斯方差算法、小波变换。
[0011]进一步地，所述步骤3)中相似度对比算法包括但不限于：感知哈希算法、SIFT算法。
[0012]本专利技术采取上述结构取得有益效果如下：本专利技术一种减少视频数据集用于人工智能训练时冗余的方法，图像间相似度对比先按照所属视频帧数进行前后对比，再逐一相互对比。在减轻计算复杂度的同时实现所有图像之间的相似度对比；删除差异性较小的图像可以减少相似图像的冗余性标记；删除差异性较小的图像可以增加数据集内的平均差异，
提升人工智能模型学习数据效率。
附图说明
[0013]图1为一种减少视频数据集用于人工智能训练时冗余的方法的流程图。
具体实施方式
[0014]下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0015]一种减少视频数据集用于人工智能训练时冗余的方法，包括如下步骤：
[0016]1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测，设定模糊值阈值，如果高于设定阈值则认为该帧图像为清晰图像，进行本地存储，图像文件名称按照视频帧数顺序进行命名；
[0017]如果低于或等于设定阈值则认为该帧图像为模糊图像，进行删除操作；
[0018]2)读取步骤1处理后的第一张图像保存为临时变量；
[0019]3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比，设定相似度对比阈值，如果该张图像与临时变量的相似度对比值高于设定阈值，则认为两者差异较大，将该张图像保存并赋值到临时变量；如果该张图像与临时变量的相似度对比值低于或等于阈值，则认为两者相似，删除该张图像，以此类推，完成路径下前后张图像间的相似度对比；
[0020]4)遍历步骤3中保留的图像文件，按顺序逐一与其他剩余图像进行相似度对比，如果相似度对比值高于阈值，则保留被对比图像，否则将对比图像进行删除操作。
[0021]所述步骤1)中检测算法包括但不限于拉普拉斯方差算法、小波变换。
[0022]所述步骤3)中相似度对比算法包括但不限于：感知哈希算法、SIFT算法。
[0023]以上对本专利技术及其实施方式进行了描述，这种描述没有限制性，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本专利技术创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种减少视频数据集用于人工智能训练时冗余的方法，其特征在于，包括如下步骤：1)将视频文件逐帧解析成图像文件，解析时使用检测算法进行图像模糊度检测，设定模糊值阈值，如果高于设定阈值则认为该帧图像为清晰图像，进行本地存储，图像文件名称按照视频帧数顺序进行命名；如果低于或等于设定阈值则认为该帧图像为模糊图像，进行删除操作；2)读取步骤1处理后的第一张图像保存为临时变量；3)读取下一张图像与临时变量使用相似度对比算法进行相似度对比，设定相似度对比阈值，如果该张图像与临时变量的相似度对比值高于设定阈值，则认为两者差异较大，将该张图像保存并赋值到临时变量；如果该...

【专利技术属性】
技术研发人员：陈轶，张文，牛少彰，崔浩亮，王茂森，王让定，冯亚辉，
申请(专利权)人：东南数字经济发展研究院，
类型：发明
国别省市：