【技术实现步骤摘要】
本专利技术涉及视频处理，尤其是涉及基于深度学习的视频马赛克缺陷检测方法。
技术介绍
1、视频或者图像中的马赛克，通常表现为出现区域不固定，马赛克区域背景颜色受图片对应区域背景色影响严重。马赛克可能因为设备不良，线路接触不好等硬件原因导致，或者是因为视频传输过程受到干扰，编码解码过程出现故障导致。无论是哪种原因导致的马赛克缺陷的出现都会对产品的品控和出厂带来压力，传统的依靠人眼辨别产品表面是否有缺陷的方法已经不能满足越来越严格的检测精度要求，而且人工目检存在诸多隐患，检测人员的专业程度，效率问题和成本问题已经成为各个电子设备制造企业的心病。
2、传统的机器视觉算法在简单的缺陷检测问题上能够取得较好的效果，但是面对场景复杂多样的缺陷，需要先进行大量根据经验的特征工程，对图像进行复杂的检测流程，并且检测效果并不理想。
3、近年来，深度学习的发展给工业外观缺陷检测提供了新的方向。基于cnn的目标检测算法，源于其强大的特征提取能力，能够拟合一些传统方法无法挖掘的图像特征。深度学习算法的成功依赖于海量的标注数据，通过神经网络对包含标签的数据进行学习从而获得良好的特征表达。深度学习的适用性很强，可以相对容易地部署到各个工业缺陷检测的场景中，算法的鲁棒性较传统算法更优，面对复杂环境变化时，依然能够保证缺陷的检出率。
4、人工质检主要依靠人的肉眼进行缺陷分类，且在检测过程中存在一定的主观因素，不同的个体对缺陷的标准不一致。在视觉疲劳的情况下，也无法保证缺陷的检出准确率。
5、传统机器视觉算法需要从图
6、而传统机器视觉算法面对这些变化时超参极其敏感，从而导致缺陷检出率无法保证。另一方面，传统机器视觉算法面对不规则缺陷时也存在定位困难的问题。
7、目标检测算法基于cnn的强大的特征拟合能力，不再需要进行手动的特征工程。面对复杂环境及图像本身的一些形变时仍然能够保证缺陷的检出率，且可以利用迁移学习等策略快速从一种场景部署至另一场景。但深度学习相关算法是建立在海量的已标注图像上的，而获得这些标注数据的成本又是一些企业难以接受的。
技术实现思路
1、本专利技术的目的在于克服上述技术不足，提出基于深度学习的视频马赛克缺陷检测方法，解决现有技术中获取海量的马赛克缺陷图像的标注数据的成本巨大的技术问题。
2、为达到上述技术目的，第一方面，本专利技术的技术方案提供一种基于深度学习的视频马赛克缺陷检测方法，包括以下步骤：
3、获取视频流数据，并将所述视频流数据解码为视频帧序列；
4、检测所述视频帧的马赛克缺陷，并对所述视频帧剪裁得到多个马赛克缺陷图，并标注所述马赛克缺陷信息；
5、利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据所述马赛克缺陷信息生成标注文件；
6、将包含所述马赛克缺陷的所述视频帧和所述虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；
7、使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
8、与现有技术相比，本专利技术提供的基于深度学习的视频马赛克缺陷检测方法的有益效果包括：
9、本专利技术提供的基于深度学习的视频马赛克缺陷检测方法，针对视频因为各种原因出现的马赛克缺陷，通过使用基于深度学习的目标检测的方法，代替了传统的人眼视觉进行产品的品控，能够有效的增加马赛克缺陷的检测准确率和效率。同时提出的利用泊松融合的方式构造生成对应的缺陷数据，能够很好的减少数据标注成本，能够根据裁剪出的缺陷图片，使用泊松融合的方式融入无缺陷视频帧中，能够生成包含多种多样马赛克缺陷的虚假视频帧，可以无限制地生成海量的图片数据，减少了数据标注成本，提升了目标检测模型的训练效果，提升了马赛克检测的效率和准确率。
10、根据本专利技术的一些实施例，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，包括步骤：
11、标注所述马赛克缺陷图的中心点，根据所述中心点指定所述马赛克缺陷图在所述无缺陷视频帧中放置位置；
12、计算所述马赛克缺陷图和所述无缺陷视频帧的梯度场，使用马赛克缺陷图的梯度场替换无缺陷视频帧中放置位置的梯度场得到虚假缺陷帧的梯度场；
13、根据虚假缺陷帧的梯度场计算所述虚假缺陷帧的散度场，根据所述虚假缺陷帧的散度场和所述马赛克缺陷图求解泊松等式。
14、根据本专利技术的一些实施例，根据所述马赛克缺陷信息生成标注文件，所述标注文件包括：马赛克缺陷数量、马赛克缺陷长度、马赛克缺陷宽度、马赛克缺陷类型、模糊点数量，马赛克缺陷方向和马赛克缺陷坐标。
15、根据本专利技术的一些实施例，目标检测模型包括：
16、依次连接的c3模块、cbs模块、resunit模块、连接层和cbs模块，所述c3模块与所述连接层的另一条连接路径连接有cbs模块。
17、根据本专利技术的一些实施例，将所述视频流数据解码为视频帧序列之后，包括步骤：
18、采用概率mosaic数据增强方式增强子区域的检测效果：在训练数据中随机采样四张视频帧，对四张视频帧随机缩放、随机裁剪和随机排布处理。
19、根据本专利技术的一些实施例，检测所述视频帧的马赛克缺陷，包括步骤：
20、使用基于anchor的两阶段目标检测算法：faster-rcnn系列算法检测所述视频帧的马赛克缺陷；
21、或使用基于anchor的单阶段目标检测方法：yolo系列算法检测所述视频帧的马赛克缺陷。
22、第二方面，本专利技术的技术方案提供一种基于深度学习的视频马赛克缺陷检测系统，包括：
23、视频帧解码模块，用于获取视频流数据，并将所述视频流数据解码为视频帧序列；
24、缺陷标注模块，用于检测所述视频帧的马赛克缺陷，并对所述视频帧剪裁得到多个马赛克缺陷图，并标注所述马赛克缺陷信息；
25、泊松融合模块，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，并根据所述马赛克缺陷信息生成标注文件；
26、模型训练模块，将包含所述马赛克缺陷的所述视频帧和所述虚假缺陷帧输入到目标检测模型进行训练，得到训练完成的目标检测模型；
27、缺陷检测模块，使用训练完成的目标检测模型对视频流数据进行马赛克缺陷检测。
28、第三方面，本专利技术的技术方案提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的视频马赛克缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，包括步骤：
3.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，根据所述马赛克缺陷信息生成标注文件，所述标注文件包括：马赛克缺陷数量、马赛克缺陷长度、马赛克缺陷宽度、马赛克缺陷类型、模糊点数量，马赛克缺陷方向和马赛克缺陷坐标。
4.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，目标检测模型包括：
5.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，将所述视频流数据解码为视频帧序列之后，包括步骤：
6.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，检测所述视频帧的马赛克缺陷，包括步骤：
7.一种基于深度学习的视频马赛克缺陷检测系统，其特征在于，包括：视频帧解码模块，用于获取视频流数据，并将所述视频流数据解
8.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任意一项所述的基于深度学习的视频马赛克缺陷检测方法。
...【技术特征摘要】
1.一种基于深度学习的视频马赛克缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，利用泊松融合的方式将所述马赛克缺陷图合成到无缺陷视频帧中得到虚假缺陷帧，包括步骤：
3.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，根据所述马赛克缺陷信息生成标注文件，所述标注文件包括：马赛克缺陷数量、马赛克缺陷长度、马赛克缺陷宽度、马赛克缺陷类型、模糊点数量，马赛克缺陷方向和马赛克缺陷坐标。
4.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，目标检测模型包括：
5.根据权利要求1所述的基于深度学习的视频马赛克缺陷检测方法，其特征在于，将所述视频流数据解码为视频帧序...
【专利技术属性】
技术研发人员：单书畅，别晓辉，王开开，别伟成，
申请(专利权)人：视睿杭州信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。