产品漏检的识别方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种产品漏检的识别方法、装置、电子设备及存储介质，计算机技术领域，具体涉及计算机视觉、自然语言处理、图像处理和深度学习等人工智能技术领域。具体实施方案为，获取监控视频；将监控视频的视频帧输入至产品检测模型以生成产品检测结果；将监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及根据产品检测结果和检测动作识别结果判断产品是否漏检。由此，能够快速检测出工业生产线中的产品是否漏检，且精确度较高。且精确度较高。且精确度较高。

【技术实现步骤摘要】
产品漏检的识别方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体涉及计算机视觉、自然语言处理、图像处理和深度学习等人工智能
，尤其涉及一种产品漏检的识别方法、装置、电子设备及存储介质。

技术介绍

[0002]电极(产品)质量检测是工业生产技术中的重要一环。现代化的电极质量检测流水线中的每一道工序都有特定的人去完成，一步一步地加工，每个人做一个特定的工作。往往工作的人会很快觉得很乏味，由此带来的某一个环节中的电极漏检都会给最终的电极良品率造成重要影响。
[0003]相关技术中，厂区产线上电极漏检检测主要有以下三种方式：
[0004]①
、第一种为人工观察监控视频判断方式，即人为的通过观察现场的各个产线质检员检测电极的行为监控视频来判断；
[0005]②
、第二种为基于跟踪的计算机视觉方法，该方法主要通过跟踪产线上的每一个电极，并通过电极跟踪的ID(Identity Document,身份证标识号)切换来辅助判断产品是否被检测；
[0006]③
、第三种则是通过引入姿态估计的方法，首先利用关键点定位得到视频帧图像中质检员的人体关键点，然后基于关键点信息判断质检员姿态是否是正确检测电极的姿态，继而间接得到产品是否漏检的信息。

技术实现思路

[0007]本公开提供了一种用于产品漏检的识别方法、装置、电子设备及存储介质。
[0008]根据本公开的一方面，提供了一种产品漏检的识别方法，包括：
[0009]获取监控视频；
[0010]将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；
[0011]将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及
[0012]根据所述产品检测结果和所述检测动作识别结果判断产品是否漏检。
[0013]根据本公开的另一方面，提供了一种产品漏检的识别装置，包括：
[0014]第一获取模块，用于获取监控视频；
[0015]第一生成模块，用于将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；
[0016]第二生成模块，用于将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及
[0017]判断模块，用于根据所述产品检测结果和所述检测动作识别结果判断产品是否漏检。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与所述至少一个处理器通信连接的存储器；其中，
[0021]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的产品漏检的识别方法。
[0022]根据本公开另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的产品漏检的识别方法。
[0023]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述一方面实施例所述的产品漏检的识别方法。
[0024]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0025]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0026]图1为本公开实施例提供的一种产品漏检的识别方法的流程示意图；
[0027]图2本公开实施例提供的一种产品漏检的识别方法的时序示意图；
[0028]图3为本公开实施例提供的另一种产品漏检的识别方法的流程示意图；
[0029]图4为本公开实施例提供的另一种产品漏检的识别方法的流程示意图；
[0030]图5为本公开实施例提供的另一种产品漏检的识别方法的流程示意图；
[0031]图6为本公开实施例提供的slow
‑
fast动作识别网络结构图；
[0032]图7为本公开实施例提供的一种产品漏检的识别装置的结构示意图；以及
[0033]图8为根据本公开实施例的产品漏检的识别方法的电子设备的框图。
具体实施方式
[0034]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0035]下面参考附图描述本公开实施例的产品漏检的识别方法、装置和电子设备。
[0036]人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的
也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及学习、大数据处理技术、知识图谱技术等几大方向。
[0037]自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
[0038]学习是机器学习领域中一个新的研究方向。学习是学习样本数据的内在规律和表
示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
[0039]计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取“信息”的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
[0040]本公开实施例提供的产品漏检的识别方法，可以由电子设备来执行，该电子设备可为PC(Personal Computer，个人计算机)电脑、平板电脑或服务器等，此处不做任何限定。
[0041]在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产品漏检的识别方法，包括：获取监控视频；将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及根据所述产品检测结果和所述检测动作识别结果判断所述产品是否漏检。2.如权利要求1所述的方法，还包括：将所述监控视频的视频帧存储至视频帧数据库，以作为训练样本；根据所述训练样本分别对所述产品检测模型和所述动作识别模型进行优化。3.如权利要求1所述的方法，其中，还包括：将所述视频帧存储至视频帧缓存队列之中，其中，所述视频帧缓存队列的长度等于所述动作识别模型生成所述检测动作识别结果时所述动作识别模型的输入视频帧数；和/或将所述检测动作识别结果进行缓存。4.如权利要求3所述的方法，其中，所述将所述视频帧存储至视频帧缓存队列之中，包括：响应于所述视频帧缓存队列已满，将头部视频帧移出，并将所述视频帧插入至所述视频帧缓存队列的尾部。5.如权利要求1所述的方法，其中，所述根据所述产品检测结果和所述检测动作识别结果判断所述产品是否漏检，包括：对所述产品检测结果进行筛选，以得到目标产品检测结果；将所述目标产品检测结果输入至产品追踪模型，以获取所述产品的标识和视频帧号，其中，所述视频帧号包括所述产品进入电子围栏区域时所在视频帧的视频帧号，和所述产品离开所述电子围栏区域时所在视频帧的视频帧号；根据所述视频帧号从所述检测动作识别结果之中提取所述视频帧号对应的检测动作识别结果；根据所述视频帧号对应的检测动作识别结果和所述产品的标识，判断所述产品是否漏检。6.如权利要求5所述的方法，其中，所述对所述产品检测结果进行筛选，以得到目标产品检测结果，包括：获取所述电子围栏区域对应的坐标信息；根据所述坐标信息对所述产品检测结果进行筛选，以得到所述目标产品检测结果。7.如权利要求6所述的方法，其中，根据所述坐标信息对所述产品检测结果进行筛选，以得到所述目标产品检测结果，包括：对所述产品检测结果进行解析，以获取产品目标框；根据所述产品目标框和所述坐标信息计算所述产品目标框的交并比iof值；根据所述iof值对所述产品检测结果进行筛选，以得到所述目标产品检测结果。8.如权利要求1
‑
7中任一项所述的方法，其中，所述动作识别模型包括第一识别通道和第二识别通道，其中，所述第一识别通道的采样率低于所述第二识别通道的采样率，所述将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果，包括：将所述视频帧分别输入所述第一识别通道和第二识别通道，以生成第一识别结果和第
二识别结果；根据所述第一识别结果和所述第二识别结果生成所述检测动作识别结果。9.一种产品漏检的识别装置，包括：第一获取模块，用于获取监控视频；第一生成模块，用于将所述监控视频的视频帧输入至产品检测模型以生成产品检测结果；第二生成模块，用于将所述监控视频的视频帧输入至动作识别模型以生成检测动作识别结果；以及判断模块，用于根据所述产品检测结果和所述检测动作识别结果判断产品是否漏检...

【专利技术属性】
技术研发人员：杨苏辉，聂磊，肖慧慧，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：