一种含能材料药桶识别方法、系统、电子设备及存储介质技术方案

本发明专利技术提供一种含能材料药桶识别方法、系统、电子设备及存储介质，方法包括：获取包含含能材料药桶的RGB图像和深度图像；将RGB图像和深度图像分别输入伪孪生神经网络中的第一分支网络和第二分支网络，分别获取表征含能材料药桶位置的至少一个第一候选框和至少一个第二候选框；对至少一个第一候选框和至少一个第二候选框进行融合处理，得到至少一个融合候选框；从至少一个融合候选框中确定最终目标检测框。本发明专利技术分别获取RGB图像和深度图像，并利用伪孪生神经网络对RGB图像和深度图像进行检测识别，伪孪生神经网络的两个分支网络结构相同但不共享参数，充分利用RGB图像和深度图像两类数据的特点，同时提高识别速度和识别精度。

【技术实现步骤摘要】
一种含能材料药桶识别方法、系统、电子设备及存储介质
本专利技术涉及图像识别领域，更具体地，涉及一种含能材料药桶识别方法、系统、电子设备及存储介质。
技术介绍
卷积神经网络在人工智能领域应用非常广泛，其通过卷积计算提取特征的特点非常适合应用于图像领域，因此在计算机视觉的目标检测任务中已经成为了主流框架。不论是单阶段目标检测算法，还是两阶段目标检测算法，都可以拆分为不同结构的卷积网络和辅助网络。卷积网络作为主干网络，主要作用是做图像的特征提取，辅助网络可以只是几层全连接层，也可以是复杂的RPN网络等，其作用是将网络的输出回归到目标检测任务上来。卷积神经网络的基本结构如图1所示，基础的卷积神经网络包含若干卷积层和全连接层，每层卷积通过共享参数的卷积核对上层输出以一定步长做卷积操作，并使用激活函数做非线性变换，经过多层卷积与池化操作后，将最终提取的特征输入全连接层和Softmax层构成的分类器中，得到输出结果。但这种基础网络结构只适用于简单的分类任务，对于目标检测而言，所需的最终输出不仅是某一个物体的类别，还要判断出图像中物体的数量和位置。因此衍生出了以回归为核心思想的单阶段目标检测算法和以构造辅助网络为手段的两阶段目标检测算法。单阶段目标检测算法由于结构简单，因此速度快，可以实现实时检测，在嵌入式等终端设备上应用较多。两阶段目标检测算法由于增加了用于获取候选区的辅助网络，结构更为复杂，因此速度较单阶段目标检测算法慢，但精度往往更高。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种含能材料药桶识别方法、系统、电子设备及存储介质。根据本专利技术的第一方面，提供了一种含能材料药桶识别方法，包括：获取包含至少一个含能材料药桶的原始图像的RGB图像和深度图像；将所述RGB图像和所述深度图像分别输入伪孪生神经网络中的第一分支网络和第二分支网络，获取所述第一分支网络输出的表征含能材料药桶位置的至少一个第一候选框，以及获取所述第二分支网络输出的表征含能材料药桶位置的至少一个第二候选框；对所述至少一个第一候选框和所述至少一个第二候选框进行融合处理，得到表征含能材料药桶位置的至少一个融合候选框；从至少一个融合候选框中确定最终目标检测框。在上述技术方案的基础上，本专利技术还可以作出如下改进。可选的，第一分支网络和第二分支网络结构相同但不共享参数，所述第一分支网络和所述第二分支网络均包括特征提取主干网络和包括全连接层和softmax层的辅助网络，所述特征提取主干网络包括多个卷积层和多个池化层，多个卷积层和多个池化层间隔级联；特征提取主干网络，用于提取输入的RGB图像或深度图像的特征信息；辅助网络，用于根据所述特征信息，输出表征含能材料药桶位置的每一个第一候选框的归一化坐标和每一个第一候选框中表征药桶类别的三个预测概率，所述药桶类别包括空、装满和倾倒；或每一个第二候选框的归一化坐标和每一个第二候选框中表征药桶类别的三个预测概率，所述药桶类别包括空、装满和倾倒。可选的，每一个第一候选框的归一化坐标为(x1，y1，w1，h1)，三个预测概率为(P11，P12，P13)，每一个第二候选框的归一化坐标为(x2，y2，w2，h2)，三个预测概率为(P21，P22，P23)；相应的，对所述至少一个第一候选框和所述至少一个第二候选框进行融合处理，得到表征含能材料药桶位置的至少一个融合候选框，包括：融合候选框的归一化坐标为((x1+x2)/2，(y1+y2)/2,(w1+w2)/2,(h1+h2)/2),融合候选框的三个预测概率为(P11*P21,P12*P22,P13*P23)；其中，x1，y1，w1，h1分别为第一候选框的左上角点的横坐标、纵坐标、第一候选框的宽度和高度，x2，y2，w2，h2分别为第二候选框的左上角点的横坐标、纵坐标、第二候选框的宽度和高度，P11，P12，P13为第一候选框分别为空、装满和倾倒类别的预测概率，P21，P22，P23为第二候选框分别为空、装满和倾倒类别的预测概率。可选的，从所述至少一个融合候选框中确定最终目标检测框，包括：基于多个融合候选框，利用非极大值抑制法确定最终目标检测框，其中，所述原始图像中一个药桶对应一个最终目标检测框。可选的，基于多个融合候选框，利用非极大值抑制法确定最终目标检测框，包括：将每一个融合候选框作为第一融合候选框，对于每一个第一融合候选框中表征药桶类别的三个预测概率，剔除三个预测概率均小于第一预设阈值的第一融合候选框，得到剔除处理后的多个第二融合候选框，其中，将三个预测概率中最大的预测概率作为第二融合候选框的预测概率；对于多个第二融合候选框，剔除预测概率小于第二预设阈值的第二融合候选框，得到再次剔除处理后的多个第三融合候选框；将多个第三融合候选框按照预测概率排序，从预测概率最大的第三融合候选框作为当前第三融合候选框，计算其他的任一个第三融合候选框与当前第三融合候选框的交并比，若交并比大于第三预设阈值，则判定所述任一个第三融合候选框与当前第三融合候选框为检测的相同的含能材料药桶，通过非极大值抑制对所述任一个第三融合候选框进行剔除；遍历所有的第三融合候选框，得到原始图像中至少一个含能材料药桶对应的第三融合候选框作为最终目标检测框。可选的，还包括：对于任一个最终目标检测框，将三个预测概率中最大预测概率对应的类别作为含能材料药桶的类别。可选的，第一分支网络和所述第二分支网络为单独训练，其中，基于包含有含能材料药桶的RGB图像对所述第一分支网络进行训练，及包含有含能材料药桶的深度图像对所述第二分支网络进行训练。根据本专利技术的第二方面，提供一种含能材料药桶识别系统，包括：第一获取模块，用于获取包含至少一个含能材料药桶的原始图像的RGB图像和深度图像；第二获取模块，用于将所述RGB图像和所述深度图像分别输入伪孪生神经网络中的第一分支网络和第二分支网络，获取所述第一分支网络输出的表征含能材料药桶位置的至少一个第一候选框，以及获取所述第二分支网络输出的表征含能材料药桶位置的至少一个第二候选框；融合模块，用于对所述至少一个第一候选框和所述至少一个第二候选框进行融合处理，得到表征含能材料药桶位置的至少一个融合候选框；确定模块，用于从所述至少一个融合候选框中确定最终目标检测框。根据本专利技术的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现含能材料药桶识别方法的步骤。根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现含能材料药桶识别方法的步骤。本专利技术提供的一种含能材料药桶识别方法、系统、电子设备及存储介质，分别获取含能材料的RGB图像和深度图像，并利用伪孪生神经网络对RGB图像和深度图像进行检测识别，充分利用RGB图像和深度图像两类数据的特点，同时提高识别速度和识别精度。附图说明图1为卷积神经网络的基本结构示意图；图2为本专利技术提供的一种含能材料药桶识别方法流程图；图3-1为本文档来自技高网...

【技术保护点】
1.一种含能材料药桶识别方法，其特征在于，包括：/n获取包含至少一个含能材料药桶的原始图像的RGB图像和深度图像；/n将所述RGB图像和所述深度图像分别输入伪孪生神经网络中的第一分支网络和第二分支网络，获取所述第一分支网络输出的表征含能材料药桶位置的至少一个第一候选框，以及获取所述第二分支网络输出的表征含能材料药桶位置的至少一个第二候选框；/n对所述至少一个第一候选框和所述至少一个第二候选框进行融合处理，得到表征含能材料药桶位置的至少一个融合候选框；/n从所述至少一个融合候选框中确定最终目标检测框。/n

【技术特征摘要】
1.一种含能材料药桶识别方法，其特征在于，包括：
获取包含至少一个含能材料药桶的原始图像的RGB图像和深度图像；
将所述RGB图像和所述深度图像分别输入伪孪生神经网络中的第一分支网络和第二分支网络，获取所述第一分支网络输出的表征含能材料药桶位置的至少一个第一候选框，以及获取所述第二分支网络输出的表征含能材料药桶位置的至少一个第二候选框；
对所述至少一个第一候选框和所述至少一个第二候选框进行融合处理，得到表征含能材料药桶位置的至少一个融合候选框；
从所述至少一个融合候选框中确定最终目标检测框。


2.根据权利要求1所述的含能材料药桶识别方法，其特征在于，所述第一分支网络和所述第二分支网络结构相同但不共享参数，所述第一分支网络和所述第二分支网络均包括特征提取主干网络和包括全连接层和softmax层的辅助网络，所述特征提取主干网络包括多个卷积层和多个池化层，多个卷积层和多个池化层间隔级联；
所述特征提取主干网络，用于提取输入的RGB图像或深度图像的特征信息；
所述辅助网络，用于根据所述特征信息，输出表征含能材料药桶位置的每一个第一候选框的归一化坐标和每一个第一候选框中表征药桶类别的三个预测概率，所述药桶类别包括空、装满和倾倒；或每一个第二候选框的归一化坐标和每一个第二候选框中表征药桶类别的三个预测概率，所述药桶类别包括空、装满和倾倒。


3.根据权利要求2所述的含能材料药桶识别方法，其特征在于，每一个第一候选框的归一化坐标为(x1，y1，w1，h1)，三个预测概率为(P11，P12，P13)，每一个第二候选框的归一化坐标为(x2，y2，w2，h2)，三个预测概率为(P21，P22，P23)；
相应的，对所述至少一个第一候选框和所述至少一个第二候选框进行融合处理，得到表征含能材料药桶位置的至少一个融合候选框，包括：
融合候选框的归一化坐标为((x1+x2)/2，(y1+y2)/2,(w1+w2)/2,(h1+h2)/2)，融合候选框的三个预测概率为(P11*P21，P12*P22，P13*P23)；
其中，x1，y1，w1，h1分别为第一候选框的左上角点的横坐标、纵坐标、第一候选框的宽度和高度，x2，y2，w2，h2分别为第二候选框的左上角点的横坐标、纵坐标、第二候选框的宽度和高度，P11，P12，P13为第一候选框分别为空、装满和倾倒类别的预测概率，P21，P22，P23为第二候选框分别为空、装满和倾倒类别的预测概率。


4.根据权利要求3所述的含能材料药桶识别方法，其特征在于，从所述至少一个融合候选框中确定最终目标检测框，包括：
基于多个融合候选框，利用非极大值抑制法确定最终目标检测框，其中，所述原始图像中一个药桶对应一个最...

【专利技术属性】
技术研发人员：王灿，刘相鹏，陈芳，任磊，韩丰，王宇，陈俊，房东东，李聚昆，
申请(专利权)人：武汉乾峯智能科技有限公司，湖北三江航天江河化工科技有限公司，华中科技大学，
类型：发明
国别省市：湖北;42