用于料件检测的图像处理方法、存储介质及图像处理装置制造方法及图纸

本申请涉及一种用于料件检测的图像处理方法、存储介质及图像处理装置。方法包括：获得第一图像和第二图像并输入基于SIFT特征检测的特征提取网络，从而获得表征第一图像和第二图像之间的尺度不变性的至少一个特征关键点及对应的特征向量；根据特征向量计算第一图像和第二图像之间的匹配程度，并根据该匹配程度设定距离阈值，以及根据该距离阈值从该特征关键点中筛选出匹配特征点，其中匹配特征点的每一个与该特征关键点中相对于该匹配特征点的至少一个另一特征关键点之间的距离小于该距离阈值；根据匹配特征点确定相对于第二图像的第一图像的不变区域；和根据所述不变区域确定第一图像的变化区域。如此降低识别误差和提升检测效果。检测效果。检测效果。

【技术实现步骤摘要】
用于料件检测的图像处理方法、存储介质及图像处理装置


[0001]本申请涉及计算机视觉
，具体涉及一种用于料件检测的图像处理方法、存储介质及图像处理装置。

技术介绍

[0002]随着人工智能技术和计算机视觉技术的发展，在人脸识别、身份检验等应用中广泛采用了基于深度学习技术的神经网络模型或者神经网络算法来对采集的图像或者视频进行分析和检测，从而提高生产效率和确保安全客观。在工业应用领域，也可以采用基于深度学习技术的神经网络模型来进行自动检测，例如在废弃钢材的回收环节，需要对大量堆积在一起的废弃钢材进行检测。这些废弃钢材可以看作是多个废钢料件组成的集合也叫废钢料件集合且其中每个废钢料件可以被单独搬运。传统做法是通过现场工作人员进行人工检测，包括判断不同的废钢料件的种类、尺寸、面积并估计其重量和价格等。采用基于深度学习技术的神经网络模型来进行废钢料件的自动检测，可以大幅提高生产效率还能确保作业安全。另一方面，在物流中心和港口运输等应用中，也可以采用基于深度学习技术的神经网络模型来进行自动检测，例如对堆积在物流中心等待分拣搬运的货物或者在港口停泊等待被搬运的货物等，这些货物也可以看作是多个货物料件组成的集合，每个货物料件可以被单独搬运。
[0003]但是，堆积在一起的废钢料件或者货物料件往往互相遮挡甚至完全覆盖，并且存在外形相似等问题，从而给精确检测带来挑战。为此，需要一种用于料件检测的图像处理方法、存储介质及图像处理装置，能够实现精确检测，从而适用于废弃钢材回收、货物分拣搬运等的料件检测。

技术实现思路

[0004]第一方面，本申请实施例提供了一种图像处理方法。所述图像处理方法包括：获得第一图像和第二图像；将所述第一图像和所述第二图像输入基于SIFT特征检测的特征提取网络，从而获得表征所述第一图像和所述第二图像之间的尺度不变性的至少一个特征关键点及与该至少一个特征关键点对应的特征向量；根据所述特征向量计算所述第一图像和所述第二图像之间的匹配程度，并根据该匹配程度设定距离阈值，以及根据该距离阈值从该至少一个特征关键点中筛选出匹配特征点，其中，所述匹配特征点的每一个匹配特征点与该至少一个特征关键点中相对于该匹配特征点的至少一个另一特征关键点之间的距离小于该距离阈值；根据所述匹配特征点确定相对于所述第二图像的所述第一图像的不变区域；和根据所述第一图像的不变区域确定相对于所述第二图像的所述第一图像的变化区域。
[0005]第一方面所描述的技术方案，通过基于SIFT特征检测的特征提取网络获得特征关键点及对应的特征向量，基于特征向量计算匹配程度并进而设定距离阈值，根据距离阈值从特征关键点中筛选出匹配特征点，最后根据匹配特征点确定第一图像的不变区域以及根
据第一图像的不变区域确定第一图像的变化区域，实现了有效克服可能影响检测效果的因素（如相机外参数的变化，或者第一图像和第二图像之间的远近距离的变化、缩放尺度的变化等）所带来的不利影响，还有效降低因为像素点位置偏移造成的在像素级的预测上的误差和边缘识别误差，适用于在废弃钢材回收、货物分拣搬运等的料件检测中提供基于计算机视觉技术的智能化自动检测。
[0006]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第一图像和所述第二图像分别通过同一个图像采集设备按照不同缩放尺度采集得到。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述第一图像的不变区域确定相对于所述第二图像的所述第一图像的变化区域，包括：根据所述第一图像的不变区域对所述第一图像进行取反操作，得到所述第一图像的变化区域。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，根据所述匹配特征点确定相对于所述第二图像的所述第一图像的不变区域，包括：对所述匹配特征点的每一个匹配特征点按照膨胀参数进行膨胀操作，得到与该匹配特征点对应的膨胀图案；通过轮廓查找模型，获得与所述匹配特征点各自对应的膨胀图案相匹配的最小外接轮廓。其中，所述最小外接轮廓所占据的区域是所述第一图像的不变区域。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述膨胀参数根据该匹配特征点和相对于该匹配特征点的最近相邻匹配特征点之间的距离设定。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述最小外接轮廓的形状根据所述图像处理方法的应用场景设定。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像处理方法还包括：在进行膨胀操作之前，对所述匹配特征点进行点填充和/或邻近点生长从而添加新增的匹配特征点。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像处理方法用于废钢料件搬运过程中的自动检测，所述第一图像被采集在特定搬运操作之后，所述第二图像被采集在所述特定搬运操作之前，所述第一图像的变化区域用于确定所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第一图像的变化区域用于确定所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息，包括：根据所述第一图像的变化区域和所述第一图像的料件分割识别结果，确定与所述第一图像的变化区域对应的料件分割识别结果，其中，所述第一图像的料件分割识别结果通过将所述第一图像输入料件分割识别模型得到；和根据与所述第一图像的变化区域对应的料件分割识别结果，确定所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息。其中，所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。
[0014]第二方面，本申请实施例提供了一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的图像处理方法。
[0015]第二方面所描述的技术方案，通过基于SIFT特征检测的特征提取网络获得特征关键点及对应的特征向量，基于特征向量计算匹配程度并进而设定距离阈值，根据距离阈值从特征关键点中筛选出匹配特征点，最后根据匹配特征点确定第一图像的不变区域以及根据第一图像的不变区域确定第一图像的变化区域，实现了有效克服可能影响检测效果的因素（如相机外参数的变化，或者第一图像和第二图像之间的远近距离的变化、缩放尺度的变化等）所带来的不利影响，还有效降低因为像素点位置偏移造成的在像素级的预测上的误差和边缘识别误差，适用于在废弃钢材回收、货物分拣搬运等的料件检测中提供基于计算机视觉技术的智能化自动检测。
[0016]第三方面，本申请实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的图像处理方法。
[0017]第三方面所描述的技术方案，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：获得第一图像和第二图像；将所述第一图像和所述第二图像输入基于SIFT特征检测的特征提取网络，从而获得表征所述第一图像和所述第二图像之间的尺度不变性的至少一个特征关键点及与该至少一个特征关键点对应的特征向量；根据所述特征向量计算所述第一图像和所述第二图像之间的匹配程度，并根据该匹配程度设定距离阈值，以及根据该距离阈值从该至少一个特征关键点中筛选出匹配特征点，其中，所述匹配特征点的每一个匹配特征点与该至少一个特征关键点中相对于该匹配特征点的至少一个另一特征关键点之间的距离小于该距离阈值；根据所述匹配特征点确定相对于所述第二图像的所述第一图像的不变区域；和根据所述第一图像的不变区域确定相对于所述第二图像的所述第一图像的变化区域。2.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像和所述第二图像分别通过同一个图像采集设备按照不同缩放尺度采集得到。3.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一图像的不变区域确定相对于所述第二图像的所述第一图像的变化区域，包括：根据所述第一图像的不变区域对所述第一图像进行取反操作，得到所述第一图像的变化区域。4.根据权利要求1所述的图像处理方法，其特征在于，根据所述匹配特征点确定相对于所述第二图像的所述第一图像的不变区域，包括：对所述匹配特征点的每一个匹配特征点按照膨胀参数进行膨胀操作，得到与该匹配特征点对应的膨胀图案；通过轮廓查找模型，获得与所述匹配特征点各自对应的膨胀图案相匹配的最小外接轮廓，其中，所述最小外接轮廓所占据的区域是所述第一图像的不变区域。5.根据权利要求4所述的图像处理方法，其特征在于，所述膨胀参数根据该匹配特征点和相对于该匹配特征点的最近相邻匹配特征点之间的距离设定。6.根据权利要求4所述的图像处理方法，其特征在于，所述最小外接轮廓的形状根据所述图像处理方法的应用场景设定。7.根据权利要求4所述的图像处理方法，其特征在于，所述图像处理方法还包括：在进行膨胀操作之前，对所述匹配特征点进行点填充和/或邻近点生长从而添加新增的匹配特征点。8.根据权利要求4所述的图像处理方法，其特征在于，所述图像处理方法用于废钢料件搬运过程中的自动检测，所述第一图像被采集在特定搬运操作之后，所述第二图像被采集在所述特定搬运操作之前，所述第一图像的变化区域用于确定所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息。9.根据权利要求8所述的图像处理方法，所述第一图像的变化区域用于确定所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息，包括：
根据所述第一图像的变化区域和所述第一图像的料件分割识别结果，确定与所述第一图像的变化区域对应的料件分割识别结果，其中，所述第一图像的料件分割识别结果通过将所述第一图像输入料件分割识别模型得到；和根据与所述第一图像的变化区域对应的料件分割识别结果，确定所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息，其中，所述特定搬运操作相关联的废钢料件子集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。10.一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据权利要求1至9中任一项所述的图像处理方法。11.一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据权利要求1至9中任一项所述的图像处理方法。12.一种检测方法，其特征在于，所述检测方法包括：获得与废钢料件搬运作业对应的由多个图像组成的图像序列，所述废钢料件搬运作业包括多次废钢料件搬运操作，所述图像序列的任意两张紧邻图像分别被采集在所述多次废钢料件搬运操作中的一次废钢料件搬运操作之前和之后，针对所述多次废钢料件搬运操作的每一次废钢料件搬运操作：获得与该次废钢料件搬运操作对应的第一图像和第二图像，所述第一图像被采集在该次废钢料件搬运操作之后，所述第二图像被采集在该次废钢料件搬运操作之前；将所述第一图像和所述第二图像输入基于SIFT特征检测的特征提取网络从而获得表征所述第一图像和所述第二图像之间的尺度不变性的至少一个特征关键点及与该至少一个特征关键点对应的特征向量；根据所述特征向量计算所述第一图像和所述第二图像之间的匹配程度并根据该匹配程度设定距离阈值，以及根据该距离阈值从该至少一个特征关键点中筛选出匹配特征点，其中，所述匹配特征点的每一个匹配特征点与该至少一个特征关键点中相对于该匹配特征点的至少一个另一特征关键点之间的距离小于该距离阈值；根据所述匹配特征点确定相对于所述第二图像的所述第一图像的不变区域；根据所述第一图像的不变区域确定相对于所述第二图像...

【专利技术属性】
技术研发人员：孙军欢，张春海，冀旭，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：