物体分选系统的图像处理方法、装置及物体分选系统制造方法及图纸

本发明专利技术涉及数据处理技术领域，具体提供了一种物体分选系统的图像处理方法、装置及物体分选系统，旨在解决如何提高物体分选效率与准确性的技术问题。为此目的，根据本发明专利技术实施例的图像处理方法，通过获取背景图像帧与实时图像帧的差分图像、利用Otsu算法对传送图像中ROI区域对应的差分图像区域进行阈值处理、根据阈值处理得到的灰度值分割阈值对差分图像进行图像分割处理，得到差分图像中的背景区域与物体识别区域，以便于系统能够获取传送图像中与物体识别区域对应的局部图像、对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体，以提高物体分选系统抓取物体时的抓取精度，进而提高物体分选系统的分选效率与准确性。的分选效率与准确性。的分选效率与准确性。

【技术实现步骤摘要】
物体分选系统的图像处理方法、装置及物体分选系统


[0001]本专利技术涉及数据处理
，具体涉及一种物体分选系统的图像处理方法、装置及物体分选系统。

技术介绍

[0002]在煤炭生产过程中，原煤中不可避免的混有煤矸石。由于煤矸石的发热值低，与煤混在一起会降低煤炭的发热量，也是污染源之一，因此将煤矸石从煤炭中分拣出来是提高煤炭质量、清洁利用的一个必不可少的处理流程。目前基于信息传感、人工智能、视频监控等技术对原煤的洗选过程进行自动化、少人化操控是智能洗选系统的发展方向，因而亟需一种煤矸石分选系统对煤矸石自动识别并分选，大幅提高选矸石质量和分选效率，具有很好的社会效益和经济效益。

技术实现思路

[0003]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决如何提高物体如煤矸石分选效率与准确性的技术问题的物体分选系统的图像处理方法、装置及物体分选系统。
[0004]第一方面，提供一种物体分选系统的图像处理方法，所述系统包括传送装置、图像获取/处理装置和物体抓取控制装置，所述物体抓取控制装置包括机器人和机器人控制器；
[0005]所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
[0006]所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取；
[0007]所述图像处理方法包括：
[0008]获取预先构建的所述传送图像的背景图像帧以及所述图像获取/处理装置当前采集到的所述传送图像的实时图像帧；
[0009]对所述背景图像帧与所述实时图像帧进行差分处理，得到所述传送图像的差分图像；
[0010]利用Otsu算法对所述传送图像中ROI区域对应的差分图像区域进行阈值处理，得到对所述差分图像进行图像分割的第一灰度值分割阈值；
[0011]根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域，以便于所述图像获取/处理装置能够获取所述传送图像中与所述物体识别区域对应的局部图像、对所述局部图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体。
[0012]在上述图像处理方法的一个技术方案中，“根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域”的步骤具体包括：
[0013]根据所述第一灰度值分割阈值以及所述差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域；所述背景灰度值区域内每个像素各自对应的灰度值均小于等于所述第一灰度值分割阈值，所述物体识别灰度值区域内每个像素各自对应的灰度值均大于所述第一灰度值分割阈值；
[0014]对所述物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取所述物体识别区域。
[0015]在上述图像处理方法的一个技术方案中，当所述目标物体是煤炭与煤矸石混合物料中的煤矸石时，所述图像获取/处理装置被配置成按照以下操作获取所述局部图像的灰度特征，以根据所述灰度特征进行图像识别，判断所述传送区域内是否存在目标物体：
[0016]对所述局部图像进行直方图均衡化处理，以扩展所述局部图像的灰度级数；
[0017]利用Otsu算法对经所述直方图均衡化处理后的局部图像进行阈值处理，得到对所述局部图像进行图像分割的第二灰度值分割阈值；
[0018]根据所述第二灰度值分割阈值以及所述局部图像内每个像素各自对应的灰度值进行二值化处理，根据二值化处理结果判断是否存在煤矸石裸露区域；所述煤矸石裸露区域内每个像素各自对应的灰度值均大于所述第二灰度值分割阈值；
[0019]若存在所述煤矸石裸露区域，则获取所述局部图像中与所述煤矸石裸露区域对应的区域图像、获取所述区域图像中每个子区域各自对应的每项灰度特征的灰度特征值、根据所述每个子区域各自对应的每项灰度特征的灰度特征值计算所述每项灰度特征各自对应的灰度特征均值，以及将所述每项灰度特征各自对应的灰度特征均值设定为所述局部图像的灰度特征。
[0020]在上述图像处理方法的一个技术方案中，所述图像处理方法还包括根据所述图像获取/处理装置获取的传送图像对所述物体分选系统进行系统坐标标定，具体包括：
[0021]根据所述图像获取/处理装置建立相机坐标系，根据所述物体抓取控制装置建立机器人坐标系，以在所述图像获取/处理装置的相机视野中所述传送装置的传送区域所在的平面为XY平面坐标，建立传送装置三维坐标系；
[0022]获取在所述传送装置对测试物体进行传送的过程中，所述物体抓取控制装置抓取测试物体时所述机器人在所述机器人坐标系下的机器人位置，以及获取在所述传送装置对测试物体进行传送的过程中所述传送装置三维坐标系的原点位置，根据所述机器人位置与所述原点位置，获取所述传送装置三维坐标系与所述机器人坐标系的第一转换矩阵；
[0023]根据所述图像获取/处理装置获取的包含有测试物体的传送图像，获取所述测试物体在所述相机坐标系下的测试物体位置；获取在所述物体抓取控制装置抓取所述测试物体的过程中所述机器人接触到所述测试物体时所述机器人的第一机器人抓取位置；
[0024]根据所述测试物体位置、所述第一机器人抓取位置以及所述第一转换矩阵，获取所述相机坐标系与所述传送装置三维坐标系的第二转换矩阵，以便于所述物体抓取控制装置能够根据所述第一转换矩阵与所述第二转换矩阵将所述目标物体的第一位置转换成相应的第二位置，进而根据所述第二位置执行相应的抓取操作。
[0025]在上述图像处理方法的一个技术方案中，所述第一转换矩阵如下式所示：
[0026]其中，所述表示所述第一转换矩阵，所述表示在所述传送装置移动距离ΔL1后的传送装置三维坐标系与机器人坐标系之间的转换矩阵，所述表示在所述传送装置移动距离ΔL1前后的两个传送装置三维坐标系之间的转换矩阵；
[0027]所述转换矩阵
[0028]所述移动距离ΔL1＝(V
′
e3-V
e3
)Factor
c
，所述V
e3
和V
′
e3
分别是所述传送装置移动距离ΔL1前后的起始位置和末端位置，所述Factor
c
是传送装置比例因子，x1、y1、z1分别是将第一测试物体由初始位置移动到第一抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第二机器人抓取位置中的X轴、Y轴和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体分选系统的图像处理方法，其特征在于，所述系统包括传送装置、图像获取/处理装置和物体抓取控制装置，所述物体抓取控制装置包括机器人和机器人控制器；所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取；所述图像处理方法包括：获取预先构建的所述传送图像的背景图像帧以及所述图像获取/处理装置当前采集到的所述传送图像的实时图像帧；对所述背景图像帧与所述实时图像帧进行差分处理，得到所述传送图像的差分图像；利用Otsu算法对所述传送图像中ROI区域对应的差分图像区域进行阈值处理，得到对所述差分图像进行图像分割的第一灰度值分割阈值；根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域，以便于所述图像获取/处理装置能够获取所述传送图像中与所述物体识别区域对应的局部图像、对所述局部图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体。2.根据权利要求1所述的物体分选系统的图像处理方法，其特征在于，“根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域”的步骤具体包括：根据所述第一灰度值分割阈值以及所述差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域；所述背景灰度值区域内每个像素各自对应的灰度值均小于等于所述第一灰度值分割阈值，所述物体识别灰度值区域内每个像素各自对应的灰度值均大于所述第一灰度值分割阈值；对所述物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取所述物体识别区域。3.根据权利要求2所述的物体分选系统的图像处理方法，其特征在于，当所述目标物体是煤炭与煤矸石混合物料中的煤矸石时，所述图像获取/处理装置被配置成按照以下操作获取所述局部图像的灰度特征，以根据所述灰度特征进行图像识别，判断所述传送区域内是否存在目标物体：对所述局部图像进行直方图均衡化处理，以扩展所述局部图像的灰度级数；利用Otsu算法对经所述直方图均衡化处理后的局部图像进行阈值处理，得到对所述局部图像进行图像分割的第二灰度值分割阈值；根据所述第二灰度值分割阈值以及所述局部图像内每个像素各自对应的灰度值进行二值化处理，根据二值化处理结果判断是否存在煤矸石裸露区域；所述煤矸石裸露区域内每个像素各自对应的灰度值均大于所述第二灰度值分割阈值；若存在所述煤矸石裸露区域，则获取所述局部图像中与所述煤矸石裸露区域对应的区
域图像、获取所述区域图像中每个子区域各自对应的每项灰度特征的灰度特征值、根据所述每个子区域各自对应的每项灰度特征的灰度特征值计算所述每项灰度特征各自对应的灰度特征均值，以及将所述每项灰度特征各自对应的灰度特征均值设定为所述局部图像的灰度特征。4.根据权利要求1至3中任一项所述的物体分选系统的图像处理方法，其特征在于，所述图像处理方法还包括根据所述图像获取/处理装置获取的传送图像对所述物体分选系统进行系统坐标标定，具体包括：根据所述图像获取/处理装置建立相机坐标系，根据所述物体抓取控制装置建立机器人坐标系，以在所述图像获取/处理装置的相机视野中所述传送装置的传送区域所在的平面为XY平面坐标，建立传送装置三维坐标系；获取在所述传送装置对测试物体进行传送的过程中，所述物体抓取控制装置抓取测试物体时所述机器人在所述机器人坐标系下的机器人位置，以及获取在所述传送装置对测试物体进行传送的过程中所述传送装置三维坐标系的原点位置，根据所述机器人位置与所述原点位置，获取所述传送装置三维坐标系与所述机器人坐标系的第一转换矩阵；根据所述图像获取/处理装置获取的包含有测试物体的传送图像，获取所...

【专利技术属性】
技术研发人员：商德勇，杨志远，牛艳奇，王宇威，汪俊杰，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：