一种结合目标检测和深度计算的物体体积视觉测量方法技术

本发明专利技术公开了一种结合目标检测和深度计算的物体体积视觉测量方法，包括：数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。通过深度相机拍摄图像和AI模型的识别分拣，获取指定像素点的深度信息(距离信息)，通过图像的处理和计算，实现物体的体积信息的测量。

【技术实现步骤摘要】
一种结合目标检测和深度计算的物体体积视觉测量方法
本专利技术涉及机器视觉
，具体来说，是一种物体体积视觉测量方法。
技术介绍
专利公开号CN111307037A通过装置上的3D摄像头采集点云数据，并且通过在物体两侧分别进行拍照的方式得到物体的大小尺寸信息。但是专利技术本身仍然是以人为操作为主的装置，不符合现代快递物流行业对于自动化的新要求。专利公开号CN110782473A通过给定固定检测区域，比较相邻两帧的深度图像，进而判断是否存在待检物体。并以此判断为依据，进一步提取图像中的深度信息，从而计算物体体积。本专利技术解决了传送带检测通过物体的问题，但是应用场景太过单一，且需要给定检测区域，不适合背景复杂或者干扰过大的场景。同样地，专利公开号CN110570471A仅仅通过边缘信息检测从而获取物体的长宽，对于环境的要求较高，对于物体所处背景要求也较高。专利公开号CN111229635A通过嵌入式的系统实现了AI与算法计算。但是该专利技术侧重于硬件设计，并没有讲述算法的具体实现方法和AI的使用。
技术实现思路
本专利技术的目的是提供一种结合目标检测和深度计算的物体体积视觉测量方法，通过深度相机拍摄图像和AI模型的识别分拣，获取指定像素点的深度信息(距离信息)，通过图像的处理和计算，实现物体的体积信息的测量。本专利技术的目的是这样实现的：一种结合目标检测和深度计算的物体体积视觉测量方法，包括：数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。进一步地，所述图像处理步骤包括如下子步骤：A1、对AI检测过的区域进行范围的扩大，通过AI模型确定相机拍摄画面中的待检物体的大致范围，并用矩形边框来表征上述范围。进一步地，所述图像处理步骤还包括如下子步骤：A2、以矩形框的中心为处理点，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取；A2子步骤在A1子步骤之后。进一步地，所述图像处理步骤还包括如下子步骤：A3、对截取的RGB图像进行灰度化，并采用双边滤波算法对灰度图进行滤波处理；A3子步骤在A2子步骤之后。进一步地，所述图像处理步骤还包括如下子步骤：A4、计算图片的梯度幅值并进行非极大值抑制；A4子步骤在A3子步骤之后。进一步地，所述图像处理步骤还包括如下子步骤：A5、进行双阈值算法检测，提取出边缘信息最多的物体，并将其边缘信息的像素点坐标作为一个数列集合；A5子步骤在A4子步骤之后。进一步地，所述体积计算步骤进行时，从图像处理步骤得到的数列集合中找到在像素坐标系中最大和最小的坐标值，并以此为点构造矩形边框，同时找出顶点的中点。本专利技术的有益效果在于：通过AI检测的方法，使得体积测量方法的应用场景大大增多，且通过AI范围的提取和部分增大，实现了数据处理量的降低，也大大减少了传统测量算法易受环境噪声干扰的缺点。最后，通过本专利技术提出的计算方法，实现体积计算，计算量较少，可以应用于各种硬件环境。附图说明图1是本专利技术的方法构成示意图。图2是图像处理示意图。图3是计算模型示意图。具体实施方式下面结合附图1-3和具体实施例对本专利技术进一步说明。如图1-3所示，一种结合目标检测和深度计算的物体体积视觉测量方法，包括：数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测，既实现物体所在的图像像素区域的初步确定，同时也是避免其他类似形状的物体的存在干扰测量结果；图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。所述图像处理步骤包括如下子步骤：A1、对AI检测过的区域进行范围的扩大，通过AI模型确定相机拍摄画面中的待检物体的大致范围，并用矩形边框来表征上述范围；A2、以矩形框的中心为处理点，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取；A3、对截取的RGB图像进行灰度化，并采用双边滤波算法对灰度图进行滤波处理；A4、计算图片的梯度幅值并进行非极大值抑制；A5、进行双阈值算法检测，提取出边缘信息最多的物体，并将其边缘信息的像素点坐标作为一个数列集合。在体积计算步骤进行时，从图像处理步骤得到的数列集合中找到在像素坐标系中最大和最小的坐标值，并以此为点构造矩形边框，同时找出顶点的中点。在实际操作过程中，首先对待检测物体拍摄大量照片作为训练用的数据集，然后将这些照片给YOLO进行训练，得到不同迭代训练次数的模型，并从中挑选效果最好的一个。其二，找到一个位置固定深度相机，并记录下深度相机的所处高度，记为h。，并且先将相机进行标定，使得RGB图像的像素点与深度信息一一对应。其三，进行图像拍摄，每一张图像都记为M*N的矩阵。对每一张拍摄的图像利用训练好的AI模型进行检测。若是检测到需要测量的物体，就得到相应的物体所在的像素坐标区域。以标定区域为中心，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取。之后以双边滤波代替传统高斯滤波，进行Canny算子处理，提取边缘点最多的区域，并且将该区域所有点的像素坐标记录为一个集合，记为{[a1,b1],[a2,b2],…[an,bn]}。对该集合中所有像素点进行深度信息提取，并且也记录于集合中，即{[a1,b1,d1],[a2,b2,d2],…[an,bn,dn]}。比较深度信息d，找到最小的深度值dmin。其四，对像素坐标集合里的u、v分别进行大小比较，找到最大最小值，记为amin，bmin，amax，bmax。再将这四个值进行组合，得到两个像素坐标点(amin，bmin)，(amax，bmax)，以此构造矩形方框，并求出两者的中点(amid，bmid)。其五，以amid为u值，找到amid在边框上的点，记为(amidl，bmid)，(amidr，bmid)。为了避免噪声干扰和形状的影响，再对(amidl，bmid)，(amidr，bmid)和(amid，bmid)分别求中点，记为(amid1，bmid)，(amid2，bmid)并根据像素坐标获取相应的距离信息，记为d1，d2，d3。它们之间的距离实际距离记为x。其六，根据余弦定理可得：联立方程组可得：因为x代表的是(amid1，bmid)，(amid2，bmid)与(amid，bmid)之间的距离，所以可以通过式子X＝x/(amid–amid1)得到一个像素点代表的实际距离大小。并且将求得的x值代入原始中，可以确定出θ的值。其七本文档来自技高网...

【技术保护点】
1.一种结合目标检测和深度计算的物体体积视觉测量方法，其特征在于，包括：/n数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；/n目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；/n图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；/n体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。/n

【技术特征摘要】
1.一种结合目标检测和深度计算的物体体积视觉测量方法，其特征在于，包括：
数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；
目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；
图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；
体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。


2.根据权利要求1所述的一种结合目标检测和深度计算的物体体积视觉测量方法，其特征在于，所述图像处理步骤包括如下子步骤：A1、对AI检测过的区域进行范围的扩大，通过AI模型确定相机拍摄画面中的待检物体的大致范围，并用矩形边框来表征上述范围。


3.根据权利要求2所述的一种结合目标检测和深度计算的物体体积视觉测量方法，其特征在于，所述图像处理步骤还包括如下子步骤：A2、以矩形框的中心为处理点，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取；A2子步骤在A1子步骤之后。


4.根据权...

【专利技术属性】
技术研发人员：孙毅，黎明，宗兆翔，计春雷，
申请(专利权)人：上海电机学院，
类型：发明
国别省市：上海;31