基于深度学习的目标尺寸测量方法及系统技术方案

本发明专利技术公开了一种基于深度学习的目标尺寸测量方法及系统，通过前端处理装置的微控制器控制摄像头采集待测量目标的图像，并将图像通过网络传输到后端服务器；在后端服务器，通过引入深度学习的方法，从图像中检测出目标，使用数字图像处理的方法提取目标的轮廓特征，计算目标轮廓的最小外接矩形，并计算出目标的二维像素尺寸；根据照相机成像原理，计算目标的实际二维尺寸；后端服务器将尺寸测量结果通过网络传输给前端处理装置，前端处理装置的微控制器控制显示器显示目标尺寸测量结果。本发明专利技术极大地提高了目标尺寸测量的效率和精度，可同时测量多种不同种类目标的尺寸，对于应用环境不固定、背景复杂的场景，也能准确测量出目标的二维尺寸。

Measurement Method and System of Target Size Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的目标尺寸测量方法及系统
本专利技术属于测量
，特别涉及一种目标尺寸测量方法及系统。
技术介绍
在工业生产过程中，尺寸是最基本也是最重要的控制要素之一，因此，对于产品的尺寸测量显得尤为重要。在传统的工业生产过程中，尺寸测量的典型方法是利用游标卡尺、千分尺或卷尺在被测产品上进行手动测量。这种测量方法的测量速度慢、精度低、成本高，每次只能对单一物体进行测量，测量数据不能及时处理，无法满足大规模自动化生产的需要。随着图像处理技术的发展，基于传统数字图像处理的尺寸测量方法依据待测量目标的颜色、纹理和形状等特征，从图像中检测出待测量目标，再根据参照物尺寸计算出目标的尺寸。但是，基于传统数字图像处理的尺寸测量方法严重依赖于对待测量目标的手工特征的提取，对于应用环境不固定、背景复杂的场景，从图像中检测出待测量目标的难度较大，基于传统数字图像处理的尺寸测量方法测量尺寸的精度较低。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的目标尺寸测量方法及系统，以解决上述技术问题。为了实现上述目的，本专利技术采用如下技术方案：基于深度学习的目标尺寸测量方法，包括以下步骤：S101：制作针对待测量目标的数据集，所述数据集包括训练集；S102：在后端服务器上，使用所述数据集中的训练集训练针对待测量目标的MaskR-CNN目标检测网络；S103：摄像头拍摄待测量目标，获取一帧待测量目标的图像，并将图像传输到前端处理装置中的微控制器；S104：前端处理装置中的微控制器接收所述图像，并将所述图像通过网络传输到后端服务器；S105：后端服务器接收所述图像，将所述图像输入步骤S102中训练好的MaskR-CNN网络进行目标检测，检测出所述图像中所有的目标，获取所述图像中所有目标的位置信息和类别信息；S106：在后端服务器上，根据所述目标的位置信息提取目标的轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；S107：在后端服务器上，计算图像中每一个像素点的实际尺寸，再结合所述步骤S106中所述目标的二维像素尺寸，计算目标的实际二维尺寸；后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置；S108：前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果，在步骤S103所述图像上标出目标的最小外接矩形，并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息，将结果图像在前端处理装置的显示器上进行显示。进一步的，步骤S101中，所述数据集包含3000张待测量目标的图片，其中，训练集包含2000张待测量目标的图片，测试集包含1000张待测量目标的图片；步骤S101中制作数据集包括以下步骤：首先，使用Labelme工具对所述数据集中所有图片进行标注，每一幅图片标注完成后生成一个扩展名为.json的标注文件，所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息；然后，分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件；最后，将训练集和测试集中所有图片和标注文件按照COCO数据集格式进行组织。进一步的，步骤S102中MaskR-CNN目标检测网络中的特征提取网络使用Resnet101。进一步的，步骤S105的MaskR-CNN网络检测结果中，每一个被检测到的目标对应一幅二值图像，二值图像尺寸与所述MaskR-CNN网络输入图像尺寸相同，目标所在的像素区域像素值为255，其它像素区域像素值为0；像素值为255的区域描述了目标物体的位置信息。进一步的，步骤S106中提取目标轮廓的方法如下：用f(i,j)表示二值图像中坐标为(i,j)点的像素值；从上到下、从左向右扫描图像中每一个像素点，如果f(i,j)＝0且f(i,j+1)＝255，或f(i,j-1)＝255且f(i,j)＝0，或f(i,j)＝0且f(i+1,j)＝255,或f(i-1,j)＝255且f(i,j)＝0,则f(i,j)是目标的轮廓点；获取图像上目标的所有轮廓点，并进行标记，获得了目标轮廓。进一步的，步骤S106中计算目标轮廓最小外接矩形的方法如下：首先，分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值，以水平方向和垂直方向上坐标的最小值为A点坐标，以水平方向和垂直方向上坐标的最大值为B点坐标，绘制以A点和B点为对角线两个顶点的矩形，得到目标轮廓的外接矩形S，并计算所述外接矩形S的面积；然后，在90度范围内将目标轮廓以所述外接矩形S的中心点为中心，按照θ角度顺时针等间隔旋转，获取所有旋转后的目标轮廓的外接矩形，并计算外接矩形面积，θ值为5度；最后，从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形，并获取其旋转角度β，将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度，获得目标轮廓的最小外接矩形。进一步的，步骤S107中，根据照相机成像原理和相似三角形理论，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比；已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距，计算出图像的实际尺寸；已知摄像头分辨率，进而计算出图像中每一个像素点的实际尺寸。用于实现所述的基于深度学习的目标尺寸测量方法的系统，由前端处理装置和后端服务器组成；所述前端处理装置包括微控制器、摄像头、输入设备和显示器；所述后端服务器含有中央处理器和图形处理器，所述前端处理装置通过网络与所述后端服务器连接；所述前端处理装置中，所述微控制器与所述摄像头、所述输入设备和所述显示器连接；所述微控制器用于控制所述摄像头采集待测量目标的图像，接收所述摄像头传来的图像，并将所述摄像头传来的图像通过网络传输给所述后端服务器；同时，所述微控制器用于接收所述后端服务器传来的目标尺寸测量结果，并将测量结果在所述显示器上显示；所述摄像头用于采集待测量目标的图像，并将采集到的图像传输给所述微控制器；所述后端服务器，用于接收所述前端处理装置传来的图像，并检测接收图像中的目标，计算目标的二维尺寸信息，并将结果通过网络传输给所述的前端处理装置。进一步的，前端处理装置与后端服务器之间的网络通信为Socket通信方式。进一步的，所述后端服务器接收图像后：首先，将接收到的图像输入预先训练好的MaskR-CNN网络进行目标检测，检测出图像中所有的目标；然后，提取所有目标的轮廓特征，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；最后，根据照相机成像原理和相似三角形理论，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比；已知摄像头感光元件尺寸、镜头焦距和目标到摄像头的物距，计算图像的实际尺寸，已知摄像头分辨率，进而计算图像中每一个像素点的实际尺寸，再结合所述目标的二维像素尺寸，计算目标的实际二维尺寸。相对于现有技术，本专利技术具有以下有益效果：本专利技术提供了一种基于深度学习的目标尺寸测量方法及系统，通过前端处理装置中的微控制器控制摄像头采集待测量目标的图像，并将图像通过网络传输到后端服务器；在后端服务器，通过引入深度学习的方法，从图像中检测出目标，使用数字图像处本文档来自技高网...

【技术保护点】
1.基于深度学习的目标尺寸测量方法，其特征在于，包括以下步骤：S101：制作针对待测量目标的数据集，所述数据集包括训练集；S102：在后端服务器上，使用所述数据集中的训练集训练针对待测量目标的Mask R‑CNN目标检测网络；S103：摄像头拍摄待测量目标，获取一帧待测量目标的图像，并将图像传输到前端处理装置中的微控制器；S104：前端处理装置中的微控制器接收所述图像，并将所述图像通过网络传输到后端服务器；S105：后端服务器接收所述图像，将所述图像输入步骤S102中训练好的Mask R‑CNN网络进行目标检测，检测出所述图像中所有的目标，获取所述图像中所有目标的位置信息和类别信息；S106：在后端服务器上，根据所述目标的位置信息提取目标的轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；S107：在后端服务器上，计算图像中每一个像素点的实际尺寸，再结合所述步骤S106中所述目标的二维像素尺寸，计算目标的实际二维尺寸；后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置；S108：前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果，在步骤S103所述图像上标出目标的最小外接矩形，并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息，将结果图像在前端处理装置的显示器上进行显示。...

【技术特征摘要】
1.基于深度学习的目标尺寸测量方法，其特征在于，包括以下步骤：S101：制作针对待测量目标的数据集，所述数据集包括训练集；S102：在后端服务器上，使用所述数据集中的训练集训练针对待测量目标的MaskR-CNN目标检测网络；S103：摄像头拍摄待测量目标，获取一帧待测量目标的图像，并将图像传输到前端处理装置中的微控制器；S104：前端处理装置中的微控制器接收所述图像，并将所述图像通过网络传输到后端服务器；S105：后端服务器接收所述图像，将所述图像输入步骤S102中训练好的MaskR-CNN网络进行目标检测，检测出所述图像中所有的目标，获取所述图像中所有目标的位置信息和类别信息；S106：在后端服务器上，根据所述目标的位置信息提取目标的轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；S107：在后端服务器上，计算图像中每一个像素点的实际尺寸，再结合所述步骤S106中所述目标的二维像素尺寸，计算目标的实际二维尺寸；后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置；S108：前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果，在步骤S103所述图像上标出目标的最小外接矩形，并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息，将结果图像在前端处理装置的显示器上进行显示。2.根据权利要求1所述的基于深度学习的目标尺寸测量方法，其特征在于，步骤S101中，所述数据集包含3000张待测量目标的图片，其中，训练集包含2000张待测量目标的图片，测试集包含1000张待测量目标的图片；步骤S101中制作数据集包括以下步骤：首先，使用Labelme工具对所述数据集中所有图片进行标注，每一幅图片标注完成后生成一个扩展名为.json的标注文件，所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息；然后，分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件；最后，将训练集和测试集中所有图片和标注文件按照COCO数据集格式进行组织。3.根据权利要求1所述的基于深度学习的目标尺寸测量方法，其特征在于，步骤S102中MaskR-CNN目标检测网络中的特征提取网络使用Resnet101。4.根据权利要求1所述的基于深度学习的目标尺寸测量方法，其特征在于，步骤S105的MaskR-CNN网络检测结果中，每一个被检测到的目标对应一幅二值图像，二值图像尺寸与所述MaskR-CNN网络输入图像尺寸相同，目标所在的像素区域像素值为255，其它像素区域像素值为0；像素值为255的区域描述了目标物体的位置信息。5.根据权利要求1所述的基于深度学习的目标尺寸测量方法，其特征在于，步骤S106中提取目标轮廓的方法如下：用f(i,j)表示二值图像中坐标为(i,j)点的像素值；从上到下、从左向右扫描图像中每一个像素点，如果f(i,j)＝0且f(i,j+1)＝255，或f(i,j-1)＝255且f(i,j)＝0，或f(i,j)＝0且f(i+1,j)＝255,或f(i-1,j)＝255且f(i,j)＝0,则f...

【专利技术属性】
技术研发人员：张斌，魏祚，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61