基于深度学习的移动端类矩形物体边缘检测方法技术

基于深度学习的移动端类矩形物体边缘检测方法，本发明专利技术涉及移动端类矩形物体边缘检测方法。本发明专利技术的目的是为了解决现有移动端类矩形物体边缘检测方法检测效率低、准确性差的问题。过程为：一、对待测物体边缘图像进行粗提取；二、对粗提取后的图像检测线段；三、将线段延长成直线，对相等、相似的直线利用求均值方法合成一条直线；四、计算不能合并直线之间的交叉点个数；五、对不能合并直线之间的所有交叉点，每次取出4个，判断是否是一个矩形或类矩形；若不是则删除；若是则保留；判断个数；若为1得到矩形或类矩形的边缘；若大于等于2，执行六；六、找出周长或面积最大的矩形或类矩形，得到矩形或类矩形的边缘。本发明专利技术用于边缘检测领域。

【技术实现步骤摘要】
基于深度学习的移动端类矩形物体边缘检测方法
本专利技术涉及移动端类矩形物体边缘检测方法。
技术介绍
矩形或者类矩形物体的检测，在工业界需求广泛。随着深度学习技术的发展，其影响领域涉及到各行各业。深度学习技术对于检测领域鲁棒性较强，检测精度高，但是缺点也较为明显，专业性较强，训练复杂，难以在移动端部署等等。传统上，普遍使用的方法是调用OpenCV里面的函数，但是真实的场景图片会比这个复杂的多，会有各种干扰因素。OpenCV函数依赖很多阀值参数，往往这些阀值参数的选择依赖于专业人士的经验和调试方法，较为复杂。但是传统OpenCV算法有着其天然的优势，那就是足够轻量化，可以很容易在移动端部署。
技术实现思路
本专利技术的目的是为了解决现有移动端类矩形物体边缘检测方法检测效率低、准确性差的问题，而提出基于深度学习的移动端类矩形物体边缘检测方法。基于深度学习的移动端类矩形物体边缘检测方法具体过程为：步骤一、对待测物体边缘图像进行粗提取；步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段；步骤三、将检测到的线段延长成直线，利用直线间的角度、距离约束条件，对相等、相似的直线利用求均值方法合成一条直线；所述相似为角度相差小于等于5度，距离小于3个像素；步骤四、计算直线或直线延长线之间的交叉点的距离，将距离小于20像素距离的交叉点合并；计算不能合并直线之间的交叉点个数；步骤五、利用矩形或类矩形的角度条件，对不能合并直线之间的所有交叉点，每次取出其中的4个，判断这4个点组成的四边形是否是一个矩形或类矩形；若不是矩形或类矩形则删除；若是矩形或类矩形则保留；判断保留的矩形或类矩形的个数；若为1，得到矩形或类矩形的边缘；若大于等于2，执行步骤六；所述类矩形为平行四边形或内角和为360度的四边形；步骤六、找出周长或面积最大的矩形或类矩形，得到矩形或类矩形的边缘。本专利技术的有益效果为：结合两种技术路线，本专利技术进行了大量的改进和调优，结合两种方法的优势，摒弃劣势，实现了一种基于深度学习与传统视觉算法融合的移动端类矩形物体边缘检测方法。本专利技术通过融合传统算法与深度学习技术，实现对矩形或类矩形物体边缘检测，是对传统边缘检测技术的一种改进方案。通过对传统边缘检测技术的改进，提高了检测效率与准确性，并且可以在移动端部署，做到全平台通用。新的技术改进方案，不仅提升了传统方案的检测精度，而且可以跨平台部署，工程移植上较为简单，模型训练简单，提高了移动端类矩形物体边缘检测效率和准确性。同时，本专利技术采用对神经网络训练方法、框架裁剪、量化等技术，为其他工程带来参考。附图说明图1为本专利技术流程图；图2为特征融合图；图3为框架NCNN与Pytorch在移动端部署图；图4为INT8量化原理简图；图5为边缘提取图。具体实施方式具体实施方式一：结合图1说明本实施方式，本实施方式基于深度学习的移动端类矩形物体边缘检测方法具体过程为：步骤一、对待测物体边缘图像进行粗提取；步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段；步骤三、将检测到的线段延长成直线，利用直线间的角度、距离约束条件，对相等(完全重合的)、相似的直线利用求均值方法合成一条直线(像素坐标相加，再除以2)；所述相似为角度相差小于等于5度，距离小于3个像素；步骤四、计算直线或直线延长线之间的交叉点的距离，将距离小于20像素距离的交叉点合并；计算不能合并直线之间的交叉点个数；步骤五、利用矩形或类矩形的角度条件，对不能合并直线之间的所有交叉点，每次取出其中的4个，判断这4个点组成的四边形是否是一个矩形或类矩形；若不是矩形或类矩形则删除；若是矩形或类矩形则保留；判断保留的矩形或类矩形的个数；若为1，得到矩形或类矩形的边缘；若为大于等于2，执行步骤六；所述类矩形为平行四边形或内角和为360度的四边形；步骤六、找出周长或面积最大的矩形或类矩形，得到矩形或类矩形的边缘。如图5。具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中对待测物体边缘图像进行粗提取；具体过程为：步骤一一、建立训练集；步骤一二、建立HED网络模型；步骤一三、将训练集输入HED网络模型进行训练，得到训练好的HED网络模型；步骤一四、将待测物体边缘图像输入训练好的HED网络模型，对待测物体边缘图像进行粗提取。其它步骤及参数与具体实施方式一相同。具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤一一中建立训练集；具体过程为：训练集包含合成图像与真实图像。所述真实图像为：需要检测的含有矩形或类矩形的图像；所述合成图像为：在前景图上添加旋转、平移、透视变换，对背景图进行随机裁剪，利用OpenCV中的addWeighted()函数生成合成图像。所述前景图指的是真实图像，背景图根据实际情况随机选取。其它步骤及参数与具体实施方式一或二相同。具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤一二中建立HED网络模型；具体过程为：HED网络模型包括五个卷积块；第一卷积块包括卷积层1、卷积层2、池化层1；卷积层1连接卷积层2，卷积层2连接池化层1，池化层1连接第二卷积块；第二卷积块包括卷积层3、卷积层4、池化层2；卷积层3连接卷积层4，卷积层4连接池化层2，池化层2连接第三卷积块；第三卷积块包括卷积层5、卷积层6、池化层3；卷积层5连接卷积层6，卷积层6连接池化层3，池化层3连接第四卷积块；第四卷积块包括卷积层7、卷积层8、池化层4；卷积层7连接卷积层8，卷积层8连接池化层4，池化层4连接第五卷积块；第五卷积块包括卷积层9、卷积层10、卷积层11；卷积层9连接卷积层10，卷积层10连接卷积层11；对每个卷积块得到的特征图进行反卷积，使得各个尺度得到的特征图尺度相同，得到每个卷积块对应的反卷积后的特征图，将每个卷积块对应的反卷积后的特征图与对应通道的对应像素加权，将五个卷积块对应的加权值相加，得到融合后的特征图；如图2；裁剪HED网络，缩小通道数量：第一卷积块由64通道裁剪为16通道，第二卷积块由128通道裁剪为32通道，第三卷积块由256通道裁剪为32通道，第四卷积块由512通道裁剪为64通道，第五卷积块由512通道裁剪为128通道。其它步骤及参数与具体实施方式一至三之一相同。具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤一三中将训练集输入HED网络模型进行训练，得到训练好的HED网络模型；具体过程为：融合过程使用转置卷积(transposedconvolution)/反卷积(deconv)时，将卷积核的值初始化成双线性放大矩阵，本文档来自技高网...

【技术保护点】
1.基于深度学习的移动端类矩形物体边缘检测方法，其特征在于：所述方法具体过程为：/n步骤一、对待测物体边缘图像进行粗提取；/n步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段；/n步骤三、将检测到的线段延长成直线，利用直线间的角度、距离约束条件，对相等、相似的直线利用求均值方法合成一条直线；/n所述相似为角度相差小于等于5度，距离小于3个像素；/n步骤四、计算直线或直线延长线之间的交叉点的距离，将距离小于20像素距离的交叉点合并；计算不能合并直线之间的交叉点个数；/n步骤五、利用矩形或类矩形的角度条件，对不能合并直线之间的所有交叉点，每次取出其中的4个，判断这4个点组成的四边形是否是一个矩形或类矩形；若不是矩形或类矩形则删除；若是矩形或类矩形则保留；判断保留的矩形或类矩形的个数；若为1，得到矩形或类矩形的边缘；若大于等于2，执行步骤六；/n所述类矩形为平行四边形或内角和为360度的四边形；/n步骤六、找出周长或面积最大的矩形或类矩形，得到矩形或类矩形的边缘。/n

【技术特征摘要】
1.基于深度学习的移动端类矩形物体边缘检测方法，其特征在于：所述方法具体过程为：
步骤一、对待测物体边缘图像进行粗提取；
步骤二、对步骤一中粗提取后的图像使用OpenCV的HoughLinesP函数检测线段；
步骤三、将检测到的线段延长成直线，利用直线间的角度、距离约束条件，对相等、相似的直线利用求均值方法合成一条直线；
所述相似为角度相差小于等于5度，距离小于3个像素；
步骤四、计算直线或直线延长线之间的交叉点的距离，将距离小于20像素距离的交叉点合并；计算不能合并直线之间的交叉点个数；
步骤五、利用矩形或类矩形的角度条件，对不能合并直线之间的所有交叉点，每次取出其中的4个，判断这4个点组成的四边形是否是一个矩形或类矩形；若不是矩形或类矩形则删除；若是矩形或类矩形则保留；判断保留的矩形或类矩形的个数；若为1，得到矩形或类矩形的边缘；若大于等于2，执行步骤六；
所述类矩形为平行四边形或内角和为360度的四边形；
步骤六、找出周长或面积最大的矩形或类矩形，得到矩形或类矩形的边缘。


2.根据权利要求1所述基于深度学习的移动端类矩形物体边缘检测方法，其特征在于：所述步骤一中对待测物体边缘图像进行粗提取；具体过程为：
步骤一一、建立训练集；
步骤一二、建立HED网络模型；
步骤一三、将训练集输入HED网络模型进行训练，得到训练好的HED网络模型；
步骤一四、将待测物体边缘图像输入训练好的HED网络模型，对待测物体边缘图像进行粗提取。


3.根据权利要求2所述基于深度学习的移动端类矩形物体边缘检测方法，其特征在于：所述步骤一一中建立训练集；具体过程为：
训练集包含合成图像与真实图像。
所述真实图像为：需要检测的含有矩形或类矩形的图像；
所述合成图像为：在前景图上添加旋转、平移、透视变换，对背景图进行随机裁剪，利用OpenCV中的...

【专利技术属性】
技术研发人员：高会军，刘金泽，郭绪亮，李秋生，郑祥滨，
申请(专利权)人：航天科技控股集团股份有限公司，
类型：发明
国别省市：黑龙江;23