一种基于计算机视觉的图书装订错误检测系统技术方案

本发明专利技术公开了一种基于计算机视觉的图书装订错误检测系统，用于对经传送带传输的图书进行装订检测，该系统包括：一对对射型光电开关、CCD工业相机、回收装置和设置在上位机的识别判断模块；其中，一对对射型光电开关分别固定在传送带掉落槽两侧，当感知到图书掉落时开启；CCD工业相机，用于当光电开关打开时启动拍照，采集图书书脊侧图像并发送至识别判断模块；识别判断模块，用于对图书书脊侧图像进行梯标块的识别，当识别得到的梯标数量与该类别图书一致时，对图书书脊侧图像进行图像预处理和仿射变换，再根据该类别图书模板对仿射变换后的图像进行模板匹配，输出装订是否错误结果，如果存在装订错误，则启动回收装置对该图书进行回收。书进行回收。书进行回收。

【技术实现步骤摘要】
一种基于计算机视觉的图书装订错误检测系统


[0001]本专利技术涉及图书装订检测
，尤其涉及一种基于计算机视觉的图书装订错误检测系统。

技术介绍

[0002]在图书印刷行业，图书装订对整个生产线的生产出图书的质量高低有着至关重要的影响。探究一种新型高效的图书装订检测系统，对整个印刷业显得极其重要。
[0003]公告号为CN212302509U的中国技术专利，公开了“一种图书装订防错检测系统”，此专利只解决了外包装书壳与书内容装订倒置这个问题，并没有解决书章节内容乱序、重复、缺失的问题。
[0004]现有的图书装订检测的方法还有称重、厚度测量，这两种方法只能对被测样本书的重复、缺失章节的情况进行检测，而且在生产线上动态称重误差大，图书的厚度也受到装订线的影响较大，所以这两种方式在装订检测的准确度方面比较低。此外，对于图书章节乱序的情况两种方法都不能检测。

技术实现思路

[0005]本专利技术的目的在于克服现有技术缺陷，提出了一种基于计算机视觉的图书装订错误检测系统。
[0006]为了实现上述目的，本专利技术提出了一种基于计算机视觉的图书装订错误检测系统，用于对经传送带传输的图书进行装订检测，所述系统包括：一对对射型光电开关、CCD工业相机、回收装置和设置在上位机的识别判断模块；其中，
[0007]所述一对对射型光电开关分别固定在传送带掉落槽两侧，当感知到图书掉落时开启；
[0008]所述CCD工业相机，用于当光电开关打开时启动拍照，采集图书书脊侧图像并发送至识别判断模块；
[0009]所述识别判断模块，用于根据配置文件预存的预先建立和训练好的梯标块识别模型，对图书书脊侧图像进行梯标块的识别，当识别得到的梯标数量与该类别图书的梯标数量一致时，对图书书脊侧图像进行图像预处理和仿射变换，再根据预先建立的该类别图书模板对仿射变换后的图像进行模板匹配，输出装订是否错误结果，如果存在装订错误，则启动回收装置对该图书进行回收；
[0010]所述回收装置，用于在识别判断模块的控制下接收装订错误的图书。
[0011]作为上述系统的一种改进，所述配置文件用于存储预先建立和训练好的梯标块识别模型，用于存储该类别图书的梯标数量和阈值，还用于存储系统启动的配置信息。
[0012]作为上述系统的一种改进，所述梯标块识别模型采用YOLOv4网络，输入为CCD工业相机采集的图书书脊侧图像，输出为该图书的梯标数量和每个梯标的位置信息。
[0013]作为上述系统的一种改进，所述梯标块识别模型的训练过程包括：
[0014]采集现场的图书书脊侧照片建立样本集；
[0015]对照片中的标志块按照VOC数据集的类型进行样本标注，由标注后的一部分样本建立训练集，由标注后的另一部分样本建立测试集；
[0016]将训练集数据输入YOLOv4网络，调整网络参数，得到收敛的梯标块识别模型；
[0017]将测试集数据输入收敛的梯标块识别模型，进一步调整网络参数，直至网络进一步收敛，得到训练好的梯标块识别模型。
[0018]作为上述系统的一种改进，所述图像预处理具体包括：
[0019]对图书书脊侧图像进行阈值化处理，将低于设定阈值的像素点统一设为
‘0’
，高于设定阈值的像素点统一设为
‘
255
’
；通过膨胀处理使图像中的亮区域变大，通过腐蚀处理使图像中的黑色区域变大，从而除掉图像噪声，再进行二值化处理，得到二值图像。
[0020]作为上述系统的一种改进，所述仿射变换，具体包括：
[0021]分别提取第一个梯标、中间一个梯标和最后一个梯标的左上角顶点位置坐标，分别提取该类别的图书模板对应三个梯标的左上角顶点位置坐标，计算得到变换矩阵，依据变换矩阵对二值图像进行仿射变换，得到变换后的二值图像。
[0022]作为上述系统的一种改进，所述该类别图书模板的建立过程包括：
[0023]使用标记软件标记图书的每个梯标位置和图书轮廓，导出xml文件；根据xml文件，构造模板二值图像，模板二值图像的大小与图书轮廓大小相同，背景为黑色，并在黑色背景图中画出白色的梯标位置，从而完成该类别图书模板的建立。
[0024]作为上述系统的一种改进，所述CCD工业相机固定于支架上，使CCD镜头平视传送带，并且CCD工业相机通过RJ
‑
45与上位机连接。
[0025]作为上述系统的一种改进，所述回收装置通过RS
‑
232与上位机连接。
[0026]作为上述系统的一种改进，所述上位机的GPU算力不小于3.0
[0027]与现有技术相比，本专利技术的优势在于：
[0028]1、本专利技术图书检测系统采用的计算机视觉的方式对图书样本进行识别，极大的提高了识别的准确度，有效的解决了生产线上图书装订工作中章节内容缺失、重复、乱序等缺陷问题；
[0029]2、本专利技术在实际生产使用过程中，可以在1秒钟之内对图书样本进行判断并将结果返回，既不会影响生产线的工作，又能及时判断结果，并且可插拔，不影响原生产线设备，有效的提高生产效率；
[0030]3、本专利技术首次使用深度学习模型识别图书梯标；
[0031]4、本专利技术加入了仿射变换，使得被检测图像与模板图像尽可能的保持形态学的相似，提高了模板匹配的准确度。
附图说明
[0032]图1是本专利技术的基于计算机视觉的图书装订错误检测系统成示意图；
[0033]图2是本专利技术的基于计算机视觉的图书装订错误检测系统的数据流向；
[0034]图3是本专利技术的基于计算机视觉的图书装订错误检测系统的流程图。
具体实施方式
[0035]为了克服现有技术中不能解决的图书装订乱序以及重复、缺失检测正确度低的缺陷，本专利技术提供了一种基于计算机视觉的图书检测系统，使用工业CCD相机采集图书书脊侧的图像，借助深度学习模型YOLOv4对图像进行标志物的识别，通过对比识别到的标志物和给定模板图像，从而得到图书装订的正误。
[0036]下面结合附图和实施例对本专利技术的技术方案进行详细的说明。
[0037]实施例1
[0038]如图1所示，本专利技术的实施例1提出了基于计算机视觉的图书装订错误检测系统，用于对经传送带传输的图书进行装订检测，系统包括：一对对射型光电开关、CCD工业相机、回收装置和设置在上位机的识别判断模块；其中，
[0039]一对对射型光电开关分别固定在传送带掉落槽两侧，当感知到图书掉落时开启；光电开关用于触发CCD拍照；
[0040]CCD相机的触发是由图书在掉入输送机构的同时遮挡了光电开关，从而激发光电开关输出相机触发信号。用于当光电开关打开时启动拍照，采集图书书脊侧图像并发送至识别判断模块；
[0041]识别判断模块，用于根据配置文件的该类别图书相关信息，对图书书脊侧图像进行梯标块的识别，当识别得到的梯标数量与该类别图书的梯标数量一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的图书装订错误检测系统，用于对经传送带传输的图书进行装订检测，其特征在于，所述系统包括：一对对射型光电开关、CCD工业相机、回收装置和设置在上位机的识别判断模块；其中，所述一对对射型光电开关分别固定在传送带掉落槽两侧，当感知到图书掉落时开启；所述CCD工业相机，用于当光电开关打开时启动拍照，采集图书书脊侧图像并发送至识别判断模块；所述识别判断模块，用于根据配置文件预存的预先建立和训练好的梯标块识别模型，对图书书脊侧图像进行梯标块的识别，当识别得到的梯标数量与该类别图书的梯标数量一致时，对图书书脊侧图像进行图像预处理和仿射变换，再根据预先建立的该类别图书模板对仿射变换后的图像进行模板匹配，输出装订是否错误结果，如果存在装订错误，则启动回收装置对该图书进行回收；所述回收装置，用于在识别判断模块的控制下接收装订错误的图书。2.根据权利要求1所述的基于计算机视觉的图书装订错误检测系统，其特征在于，所述配置文件用于存储预先建立和训练好的梯标块识别模型，用于存储该类别图书的梯标数量和阈值，还用于存储系统启动的配置信息。3.根据权利要求2所述的基于计算机视觉的图书装订错误检测系统，其特征在于，所述梯标块识别模型采用YOLOv4网络，输入为CCD工业相机采集的图书书脊侧图像，输出为该图书的梯标数量和每个梯标的位置信息。4.根据权利要求3所述的基于计算机视觉的图书装订错误检测系统，其特征在于，所述梯标块识别模型的训练过程包括：采集现场的图书书脊侧照片建立样本集；对照片中的标志块按照VOC数据集的类型进行样本标注，由标注后的一部分样本建立训练集，由标注后的另一部分样本建立测试集；将训练集数据输入YOLOv4网络，调整网络参数，得到收敛的梯标块识别模型；将测试集数据输入收敛的梯标块识别模型，进一步调整网络参数，直至网络进一步收...

【专利技术属性】
技术研发人员：于强，何师，
申请(专利权)人：中国科学院国家空间科学中心，
类型：发明
国别省市：