基于多目视觉的除杂系统技术方案

本发明专利技术涉及基于多目视觉的除杂系统，其近红外采集装置用于实时采集并获得近红外光谱，依据近红外光谱判断是否存在杂质，当判断为存在杂质时，向多目视觉采集装置发出存在杂质信息；多目视觉采集装置用于实时采集多目视频图像，获得杂质的空间坐标信息并将发送至机械臂除杂装置；机械臂除杂装置依据的杂质的空间坐标信息控制执行机构的动作，将杂质从生产线上除去。本发明专利技术能够获得实时多目视频图像，实现杂质的自动识别和剔出。

【技术实现步骤摘要】
基于多目视觉的除杂系统
本专利技术涉及基于多目视觉的除杂系统，主要用于中药生产线的自动除杂，也可以用于其他类似用途或场合。
技术介绍
中医药是我国灿烂文化的重要组成部分，是中华民族四大国粹之一，在国际上有着越来越重大的影响，深受中国人民和世界人民的热爱和欢迎。随着社会的发展，中医药需求比重逐年增高。然而，随之而来的问题，大部分中药制药技术落后，中药饮片制造自动化，智能化程度低，尤其是在中药杂质(包括其他物质或不合格品)的剔除方面，大部分中药制药生产线都采用人工挑选剔除的方式，这种方式不仅准确率低，而且会消耗大量人力物力，严重阻碍中医药制药技术的发展。如何实现一种智能化精准剔除中药制造生产线上杂质的系统成为亟待解决的问题。
技术实现思路
为克服现有技术的上述缺陷，本专利技术提供了基于多目视觉的除杂系统，该系统能够获得实时多目视频图像，以便通过计算机视觉技术实现杂质的自动视觉识别，并可以基于视觉识别结果进行杂质的自动分离。本专利技术的技术方案是：基于多目视觉的除杂系统，包括：近红外采集装置，用于实时采集生产线的近红外采集工位的近红外光并生成相应的近红外光谱，依据近红外光谱判断是否存在杂质，当存在杂质时，向多目视觉采集装置发出存在杂质信息；多目视觉采集装置，用于实时采集生产线的视觉采集工位的多目视频图像，依据采集的多目视频图像获得杂质的空间坐标信息并将杂质的空间坐标信息发送至机械臂除杂装置，依据来自近红外采集装置的存在杂质信息，在该杂质进入其有效视野(有效图像区域)时启动视频图像采集，在该杂质移出其有效视野时停止视频图像采集；机械臂除杂装置，用于去除生产线上的杂质，依据来自多目视觉采集装置的杂质的空间坐标信息控制执行机构的动作时间，通过执行机构的动作将移动至杂质剔除工位的杂质从生产线上除去，所述近红外采集工位、视觉采集工位和杂质剔除工位在生产线(物料的传送机构或移动轨迹)上依次分布。所述近红外采集装置可以包括近红外光谱仪模块和光谱分析模块，所述近红外光谱仪模块用于采集近红外光并生成相应的近红外光谱，所述光谱分析模块用于对所述近红外光谱仪模块生成的近红外光谱进行光谱分析，将近红外光谱仪模块生成的近红外光谱(可称为实际光谱)与物料(生产线上的正常物料或合格物料)的近红外光谱进行比对，判断是否存在杂质。优选以光谱峰值作为比对参数，在出现不属于物料的光谱峰值时，判断为存在杂质。可设置基于频率的峰值判断标准，在不存在物料的光谱峰值的频率上，如果出现了超过设定阈值的峰值，判断为出现不属于物料的光谱峰值，所述阈值可以为相对值，例如，该峰值与实际光谱中最大峰值的比值。可基于调查和实验数据等，建立一个或多个典型杂质的光谱峰值，以减少光谱比对的数据处理量。在出现典型杂质的光谱峰值时，判断为存在杂质。可以不考虑其他峰值，或只有在出现明显异常的峰值时才判断为存在杂质，可以设定明显异常的判断阈值，所述阈值可以为相对值，例如，该峰值与实际光谱中最大峰值的比值。所述多目视觉采集装置可以包括多目相机模块和视觉标定模块，所述多目相机模块用于采集多目视频图像并获得在各视频图像中的杂质信息(例如，图像坐标)，所述视觉标定模块依据各视频图像中的杂质信息生成该杂质在相机坐标系或在世界坐标系的三维坐标，以此作为发送至机械臂除杂装置的杂质的空间坐标信息。可以依据现有技术实现图像中的杂质识别，获得杂质信息。例如，依据物料与杂质在边缘特征、颜色特征或三维尺度比例特征等方面的差异，采用边缘检测算法或颜色直方图等现有图像特征识别技术进行物料与杂质的特征识别和比对，识别出图像中的杂质，依据多目相机同步采用的图像，对同一杂质进行三维定位，形成杂质是在相机坐标系中的三维坐标。所述机械臂除杂装置可以包括手眼标定模块、中控模块和机械臂模块，所述手眼标定模块用于将来自多目视觉采集装置的杂质的空间坐标信息转换为杂质在机械臂坐标系的三维坐标，所述中控模块依据物料传输速度和执行机构响应时间计算执行机构的动作时间，所述机械臂模块作为执行机构，在中控模块的控制下动作，将移动至杂质剔除工位的杂质从生产线上除去。可以依据现有技术和实际需要，设定或选择红外线和图像的采样时间间隔或频率。可以依据现有技术和实际需要，设定或选择红外光谱分析和图像杂质识别的时间间隔或频率，可以对每一帧图像都进行杂质识别及后续处理，也可以每间隔若干帧进行一帧图像的杂质识别及后续处理。可以依据现有技术设立多目相机的相机坐标系、世界坐标系和机械臂坐标系。可以依据现有技术确定具体光谱和具体图像所对应的物料位置，依据生产线上物料的移动速度或移动方式，确定具体物料在各工位相关位置上的具体时间或时间对应关系。可以依据现有技术进行近红外光谱的分析比对，可以依据实验建立物料的近红外光谱数据和典型杂质的近红外光谱数据，可以以物料的近红外光谱的主要峰值及主要峰值的比值作为相应近红外光谱数据，可以依据调查和实验结果确定与物料对应的若干种典型杂质，并以这些典型杂质的近红外光谱的主要峰值及主要峰值的比值作为相应的近红外光谱数据。这种基于多目视觉的除杂系统是相应软件支持下的检测速度快、检测精度高、适用范围广的智能除杂系统，通过多目相机自动采集中药生产线的中药材图像，依据这些图像不仅能够通过计算机视觉技术自动识别和检测出其中的杂质，同时依据其多目相机采集的视差画面能够实时计算出杂质的三维坐标，通过坐标换算控制机械臂对杂质进行精确抓取剔除，而且还可以将采集的光谱数据实时传输到云平台，方便光谱数据管理及制药产线优化，达到最大的生产效率与生产合格率。附图说明图1是本专利技术一种基于多目视觉的除杂系统的示意图；图2是本专利技术多目相机模块的示意图。具体实施方式下面结合附图，以在中药生产线的实施方式为例对本专利技术作进一步详细的描述。可以理解的是，本专利技术也可以用于其他适应物料的连续输送场合的杂质识别和去除。参见图1，本专利技术的基于多目视觉的除杂系统包含了三个装置，分别为近红外采集装置101、多目视觉采集装置102和机械臂除杂装置103。其中，所述近红外采集装置分为近红外光谱仪模块和光谱分析模块；所述多目视觉采集装置分为多目相机模块和视觉标定模块；所述机械臂除杂装置分为手眼标定模块、中控模块和机械臂模块。近红外光谱模块采集中药制药生产线(或其他适宜物料的连续输送线，下同)上中药材(或其他适宜物料，下同)及混杂杂质的光谱数据，并将该光谱数据反馈至光谱分析模块，光谱分析模块对光谱数据进行分析并检测(或称判断出，下同)是否存在杂质，并将该检测信息反馈至多目相机模块，多目相机模块接收到存在杂质信息后，开启采集功能，对混杂杂质的三维空间坐标进行采集并将该坐标通过视觉标定模块转换为相机坐标系中的坐标，完成转换后将坐标值(或称坐标信息，下同)反馈至(或称传至，下同)手眼标定模块，手眼标定模块将相机坐标系中混杂杂质的坐标转换为机械臂坐标系中的三维坐标，并将转换后的坐标值反馈至中控模块，中控模块根据混杂杂质在机械本文档来自技高网...

【技术保护点】
1.基于多目视觉的除杂系统，其特征在于包括：/n近红外采集装置，用于实时采集生产线的近红外采集工位的近红外光并生成相应的近红外光谱，依据近红外光谱判断是否存在杂质，当判断为存在杂质时，向多目视觉采集装置发出存在杂质信息；/n多目视觉采集装置，用于实时采集生产线的视觉采集工位的多目视频图像，依据采集到的多目视频图像获得杂质的空间坐标信息并将杂质的空间坐标信息发送至机械臂除杂装置，依据来自近红外采集装置的存在杂质信息，在该杂质进入其有效视野时启动视频图像采集，在该杂质移出其有效视野时停止视频图像采集；/n机械臂除杂装置，用于去除生产线上的杂质，依据来自多目视觉采集装置的杂质的空间坐标信息控制执行机构的动作，通过执行机构的动作将移动至杂质剔除工位的杂质从生产线上除去，/n所述近红外采集工位、视觉采集工位和杂质剔除工位在生产线上依次分布。/n

【技术特征摘要】
1.基于多目视觉的除杂系统，其特征在于包括：
近红外采集装置，用于实时采集生产线的近红外采集工位的近红外光并生成相应的近红外光谱，依据近红外光谱判断是否存在杂质，当判断为存在杂质时，向多目视觉采集装置发出存在杂质信息；
多目视觉采集装置，用于实时采集生产线的视觉采集工位的多目视频图像，依据采集到的多目视频图像获得杂质的空间坐标信息并将杂质的空间坐标信息发送至机械臂除杂装置，依据来自近红外采集装置的存在杂质信息，在该杂质进入其有效视野时启动视频图像采集，在该杂质移出其有效视野时停止视频图像采集；
机械臂除杂装置，用于去除生产线上的杂质，依据来自多目视觉采集装置的杂质的空间坐标信息控制执行机构的动作，通过执行机构的动作将移动至杂质剔除工位的杂质从生产线上除去，
所述近红外采集工位、视觉采集工位和杂质剔除工位在生产线上依次分布。


2.如权利要求1所述的基于多目视觉的除杂系统，其特征在于所述近红外采集装置包括近红外光谱仪模块和光谱分析模块，所述近红外光谱仪模块用于采集近红外光并生成相应的近红外光谱，所述光谱分析模块用于对所述近红外光谱仪模块生成的近红外光谱进行光谱分析，将近红外光谱仪模块生成的近红外光谱与物料...

【专利技术属性】
技术研发人员：唐斌，邱学军，母林，张磊，
申请(专利权)人：惠仁康宁苏州健康科技有限公司，
类型：发明
国别省市：江苏;32