一种基于RGB-D视觉的在线果蔬识别系统及方法技术方案

本发明专利技术涉及一种基于RGB

【技术实现步骤摘要】
一种基于RGB
‑
D视觉的在线果蔬识别系统及方法


[0001]本专利技术属于果蔬识别
，具体涉及一种基于RGB
‑
D视觉的在线果蔬识别系统及方法。

技术介绍

[0002]我国食品加工产业日渐发展，果蔬分级工作是果蔬采后加工的必要前期步骤，因其工作量巨大，需要大量的劳动力投入其中，所以采用果蔬分级机器人成为了产业发展方向。随着机器视觉的发展，视觉传感器及果蔬识别技术的多样化及高性能，是提升果蔬分级系统性能及行业技术含量的关键所在。而当前市面上的果蔬分级机器人，通用性不高，往往局限于同类型果蔬的分级，想要提高果蔬分级机器人的通用性，就需要在分级之前通过视觉检测，判断果蔬类型，采用不同的分级标准和分级方式。采用传统视觉检测，准确率低，识别速度缓慢，人机交互性差，实用性、操作性不强，且难以进行二次开发。

技术实现思路

[0003]为了解决上述现有技术中存在的技术问题，本专利技术设计了一种基于RGB
‑
D视觉的在线果蔬识别系统及方法。
[0004]为了解决上述现有技术中存在的技术问题，本专利技术一方面采用了以下技术方案：一种基于RGB
‑
D视觉的在线果蔬识别系统，包括在线载物平台、实感深度相机和识别控制系统，所述识别控制系统包括主控机及点云处理模块、点云识别模块、人机交互模块;所述实感深度相机与所述主控机连接。
[0005]进一步，所述点云处理模块包括点云图像生成模块、点云图像增强模块、点云图像滤波模块、点云图像配准模块、点云图像分割模块和点云图像发送模块。
[0006]进一步，所述点云识别模块包括点云图像匹配模块和点云模型特征数据库；所述点云模型特征数据库包括点云颜色数据库、点云轮廓数据库和点云特征数据库。
[0007]进一步，所述人机交互模块包括人机交互界面、交互信息收发器、用户输入器、状态反馈器、程序载入器和模拟调试器，所述交互信息收发器与用户输入器、状态反馈器、程序载入器、模拟调试器连接；所述人机交互界面，获取用户操作指令并发送至所述交互信息收发器，并从所述交互信息收发器获取系统当前执行状态和识别结果向用户展示；所述用户输入器，捕获用户输入的动静态分析指令、程序载入指令、开始识别指令，并通过操作指令发送器发送至所述点云识别模块；所述状态反馈器，实时接收识别结果和系统执行状态，并显示至人机交互界面；所述程序载入器，在用户操作下，将既定程序识别参数载入所述识别控制系统；所述模拟调试器，通过对载入的程序进行调试，采用所述识别控制系统点云模型特征数据库内的特征点云作为数据流参数，并将调试结果显示至人机交互界面。
[0008]进一步，所述在线载物平台包括恒稳传输带装置，所述恒稳传输带装置由所述识
别控制系统控制。
[0009]进一步，所述实感深度相机设置有红外线发射器、红外线传感器、色彩传感器和电源指示灯，所述实感深度相机采集目标物的RGB
‑
D数据流信息。
[0010]进一步，还包括移动终端，所述移动终端与所述识别控制系统通过WI
‑
FI路由器通讯连接。
[0011]本专利技术另一方面还公开了：一种基于RGB
‑
D视觉的在线果蔬识别方法，包括以下步骤：S1，开启识别控制系统, 并载入程序进行模拟调试；所示识别控制系统模拟调试通过后，开启在线载物平台和实感深度相机；S2，当所述在线载物平台上的待检测果蔬进入识别区域内时，所述实感深度相机捕获当前视线范围内待检测果蔬的三维点云图像信息，并将三维点云图像信息通过信号线传送给所述识别控制系统的主控机；所述三维点云图像信息包括RGB
‑
D数据流信息；S3，所述识别控制系统利用点云处理模块对接收到的三维点云图像进行点云图像处理，从而得到可被识别的特征点云图像数据；S4，所述识别控制系统利用点云识别模块对特征点云图像数据进行识别，并将识别结果和实时的系统执行状态发送至人机交互模块的人机交互界面；S5，当最终识别结果发送至人机交互界面后，所述识别控制系统控制所述在线载物平台继续输送，将下一待检测果蔬送至识别区域内内，重复上述步骤S2
‑
S4进行检测。
[0012]进一步，所述S3包括以下步骤：S31，所述三维点云图像通过点云图像生成模块生成（X，Y，Z，R，G，B）点云数据；S32，所述（X，Y，Z，R，G，B）点云数据通过点云图像增强模块，采用基于相机坐标展示的方法，形成增强点云图像数据；S33，所述增强点云图像数据通过点云图像滤波模块，实现点云滤波降噪，形成去噪点云图像数据；S34，所述去噪点云图像数据通过点云图像配准模块，实现三维校准、自动旋转变换，形成配准点云图像数据；S35，所述配准点云图像数据通过点云图像分割模块实现点云数据的分割，去除环境背景干扰，形成可被识别的特征点云图像数据；S36，点云图像发送模块将所述特征点云图像数据传送至点云识别模块。
[0013]进一步，所述S4中，所述点云识别模块对所述特征点云图像数据进行特征提取，获得当前特征点云图像数据的轮廓数据、色彩数据、特征点数据，并在点云颜色数据库、点云轮廓数据库、点云特征数据库中进行检索相应特征信息进行匹配识别；当特征拟合度满足既定条件时，则将识别结果发送至人机交互界面；在识别过程中，系统通过执行状态发送器，向人机交互界面实时发送系统执行状态，系统执行状态的种类包括识别进行中、无匹配模型、多值匹配、二次识别、识别结束。
[0014]进一步，所述S4中，所述点云识别模块对所述特征点云图像数据进行特征提取前，先对所述特征点云图像数据进行动态分割以实现识别前的预处理。
[0015]进一步，所述S4中，所述识别控制系统将最终识别结果，通过WI
‑
FI信号传输的方式，发送至用户的移动终端。
[0016]该基于RGB
‑
D视觉的在线果蔬识别系统及方法具有以下有益效果：（1）本专利技术中，采用实感深度相机，对在线载物平台上的果蔬产品进行图像捕获，并采用点云处理、点云识别技术，有效解决了传统识别方式准确度低，易产生误差等问题。
[0017]（2）本专利技术中，采用多重点云预处理手段，对捕获到的点云信息，进行多重预处理，使点云特征数据便于提取，提高识别精度，降低误识别率。
[0018]（3）本专利技术中，设计的人机交互界面，可实现模拟调试、人机交互、程序执行可视化等功能，避免了传统识别系统难以二次开发，操作性差等问题，在程序执行前调用既定点云模型，验证程序可行性，降低了误识别率。
[0019]（4）本专利技术中，采用共WI
‑
FI信号传输的方式，将识别结果发送至用户移动端识别设备的显示界面，增强系统人机交互性，减少环境限制，提高了系统自动化。
[0020]（5）本专利技术通用性好，自动化程度高，人机交互界面友好。
附图说明
[0021]图1：本专利技术实施方式中基于RGB
‑
D视觉的在线果蔬识别系统的工本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D视觉的在线果蔬识别系统，其特征在于，包括在线载物平台、实感深度相机和识别控制系统，所述识别控制系统包括主控机及点云处理模块、点云识别模块、人机交互模块;所述实感深度相机与所述主控机连接。2.根据权利要求1所述的基于RGB
‑
D视觉的在线果蔬识别系统，其特征在于，所述点云处理模块包括点云图像生成模块、点云图像增强模块、点云图像滤波模块、点云图像配准模块、点云图像分割模块和点云图像发送模块。3.根据权利要求1所述的基于RGB
‑
D视觉的在线果蔬识别系统，其特征在于，所述点云识别模块包括点云图像匹配模块和点云模型特征数据库；所述点云模型特征数据库包括点云颜色数据库、点云轮廓数据库和点云特征数据库。4.根据权利要求1所述的基于RGB
‑
D视觉的在线果蔬识别系统，其特征在于，所述人机交互模块包括人机交互界面、交互信息收发器、用户输入器、状态反馈器、程序载入器和模拟调试器，所述交互信息收发器与用户输入器、状态反馈器、程序载入器、模拟调试器连接；所述人机交互界面，获取用户操作指令并发送至所述交互信息收发器，并从所述交互信息收发器获取系统当前执行状态和识别结果向用户展示；所述用户输入器，捕获用户输入的动静态分析指令、程序载入指令、开始识别指令，并通过操作指令发送器发送至所述点云识别模块；所述状态反馈器，实时接收识别结果和系统执行状态，并显示至人机交互界面；所述程序载入器，在用户操作下，将既定程序识别参数载入所述识别控制系统；所述模拟调试器，通过对载入的程序进行调试，采用所述识别控制系统点云模型特征数据库内的特征点云作为数据流参数，并将调试结果显示至人机交互界面。5.根据权利要求1所述的基于RGB
‑
D视觉的在线果蔬识别系统，其特征在于，所述在线载物平台包括恒稳传输带装置，所述恒稳传输带装置由所述识别控制系统控制。6.根据权利要求1所述的基于RGB
‑
D视觉的在线果蔬识别系统，其特征在于，还包括移动终端，所述移动终端与所述识别控制系统通过WI
‑
FI路由器通讯连接。7.一种基于RGB
‑
D视觉的在线果蔬识别方法，其特征在于，包括以下步骤：S1，开启识别控制系统, 并载入程序进行模拟调试；所示识别控制系统模拟调试通过后，开启在线载物平台和实感深度相机；S2，当所述在线载物平台上的待检测...

【专利技术属性】
技术研发人员：刘利，马泰安，邱志东，刘伟，史颖刚，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：