一种基于视觉识别实现机械臂精准挑拣的方法及系统技术方案

本发明专利技术提供一种基于视觉识别实现机械臂精准挑拣的方法及系统，其中，方法包括：步骤S1：设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；步骤S2：基于坐标转换矩阵，将像素坐标转换成空间坐标；步骤S3：基于空间坐标，规划机械臂的第一控制策略；步骤S4：基于第一控制策略，控制机械臂对挑拣目标进行挑拣。本发明专利技术的基于视觉识别实现机械臂精准挑拣的方法及系统，利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。问题。问题。

【技术实现步骤摘要】
一种基于视觉识别实现机械臂精准挑拣的方法及系统


[0001]本专利技术涉及视觉识别
，特别涉及一种基于视觉识别实现机械臂精准挑拣的方法及系统。

技术介绍

[0002]目前，货品仓库中对货品进行挑拣(例如：依据货品尺寸进行挑拣分类)时，大多雇佣大量人工进行挑拣，人力成本较大，同时，由于该类工作的单调性，人工进行挑拣容易出错；
[0003]因此，亟需一种解决办法。

技术实现思路

[0004]本专利技术目的之一在于提供了一种基于视觉识别实现机械臂精准挑拣的方法及系统，利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。
[0005]本专利技术实施例提供的一种基于视觉识别实现机械臂精准挑拣的方法，包括：
[0006]步骤S1：设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；
[0007]步骤S2：基于坐标转换矩阵，将像素坐标转换成空间坐标；
[0008]步骤S3：基于空间坐标，规划机械臂的第一控制策略；
[0009]步骤S4：基于第一控制策略，控制机械臂对挑拣目标进行挑拣。
[0010]优选的，步骤S1中，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标，包括：
[0011]对区域图像进行预处理；
[0012]基于图像识别技术，识别预处理结果中对应于挑拣目标的像素坐标；
[0013]其中，对区域图像进行预处理，包括：
[0014]对区域图像分别进行掩模处理、二值化处理和降噪处理。
[0015]优选的，步骤S3：基于空间坐标，规划机械臂的第一控制策略，包括：
[0016]获取预设的空间坐标系，将空间坐标输入至空间坐标系中，各空间坐标在空间坐标系中组合形成对应于挑拣目标的三维模型；
[0017]获取预设的抓取识别模型，将三维模型输入抓取识别模型，获得机械臂末端的机械爪抓取挑拣目标的第一抓取方向和多个抓取点坐标；
[0018]获取机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；
[0019]获取预设的第一控制策略规划模型，将第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入第一控制策略规划模型，获得机械臂的第一控制策略，完成规划；
[0020]其中，第一控制策略包括：机械臂中多个关节对应的在至少一个关节移动方向上
的移动时机和移动距离以及机械爪的张开时机、收紧时机、旋转时机和对应于旋转时机的旋转角度。
[0021]优选的，基于视觉识别实现机械臂精准挑拣的方法，还包括：
[0022]当机械爪抓取完挑拣目标后，定时获取机械爪抓取挑拣目标的抓取状态信息；
[0023]对抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；
[0024]获取第一信息项的产生时间点，建立第一时间轴，基于产生时间点，将第一信息项对应设置于第一时间轴上，并将第一时间轴与对应第一类型进行关联；
[0025]对第一信息项进行特征分析并提取，获得至少一个第一特征；
[0026]获取预设的可疑特征库，将第一特征与可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应第一信息项在第一时间轴上的第一位置；
[0027]获取第二特征对应的至少一个跟踪信息，跟踪信息包括：进行跟踪的第二类型和对应触发特征库；
[0028]确定第二类型关联的第一时间轴，并作为第二时间轴；
[0029]确定第二时间轴上对应于第一位置的第二位置；
[0030]选取第二时间轴上第二位置之后的第一信息项，并作为第二信息项；
[0031]对第二信息项进行特征分析并提取，获得至少一个第三特征；
[0032]将第三特征与第二类型对应的触发特征库中的触发特征进行特征匹配，若匹配符合，确定挑拣目标发生掉落，并输出掉落时刻，触发机械爪对挑拣目标进行二次抓取；
[0033]获取机械爪的对应于掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取挑拣目标的质量；
[0034]获取当前时刻，计算掉落时刻和当前时刻之间的第一时间差；
[0035]获取第二当前位置坐标与地面之间的垂直距离；
[0036]获取预设的时间差扩大模型，将第一时间差和垂直距离输入时间差扩大模型，获得第二时间差；
[0037]获取预设的掉落位置预测模型，将第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；
[0038]获取机械爪的第三当前位置坐标，将掉落路线作为需规避路线，将爪心对准方向的相反方向作为第二抓取方向；
[0039]获取预设的第二控制策略规划模型，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入第二第一控制策略规划模型，获得第二控制策略；
[0040]基于第二控制策略，控制机械爪前往第一预测掉落位置等待二次抓取挑拣目标；
[0041]当机械爪抵达后，控制机械爪张开至预设的最大张开幅度；
[0042]动态获取挑拣目标的当前掉落位置的掉落位置坐标；
[0043]每获取一次掉落位置坐标时，将掉落位置坐标补充输入掉落位置预测模型，获得第二预测掉落位置坐标；
[0044]获取预设的第三控制策略规划模型，将第一预测掉落位置坐标和第二预测掉落位
置坐标输入第三控制策略规划模型，获得第三控制策略；
[0045]基于第三控制策略，控制机械爪前往第二预测掉落位置等待二次抓取挑拣目标；
[0046]计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离；
[0047]若距离小于等于预设的距离阈值，停止获取掉落位置坐标；
[0048]实时检测挑拣目标是否落入机械爪中，若是，控制机械爪进行收紧，二次抓取成功；
[0049]获取二次抓取成功时机械爪的第四当前位置坐标；
[0050]将第四当前位置坐标补充输入第一控制策略规划模型，获得第四控制策略；
[0051]基于第四控制策略，控制机械爪将挑拣目标送至挑拣放置位置。
[0052]优选的，基于视觉识别实现机械臂精准挑拣的方法，还包括：
[0053]获取机械臂对应的使用大数据；
[0054]对使用大数据进行数据分析并拆分，获得多个第一数据项；
[0055]获取第一数据项对应的来源类型，来源类型包括：共享和爬取；
[0056]当第一数据项对应的来源类型为共享时，获取第一数据项对应的共享方和对应共享场景；
[0057]获取共享方的信用值，同时，获取共享场景的可信度；
[0058]若信用值小于等于预设的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，包括：步骤S1：设定挑拣区域和挑拣目标，将对应于所述挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标；步骤S2：基于坐标转换矩阵，将所述像素坐标转换成空间坐标；步骤S3：基于所述空间坐标，规划机械臂的第一控制策略；步骤S4：基于所述第一控制策略，控制所述机械臂对所述挑拣目标进行挑拣。2.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，所述步骤S1中，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标，包括：对区域图像进行预处理；基于图像识别技术，识别预处理结果中对应于所述挑拣目标的像素坐标；其中，对区域图像进行预处理，包括：对所述区域图像分别进行掩模处理、二值化处理和降噪处理。3.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，步骤S3：基于所述空间坐标，规划机械臂的第一控制策略，包括：获取预设的空间坐标系，将所述空间坐标输入至所述空间坐标系中，各所述空间坐标在所述空间坐标系中组合形成对应于所述挑拣目标的三维模型；获取预设的抓取识别模型，将所述三维模型输入所述抓取识别模型，获得所述机械臂末端的机械爪抓取所述挑拣目标的第一抓取方向和多个抓取点坐标；获取所述机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；获取预设的第一控制策略规划模型，将所述第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入所述第一控制策略规划模型，获得所述机械臂的第一控制策略，完成规划；其中，所述第一控制策略包括：所述机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及所述机械爪的张开时机、收紧时机、旋转时机和对应于所述旋转时机的旋转角度。4.如权利要求3所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，还包括：当所述机械爪抓取完所述挑拣目标后，定时获取所述机械爪抓取所述挑拣目标的抓取状态信息；对所述抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；获取所述第一信息项的产生时间点，建立第一时间轴，基于所述产生时间点，将所述第一信息项对应设置于所述第一时间轴上，并将所述第一时间轴与对应所述第一类型进行关联；对所述第一信息项进行特征分析并提取，获得至少一个第一特征；获取预设的可疑特征库，将所述第一特征与所述可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应所述第一信息
项在所述第一时间轴上的第一位置；获取所述第二特征对应的至少一个跟踪信息，所述跟踪信息包括：进行跟踪的第二类型和对应触发特征库；确定所述第二类型关联的所述第一时间轴，并作为第二时间轴；确定所述第二时间轴上对应于所述第一位置的第二位置；选取所述第二时间轴上所述第二位置之后的所述第一信息项，并作为第二信息项；对所述第二信息项进行特征分析并提取，获得至少一个第三特征；将所述第三特征与所述第二类型对应的所述触发特征库中的触发特征进行特征匹配，若匹配符合，确定所述挑拣目标发生掉落，并输出掉落时刻，触发所述机械爪对所述挑拣目标进行二次抓取；获取所述机械爪的对应于所述掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取所述挑拣目标的质量；获取当前时刻，计算所述掉落时刻和所述当前时刻之间的第一时间差；获取所述第二当前位置坐标与地面之间的垂直距离；获取预设的时间差扩大模型，将所述第一时间差和所述垂直距离输入所述时间差扩大模型，获得第二时间差；获取预设的掉落位置预测模型，将所述第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入所述掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；获取所述机械爪的第三当前位置坐标，将所述掉落路线作为需规避路线，将所述爪心对准方向的相反方向作为第二抓取方向；获取预设的第二控制策略规划模型，将所述第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入所述第二第一控制策略规划模型，获得第二控制策略；基于所述第二控制策略，控制所述机械爪前往所述第一预测掉落位置等待二次抓取所述挑拣目标；当所述机械爪抵达后，控制所述机械爪张开至预设的最大张开幅度；动态获取所述挑拣目标的当前掉落位置的掉落位置坐标；每获取一次所述掉落位置坐标时，所述将所述掉落位置坐标补充输入所述掉落位置预测模型，获得第二预测掉落位置坐标；获取预设的第三控制策略规划模型，将所述第一预测掉落位置坐标和所述第二预测掉落位置坐标输入所述第三控制策略规划模型，获得第三控制策略；基于所述第三控制策略，控制所述机械爪前往所述第二预测掉落位置等待二次抓取所述挑拣目标；计算所述掉落位置坐标和最新的所述第二预测掉落位置坐标之间的距离；若所述距离小于等于预设的距离阈值，停止获取所述掉落位置坐标；实时检测所述挑拣目标是否落入所述机械爪中，若是，控制所述机械爪进行收紧，二次抓取成功；获取二次抓取成功时所述机械爪的第四当前位置坐标；将所述第四当前位置坐标补充输入所述第一控制策略规划模型，获得第四控制策略；
基于所述第四控制策略，控制所述机械爪将所述挑拣目标送至所述挑拣放置位置。5.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，还包括：获取所述机械臂对应的使用大数据；对所述使用大数据进行数据分析并拆分，获得多个第一数据项；获取所述第一数据项对应的来源类型，所述来源类型包括：共享和爬取；当所述第一数据项对应的来源类型为共享时，获取所述第一数据项对应的共享方和对应共享场景；获取所述共享方的信用值，同时，获取所述共享场景的可信度；若所述信用值小于等于预设的第一阈值和/或所述可信度小于等于预设的第二阈值，剔除对应所述第一数据项；当所述第一数据项对应的来源类型为爬取时，获取爬取所述第一数据项的爬取过程；获取预设的风险分析模型，将所述爬取过程输入所述风险分析模型，获得风险值；若所述风险值大于等于预设的第三阈值，剔除对应所述第一数据项；当所述第一数据项中需要剔除的所述第一数据项均剔除后，将剩余所述第一数据项作为第二数据项；获取所述机械臂对应的多个第一属性项，同时，获取所述第二数据项对应的多个第二属性项；对所述第一属性项进行特征分析并提取，获得至少一个第四特征；对所述第二属性项进行特征分析并提取，获得至少一个第五特征；将所述第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；基于预设的特征
‑
价值度库，确定所述第六特征对应的价值度，并与对应所述第二数据项进行关联；汇总所述第二数据项关联的所述价值度，获得价值度和；若所述价值度和大于等于预设的第四阈值，将对应所述第二数据项作为第三数据项；获取预设的异常分析模型，将所述第三数据项全部输入所述异常分析模型，获得至少一个异常类型和对应可能值；定时对所述机械臂按照所述可能值从大至小依次执行相应所述异常类型的异常检测...

【专利技术属性】
技术研发人员：蔡慧，白雪飞，秦生升，孙丽丽，
申请(专利权)人：盐城工学院，
类型：发明
国别省市：