一种提高化学合成机器人抓取精度的方法技术

本发明专利技术采用将改进的YOLOv5和CRNN网络结合实现化学药品的定位和分类任务。本视觉检测算法可以在极短的时间内完成相机所拍摄到图片内的化学药品位置和种类识，加快了化学合成机器人进行化学实验的速度。并缓解了目前移动化学合成机器人采用检测特征块进行模板匹配方法对化学药品与特征块之间有严格的相对位置关系要求。本发明专利技术提高了化学药品检测的速度，缓解了目标检测方法上的局限性，增强化学实验灵活性，有利于化学研究向复杂化和高维化方向的发展。方向的发展。方向的发展。

【技术实现步骤摘要】
一种提高化学合成机器人抓取精度的方法


[0001]本专利技术涉及一种，具体涉及一种提高化学合成机器人抓取精度的方法。

技术介绍

[0002]随着化学研究不断向复杂化和高维化方向发展，以传统的人工手段进行化学研究的试错和变量降维等降低复杂度的研究方法的局限性和低效问题不断放大。所以将人工智能机器人应用在化学研究中是十分必要的。其中对不同化学药品进行精准的定位与识别是十分重要的。在小型自动化化学合成机器人平台中，由于实验步骤少，实验所涉及的化学药品种类少，所以机器人与化学药品之间采用相对固定的位置关系。从而实现机器人对固定位置化学药品进行制备实验。随着化学研究的不断深入，实验涉及的步骤和实验药品数量不断增加，小型自动化学合成机器人不能满足化学实验的需求。新一代的移动化学合成机器人平台随之出现，由于机器人在实验过程中位置并不固定，所以为了完成对化学药品精准抓取需要机器视觉技术的加入。
[0003]目前移动机器人化学合成平台基本采用模板匹配的方式进行化学试剂瓶进行定位。如利物浦大学Cooper团队的化学合成移动机器人采用SIFT(Scale
‑
Invariant Feature Transform)算法通过定位特征块的位置信息，并通过计算特征块与试剂瓶之间的特定的相对空间位置关系，获得试剂瓶的位置信息。中科大的江俊团队的全方位机器人化学家采用不同的ArUco标签构成字典，通过扫描ArUco标签，获取标签相对于机器人的位置信息，然后通过计算标签与试剂瓶之间的特定相对空间位置信息，完成在不同工作平台上试剂瓶的定位。
[0004]目前传统的移动化学合成机器人采用的都是模板匹配的识别方法对试剂瓶进行定位，其还有以下缺点：
[0005]1.传统视觉检测方法在使用中对环境的光照情况要求严格，在光线过暗或过强时容易出现定位失败的情况；
[0006]2.对特征块的清洁度要求高，特征块受到环境因素的影响，如灰尘和水渍等因素，会导致特征块定位失败；
[0007]3.由于试剂瓶的位置信息通过计算试剂瓶和特征块之间特定的空就按位置关系获得，当实验出现较大改动和试剂瓶摆放位置出现变动时，会导致定位失败；
[0008]4.传统的视觉检测方法需要耗费较大的计算资源和时间，处理速度较慢。
[0009]为了解决上述问题，申请人提出一种提高化学合成机器人抓取精度的方法。

技术实现思路

[0010]本专利技术的目的在于提供一种提高化学合成机器人抓取精度的方法，以解决现有技术中的问题。
[0011]为实现上述目的，本专利技术提供了以下技术方案：一种提高化学合成机器人抓取精度的方法，包括以下步骤：
[0012]S1：收到化学药品制备任务，开启深度相机，获取在实验台上化学药品的二维平面图片和对应的深度图片；
[0013]S2：将二维平面图送入TA
‑
YOLOv5网络，检测出化学药品标签的位置；
[0014]S3：通过深度相机，计算出标签位置的空间三维坐标信息；
[0015]S4：通过TA
‑
YOLOv5检测的标签图片截取传入CRNN网络中进行字符识别；
[0016]S5：将以上获取的标签位置和标签信息传入上位机；
[0017]S6：上位机通过发送指令给机器人完成准确抓取任务，实验仪器完成化学药品的制备。
[0018]可选的，所述步骤S2将二维平面图送入TA
‑
YOLOv5网络后将带有标签的化学药品图片并进行标注，制作数据集，将所述数据集进行Mosaic和Mix
‑
Up数据增强，丰富数据集中图片的数量和背景。
[0019]可选的，所述步骤S2的TA
‑
YOLOv5网络还需要选取使用场景的锚框大小，使用K
‑
means聚类遗传算法的形式将自制数据集锚框大小进行重新聚类，获得适合本数据集的锚框大小，提高模型训练速度和预测速度，并提高模型的泛化能力。
[0020]有益效果：本专利技术采用将改进的YOLOv5和CRNN网络结合实现化学药品的定位和分类任务。本视觉检测算法可以在极短的时间内完成相机所拍摄到图片内的化学药品位置和种类识，加快了化学合成机器人进行化学实验的速度。并缓解了目前移动化学合成机器人采用检测特征块进行模板匹配方法对化学药品与特征块之间有严格的相对位置关系要求。本专利技术提高了化学药品检测的速度，缓解了目标检测方法上的局限性，增强化学实验灵活性，有利于化学研究向复杂化和高维化方向的发展。
附图说明
[0021]图1是本专利技术实施例流程示意图；
[0022]图2是本专利技术实施例整体算法流程示意图；
[0023]图3是本专利技术实施例TA
‑
YOLOv5网络流程示意图；
[0024]图4是本专利技术实施例TA
‑
YOLOv5网络与YOLOv5数据对比图表图；
[0025]图5是本专利技术实施例CRNN网络算法在III T 5k数据集正确率结果图。
具体实施方式
[0026]以下参考说明书附图介绍本专利技术的优选实施方式，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施方式来得以体现，本专利技术的保护范围并非仅限于文中提到的实施方式。
[0027]在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本专利技术并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0028]实施例1
[0029]一种提高化学合成机器人抓取精度的方法，其目的为使用深度学习目标检测技术完成化学药品的定位与识别，并将位置与类别信息传入机器人上位机，再控制机器人完成化学药品的准确抓取，完成化学药品的制备任务。在使用克服目前化学合成机器人在检测
化学药品位置和类别时存在的缺陷，本专利技术提出一种改进的YOLOv5和CRNN相结合的化学药品位置和类别检测算法，能够提高化学药品在密集和有遮挡场景下的检测精度，降低目前化学合成机器人在定位识别目标方法上的局限性，并增加化学合成机器人在实验过程中的灵活性。并将改进的YOLOv5命名为TA
‑
YOLOv5，本专利技术的具体步骤如图1所示：
[0030]第一步，收到化学药品制备任务后，开启深度相机，获取在实验台上化学药品的二维平面图片和对应的深度图片。
[0031]第二步，将二维平面图送入TA
‑
YOLOv5网络，检测出化学药品标签的位置。
[0032]第三步，通过深度相机，计算出标签位置的空间三维坐标信息。
[0033]第四步，将经过TA
‑
YOLOv5检测的标签图片截取传入CRNN网络中进行字符识别，识别内容包含字母，数字，中文，化学标识符等。
[0034]第五步，将以上获取的标签位置和标签信息传入上位机。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高化学合成机器人抓取精度的方法，其特征在于，包括以下步骤：S1：收到化学药品制备任务，开启深度相机，获取在实验台上化学药品的二维平面图片和对应的深度图片；S2：将二维平面图送入TA
‑
YOLOv5网络，检测出化学药品标签的位置；S3：通过深度相机，计算出标签位置的空间三维坐标信息；S4：通过TA
‑
YOLOv5检测的标签图片截取传入CRNN网络中进行字符识别；S5：将以上获取的标签位置和标签信息传入上位机；S6：上位机通过发送指令给机器人完成准确抓取任务，实验仪器完成化学药品的制备。2.根据权利要求1所述的一种提高化学合成机器人抓取精度的方法...

【专利技术属性】
技术研发人员：刘佳胜，张建华，张涵，何川宁，施越，李浩源，辛涵申，
申请(专利权)人：上海大学，
类型：发明
国别省市：