一种咽拭子采样机器人定位系统技术方案

本发明专利技术公开一种咽拭子采样机器人定位系统，第一深度相机、第二深度相机、粗定位模块、目标区域检测模块及控制模块；粗定位模块利用第一深度相机获取到RGB图像和第一深度图像，通过机器学习算法在RGB图像上识别出口腔特征点，并结合第一深度图像得到粗定位信息；通过目标区域检测模块根据粗定位后的机械臂获取第二深度图像，利用第二深度图像进行目标区域识别，并生成目标定位信息；通过控制模块对粗定位信息进行运动学逆向解算，得到第一控制数据，并对目标定位信息进行运动学逆向解算，得到第二控制数据，其中第一控制数据用于控制机械臂移动到粗定位信息对应位置，第二控制数据用于控制机械臂进行咽拭子采集区域定位及采样。样。样。

【技术实现步骤摘要】
一种咽拭子采样机器人定位系统


[0001]本专利技术涉及机器识别定位
，特别涉及一种咽拭子采样机器人定位系统。

技术介绍

[0002]新冠病毒的快速准确检测对于控制感染源和帮助患者预防疾病至关重要。基于核酸检测的方法已成为一种快速可靠的病毒检测技术，其中口咽拭子是最常见的采集样本。在医护人员和待检测人群接触过程中，空气中传播的飞沫、气溶胶增加了医护人员的感染风险。采用机器人替代核酸检测咽拭子采样医护人员，对于医护人员的保护、降低交叉感染的风险有着重要意义。此外不同医务人员在技术能力上导致核酸检测采样质量参差不齐，因长时间劳动也会导致疲劳而降低采样质量。而采集样本的质量、采集时间(感染的早期阶段或感染期间太晚)、病毒载量低于化验检测限、样本处理不正确或运输问题等因素都是影响核酸检测效果的重要因素。
[0003]目前已经存在的咽拭子采样机器人所做的定位工作，多是通过下巴托或者咬合器等工具对口腔进行固定。机器人和口腔位置都固定后，从而可以机械地完成咽拭子采样工作。这些工作简单易行，但是存在明显的缺陷，咬合器和下巴托都需要与人体接触，增加了交叉感染的风险。如果采用一次性工具则会提高采样成本，并且切换过程复杂，降低了采样效率。并且不同群体身高不同，将咬合器放置在固定位置多有不妥。在处理咽拭子PCR目标区域识别上，很难获取到足够多的样本来训练深度神经网络。传统的分割算法则需要进行迭代且多用于前景与背景的分割，对于PCR目标区域识别问题，在时效性和分割效果上，不能给出很好的解决方案。不同人的身高等特征会导致口腔位置不一，因此我们不能固定机械臂的运动路径及其变化姿态，需要在根据目标区域动态求解机械臂的姿态。现有技术存在上述问题。所以亟需一种能够智能化减少接触且能够有效准确进行咽拭子采样机器人定位系统。

技术实现思路

[0004]为解决上述现有技术中所存在的问题，本专利技术提供一种咽拭子采样机器人定位系统，能够智能化减少接触且能够有效准确进行咽拭子采样机器人定位系统。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种咽拭子采样机器人定位系统，包括：
[0007]第一深度相机、第二深度相机、粗定位模块、目标区域检测模块及控制模块；
[0008]通过粗定位模块获取第一深度相机采集的RGB图像和第一深度图像，通过机器学习算法在RGB图像上识别出口腔特征点，并结合第一深度图像得到粗定位信息；
[0009]通过所述目标区域检测模块根据粗定位后的机械臂获取第二深度图像，对第二深度图像进行PCR目标区域识别，生成目标定位信息；
[0010]通过控制模块采用D
‑
H参数法对粗定位信息进行运动学逆向解算，得到第一控制数据，并采用D
‑
H参数法对目标定位信息进行运动学逆向解算，得到第二控制数据，其中第
一控制数据用于控制机械臂移动到粗定位信息对应位置，所述第二控制数据用于控制机械臂进行咽拭子采集区域定位及采样。
[0011]可选的，还包括第一深度相机，其中所述第一深度相机设置于咽拭子采样机器人的胸腔，所述第一深度相机用于采集第一深度图像和RGB图像，并将所述第一深度图像和RGB图像传输给所述粗定位模块。
[0012]可选的，还包括第二深度相机，其中所述第二深度相机设置于咽拭子采样机器人的机械臂末端，所述第二深度相机用于采集第二深度图像，并将所述第二深度图像传输给所述目标区域检测模块。
[0013]可选的，在所述粗定位模块中，粗定位信息获取的过程包括：
[0014]通过机器学习算法对所述RGB图像进行人脸关键点检测，得到关键位置特征点，并对关键位置特征点进行筛选，得到口腔特征点，基于第一深度图形中口腔特征点的深度信息，通过SVD分解对嘴唇特征点进行向量解算，得到粗定位特征向量，并根据嘴唇特征点进行计算得到粗定位位置，所述粗定位特征向量及粗定位位置构成所述粗定位信息。
[0015]可选的，所述机器学习算法采用face landmark算法。
[0016]可选的，在所述目标区域检测模块中，对第二深度图像进行PCR目标区域识别的过程包括：
[0017]通过机器学习算法对所述第二深度图像进行特征识别及筛选，得到所述嘴唇特征点，基于所述嘴唇特征点构建嘴唇形状信息，计算嘴唇形状信息中的深度点信息，对深度点信息进行统计计算，得到所述最深深度点信息，基于最深深度点信息，得到PCR目标区域的目标定位信息。
[0018]可选的，在所述控制模块中，进行运动学逆向解算的过程包括：
[0019]获取机械臂、第一深度相机及第二深度相机的坐标系，其中所述机械臂的坐标系包括地杆坐标系及中间坐标系；
[0020]基于第二深度相机的坐标系及中间坐标系，构造第一变换矩阵；基于第一深度相机的坐标系及地杆坐标系，构造第二变换矩阵；基于所述中间坐标系，构造第三变换矩阵；基于第一变换矩阵、第二变换矩阵及第三变换矩阵构造总变换矩阵，通过总变换矩阵对所述粗定位信息及目标定位信息进行运动学逆向解算，得到机械臂的调整参数即第一控制数据和第二控制数据。
[0021]可选的，所述第三变换矩阵为：
[0022][0023]其中，c为cos函数，s为sin函数，其θ
i
,α
i
,a
i
‑1为引用D
‑
H参数法描述六度机械臂几何关系时所引入的参数，具体的θ
i
为旋转到第i个X轴的角度,α
i
‑1为旋转到第i
‑
1个Z轴的角度,a
i
‑1为第i
‑
1个坐标系对应的抽象连杆长度，i为坐标系个数，其中左上3
×
3矩阵描述旋转参数，第四列前三维描述平移向量。
[0024]本专利技术具有如下技术效果：
[0025]本专利技术将咽拭子采样机器人定位系统分成三个模块，是一个轻量易实现的系统。
其中口腔粗定位模块，通过特定算法识别出口腔，将机械臂抬升到口腔附近，避免了使用下巴托、咬合器等辅助定位工具带来的交叉感染风险，并且可以自适应不同群体，提高了用户体验。PCR目标区域检测模块使用深度相机获取到的深度信息，进行图像分割，求解速度快。同时避免了使用RGB图像进行分割时，为了获得清晰的图像需要对口腔进行补光的操作。机械臂控制模块，通过D
‑
H参数法描述机械臂几何关系，将深度相机获取到的目标点坐标，转化为机械臂上的几何参数，是完成上述两个模块所必须的基础。同时在其中通过增加额外的几何约束，确保机械臂末端的深度相机可以正对口腔，从而获取良好的成像效果。实验表明，口腔粗定位模块所用的算法，速度快并且具有良好的识别效果。同时在口腔暗的情况下，PCR目标区域识别算法依然很稳健。D
‑
H参数法描述的机械臂控制模块，具有很高的精度，并且表现良好。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种咽拭子采样机器人定位系统，其特征在于，包括：第一深度相机、第二深度相机、粗定位模块、目标区域检测模块及控制模块；通过粗定位模块获取第一深度相机采集的RGB图像和第一深度图像，通过机器学习算法在RGB图像上识别出口腔特征点，并结合第一深度图像得到粗定位信息；通过所述目标区域检测模块根据粗定位后的机械臂获取第二深度图像，对第二深度图像进行PCR目标区域识别，生成目标定位信息；通过控制模块采用D
‑
H参数法对粗定位信息进行运动学逆向解算，得到第一控制数据，并采用D
‑
H参数法对目标定位信息进行运动学逆向解算，得到第二控制数据，其中第一控制数据用于控制机械臂移动到粗定位信息对应位置，所述第二控制数据用于控制机械臂进行咽拭子采集区域定位及采样。2.根据权利要求1所述的定位系统，其特征在于：还包括第一深度相机，其中所述第一深度相机设置于咽拭子采样机器人的胸腔，所述第一深度相机用于采集第一深度图像和RGB图像，并将所述第一深度图像和RGB图像传输给所述粗定位模块。3.根据权利要求1所述的定位系统，其特征在于：还包括第二深度相机，其中所述第二深度相机设置于咽拭子采样机器人的机械臂末端，所述第二深度相机用于采集第二深度图像，并将所述第二深度图像传输给所述目标区域检测模块。4.根据权利要求1所述的定位系统，其特征在于：在所述粗定位模块中，粗定位信息获取的过程包括：通过机器学习算法对所述RGB图像进行人脸关键点检测，得到关键位置特征点，并对关键位置特征点进行筛选，得到口腔特征点，基于第一深度图形中口腔特征点的深度信息，通过SVD分解对嘴唇特征点进行向量解算，得到粗定位特征向量，并根据嘴唇特征点进行计算得到粗定位位置，所述粗定位特征向量及粗定...

【专利技术属性】
技术研发人员：蔡珣，陈林，吴兴贵，田澳冉，郭雅琴，高艳博，李帅，朱波，
申请(专利权)人：山东大学威海工业技术研究院，
类型：发明
国别省市：