一种核酸检测口腔采集点识别方法技术

本发明专利技术公开了一种核酸检测口腔采集点识别方法，包括：S 1，通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵；S2，通过机器学习获取口腔采集点模型；S3，检测者下巴支撑在托架装置上并张开口腔，通过相机采集检测者口腔彩色图像与深度图像；S4，获取相机图像中口腔采集点基于相机坐标系的像素坐标；S5，计算口腔采集点基于机械臂基坐标系的坐标数据；S6，通过机械臂驱动拭子到口腔采集点位置进行核酸采样。通过本发明专利技术的方法可实现实时定位检测者口腔内采集点坐标，进而实现机械臂实时准确定位并移动至口腔内采集点精准位置进行核酸采样。集点精准位置进行核酸采样。集点精准位置进行核酸采样。

【技术实现步骤摘要】
一种核酸检测口腔采集点识别方法


[0001]本专利技术具体涉及医疗用品
，具体涉及一种核酸检测口腔采集点识别方法。

技术介绍

[0002]目前确诊新型冠状病毒感染最主要的检测手段是核酸检测，通过直接对采集标本中的病毒核酸进行检测，具有特异性强和敏感度相对较高的优点。核酸检测采样目前采用的主要方式是口腔咽拭子采样检测。而在核酸检测咽拭子采样操作过程中，医护人员需要与患者近距离接触，患者咳嗽、用力呼吸等都会产生大量飞沫或气溶胶，会极大增加医护人员在采样过程中交叉感染风险，有待进一步的改善。
[0003]与传统人工采样相比，核酸采样机器人具有工作持久、医护人员感染风险低、全自动化等优势，核酸采样机器人的广泛应用，不仅可解决医护人员紧缺问题，还能有效降低病毒的传播风险，核酸采样机器人市场发展空间广阔。
[0004]但是现有的核酸采样机器人受到检测深度与角度的限制，只允许与检测者检测时口腔张开方向与角度和固定检测位置一致的时候进行检测，无法做到不同的检测者都能够精准定位到口腔扁桃体准确的检测位置。其次，这些基于固定位置进行核酸采集的方法，无法处理检测过程中的复杂环境，检测的成功率较低，无法保证核酸检测的准确性与安全性。
[0005]中国专利CN114869343A中公开了一种核酸采样机器人装置，其导向定位的方法比较固定，核酸检测过程中检测拭子深入口腔的距离是固定的，并不能根据不同检测者的口腔位置进行精准的识别定位，导航定位过程中无图像实时显示，具体定位是否准确及拭子是否到位、是否检测到扁桃体，只能根据检测者自己的感觉进行判定。

技术实现思路

[0006]本专利技术的目的是针对现有技术中的不足，提供一种核酸检测口腔采集点识别方法，该方法根据九点标注法，将相机与机械臂进行配准标定，根据口腔平面影像数据以及机器学习出的模型进行口腔采集点的识别，将识别出的平面坐标在相机深度影像数据中找到对应的深度数据和坐标，在根据相机与机械臂的标定结果进行转换，得到口腔采集点在机械臂基座标系下对应的坐标，即可实现实时定位检测者口腔内采集点坐标，进而实现机械臂实时准确定位并移动至口腔内采集点精准位置。
[0007]为达到上述目的，本专利技术采用的技术方案是：
[0008]一种核酸检测口腔采集点识别方法，核酸检测时通过机械臂驱动拭子移动进行取样，包括如下步骤：
[0009]S1，通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵；
[0010]S2，通过机器学习获取口腔采集点模型；
[0011]S3，检测者下巴支撑在托架装置上并张开口腔，通过相机采集检测者口腔彩色图
像与深度图像；
[0012]S4，基于S2和S3获取相机图像中口腔采集点基于相机坐标系的像素坐标；
[0013]S5，基于S1和S4计算口腔采集点基于机械臂基坐标系的坐标数据；
[0014]S6，通过机械臂驱动拭子到口腔采集点位置进行核酸采样。
[0015]优选地，步骤S1包括：
[0016](1)机械臂末端法兰盘位置安装工件，标定工件中心点在机械臂基坐标系的位置，用工件戳标定板上固定位置的九个点，获取每个点对应位置处基于机械臂基坐标系下的坐标数据Pboard(0～8)；
[0017](2)将相机安装到机械臂末端法兰盘位置，通过机械臂移动相机到垂直所述标定板一设定距离位置处，使相机平移到所述标定板的九个位置处，分别在每个位置处进行拍照，记录每个位置处机械臂法兰盘在机械臂基坐标系的坐标数据Probot(0～8)；
[0018](3)保存相机在九个位置处分别拍摄的所述标定板的彩色图像与深度图像；
[0019](4)根据Probot(0～8)及机械臂标定方法计算对应的法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange
‑
base；
[0020](5)根据相机拍摄的彩色图像与深度图像计算所述标定板上九个点基于相机坐标系的像素坐标Prealsense(0～8)；
[0021](6)根据公式Pboard＝Tflang
‑
ebase*Tcam er
‑
aflang*ePrealsen计算相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera
‑
flange；
[0022](7)根据法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange
‑
base以及相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera
‑
flange，计算相机坐标系与机械臂基坐标系之间的转换矩阵Tcamera
‑
base。
[0023]进一步地，所述标定板采用棋盘格标定板，相机进行拍照的九个位置分别为所述棋盘格标定板的四个角处、四边的中点以及中心位置。
[0024]进一步地，通过相机对所述标定板的九个位置进行拍照时，相机距所述标定板之间的垂直距离为270～290mm。
[0025]进一步地，所述拭子通过夹头组件夹取，所述夹头组件设置在所述机械臂的末端法兰盘上，所述相机设置在所述夹头组件上，步骤(1)进行时，通过所述夹头组件夹取所述工件。
[0026]优选地，步骤S2包括：
[0027](1)获取用于机器学习的原始图像数据，各所述原始图像数据中均至少包括口腔位置，且口腔处于张开状态；
[0028](2)对原始图像数据中的口腔范围特征点及舌根特征点进行手动标注；
[0029](3)进行模型训练；
[0030](4)根据测试模型给出预测结果。
[0031]进一步地，步骤(2)主要包括：
[0032]a.在进行手动标注之前，和医生讨论并确定舌根在口腔中的位置；
[0033]b.读取原始图像数据；
[0034]c.在原始图像数据中标注口腔范围特征点及舌根特征点；
[0035]d.对手动标注的特征点进行核查，当手动标注的特点的存在错误时，将手动标注
的特征点清洗后重新进行手动标注。
[0036]进一步地，步骤(3)包括：
[0037]a.选择训练的模型，搭建训练环境；
[0038]b.读取手动标注后的图像数据及原始图像数据到训练模型中进行模型推理；
[0039]c.提取口腔范围内部舌根位置的特征参数；
[0040]d.更新并保存模型参数。
[0041]更进一步地，进行模型推理时，对手动标注的图像数据中，以口腔范围为参照，对标注的口腔范围区域外的图像数据进行清洗，保留口腔范围区域内的图像数据，作为目标的理想框，并在原始图像数据中设定一推理框，计算推理框与理想框之间的损失，通过算法迭代修改模型权重，直至理想框与推理框两个框之间的交集除以并集的值为0.9～1。
[0042]优选地，步骤S3中，所述托架装置包括托架，所述托架的上端部设置有用于支撑检测者下巴的支撑部，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种核酸检测口腔采集点识别方法，核酸检测时通过机械臂驱动拭子移动进行取样，其特征在于：包括如下步骤：S1，通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵；S2，通过机器学习获取口腔采集点模型；S3，检测者下巴支撑在托架装置上并张开口腔，通过相机采集检测者口腔彩色图像与深度图像；S4，基于S2和S3获取相机图像中口腔采集点基于相机坐标系的像素坐标；S5，基于S1和S4计算口腔采集点基于机械臂基坐标系的坐标数据；S6，通过机械臂驱动拭子到口腔采集点位置进行核酸采样。2.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征在于：步骤S1包括：(1)机械臂末端法兰盘位置安装工件，标定工件中心点在机械臂基坐标系的位置，用工件戳标定板上固定位置的九个点，获取每个点对应位置处基于机械臂基坐标系下的坐标数据Pboard(0～8)；(2)将相机安装到机械臂末端法兰盘位置，通过机械臂移动相机到垂直所述标定板一设定距离位置处，使相机平移到所述标定板的九个位置处，分别在每个位置处进行拍照，记录每个位置处机械臂法兰盘在机械臂基坐标系的坐标数据Probot(0～8)；(3)保存相机在九个位置处分别拍摄的所述标定板的彩色图像与深度图像；(4)根据Probot(0～8)及机械臂标定方法计算对应的法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange
‑
base；(5)根据相机拍摄的彩色图像与深度图像计算所述标定板上九个点基于相机坐标系的像素坐标Prealsense(0～8)；(6)根据公式Pboard＝Tflange
‑
base*Tcamera
‑
flange*Prealsense计算相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera
‑
flange；(7)根据法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange
‑
base以及相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera
‑
flange，计算相机坐标系与机械臂基坐标系之间的转换矩阵Tcamera
‑
base。3.根据权利要求2所述的核酸检测口腔采集点识别方法，其特征在于：所述标定板采用棋盘格标定板，相机进行拍照的九个位置分别为所述棋盘格标定板的四个角处、四边的中点以及中心位置。4.根据权利要求2所述的核酸检测口腔采集点识别方法，其特征在于：通过相机对所述标定板的九个位置进行拍照时，相机距所述标定板之间的垂直距离为270～290mm。5.根据权利要求2所述的核酸检测口腔采集点识别方法，其特征在于：所述拭子通过夹头组件夹取，所述夹头组件设置在所述机械臂的末端法兰盘上，所述相机设置在所述夹头组件上，步骤(1)进行时，通过所述夹头组件夹取所述工件。6.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征...

【专利技术属性】
技术研发人员：占美晓，李迟迟，赵炜，陆骊工，
申请(专利权)人：珠海市人民医院，
类型：发明
国别省市：