鼻咽拭子采样方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种鼻咽拭子采样方法、装置、电子设备及存储介质，其中，该方法包括：控制机械臂向采集对象移动，由RGBD相机得到采集对象的第一人脸图像，以及由激光雷达得到采集对象的第二人脸图像；基于第一人脸图像确定出二维特征点，以及基于第二人脸图像确定出解剖标志点；基于二维特征点得到目标三维点，从解剖标志点中选取出目标解剖标志点；基于目标三维点计算得到第一重心，基于目标解剖标志点计算得到第二重心；根据第一重心和第二重心确定出采样点；实时对采样点进行更新，并计算采样点与拭子的头部之间的距离，基于该距离对机械臂的移动速度进行调整。本申请实施例利于提高鼻咽拭子采样的效率。鼻咽拭子采样的效率。鼻咽拭子采样的效率。

【技术实现步骤摘要】
鼻咽拭子采样方法、装置、电子设备及存储介质


[0001]本申请涉及机器视觉技术在医疗健康领域的应用，尤其涉及一种鼻咽拭 子采样方法、装置、电子设备及存储介质。

技术介绍

[0002]现阶段，无论是鼻咽拭子采样还是咽拭子采样，对医护人员的手工操作 都有较大程度的依赖，而手工操作无疑会增加医护人员的感染风险。鉴于此， 一些机构展开了采样机器人的研究，并且部分研究成果已经投入使用，利用 采样机器人辅助咽拭子或鼻咽拭子采样，是保护医护人员的重大举措，然而 采样机器人在采样过程中面对的情况是复杂多样的，为了保证采样定位的精 度，现有研究在采样机器人的速度方面并不会有过多要求，在大规模的社区、 街道采样中，采样机器人的采样效率相对较低。

技术实现思路

[0003]针对上述问题，本申请提供了一种鼻咽拭子采样方法、装置、电子设备 及存储介质，有利于提高鼻咽拭子采样的效率。
[0004]为实现上述目的，本申请实施例第一方面提供了一种鼻咽拭子采样方法， 应用于采样机器人，该采样机器人包括机械臂，机械臂上设置有激光雷达和 RGBD相机，该方法包括：
[0005]控制机械臂向采集对象移动，获取RGBD相机采集的RGB图像和激光雷 达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以 及从激光雷达数据中定位出采集对象的第二人脸图像；
[0006]对第一人脸图像进行特征点采样，得到多个二维特征点，基于多个二维 特征点构建出至少一个二维组网；
[0007]对第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从至少 一个二维组网中选取出内含中心点的目标二维组网，将构成目标二维组网的 二维特征点和中心点映射到三维空间，得到对应的目标三维点；
[0008]从第二人脸图像中的激光雷达数据中确定出解剖标记点，从解剖标记点 中确定出预设数量个目标解剖标记点，目标解剖标记点与中心点对应的目标 三维点之间的距离小于或等于第一距离阈值；
[0009]根据二维特征点和中心点对应的目标三维点确定第一重心，以及根据目 标解剖标记点确定第二重心，将第一重心和第二重心的中点确定为采样点；
[0010]计算机械臂夹持的拭子的头部与采样点之间的距离，在拭子的头部与采 样点之间的距离大于第二距离阈值的情况下，增加机械臂的移动速度；
[0011]根据RGBD相机实时采集的RGB图像和激光雷达实时采集的激光雷达数 据对采样点进行实时更新，并计算更新后的采样点与拭子的头部之间的距离， 在更新后的采样点与拭子的头部之间的距离小于或等于第二距离阈值的情况 下，降低机械臂的移动速度至速
度阈值，以速度阈值完成采样。
[0012]结合第一方面，在一种可能的实施方式中，根据二维特征点和中心点对 应的目标三维点确定第一重心，包括：
[0013]将二维特征点和中心点对应的目标三维点确定为质点系重心坐标中的第 一质点；
[0014]为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一 质量；
[0015]采用每个第一质点的三维坐标和第一质量求得二维特征点和中心点对应 的目标三维点的重心的三维坐标；
[0016]根据二维特征点和中心点对应的目标三维点的重心的三维坐标确定第一 重心。
[0017]结合第一方面，在一种可能的实施方式中，根据目标解剖标记点确定第 二重心，包括：
[0018]将目标解剖标记点确定为质点系重心坐标中的第二质点；
[0019]为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二 质量；
[0020]采用每个第二质点的三维坐标和第二质量求得目标解剖标记点的重心的 三维坐标；
[0021]根据目标解剖标记点的重心的三维坐标确定第二重心。
[0022]结合第一方面，在一种可能的实施方式中，对第一人脸图像进行特征点 采样，得到多个二维特征点，包括：
[0023]采用医学中器官轮廓线勾画方法确定出第一人脸图像中鼻子的轮廓线， 并获取鼻子的轮廓线的最小外接矩形；
[0024]对拭子的头部进行投影，得到拭子的头部在第一人脸图像中的投影点；
[0025]在投影点在最小外接矩形内的情况下，根据拭子的头部与投影点之间的 距离和拭子的头部与两眼中心之间的距离，计算得到投影点与两眼中心之间 的距离；
[0026]基于投影点与两眼中心之间的距离进行特征点采样，得到多个二维特征 点。
[0027]结合第一方面，在一种可能的实施方式中，基于投影点与两眼中心之间 的距离进行特征点采样，得到多个二维特征点，包括：
[0028]以投影点与两眼中心之间的距离的和为宽度、高度保持不变对最小外接 矩形进行放大，得到采样区域；
[0029]在采样区域进行均匀采样，得到多个二维特征点。
[0030]结合第一方面，在一种可能的实施方式中，计算机械臂夹持的拭子的头 部与采样点之间的距离，包括：
[0031]获取采样点在第一人脸图像中的映射点；
[0032]根据投影点与映射点之间的距离和拭子的头部与投影点之间的距离，计 算得到拭子的头部与采样点之间的距离。
[0033]结合第一方面，在一种可能的实施方式中，基于多个二维特征点构建出 至少一个二维组网，包括：
[0034]对多个二维特征点进行三角剖分，得到至少一个二维组网。
[0035]本申请实施例第二方面提供了一种鼻咽拭子采样装置，该装置包括获取 单元和处理单元，其中：
[0036]获取单元，用于控制机械臂向采集对象移动，获取RGBD相机采集的RGB 图像和激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一 人脸图像，以及从激光雷达数据中定位出采集对象的第二人脸图像；
[0037]处理单元，用于对第一人脸图像进行特征点采样，得到多个二维特征点， 基于多个二维特征点构建出至少一个二维组网；
[0038]处理单元，还用于对第一人脸图像进行鼻子定位，得到采集对象的鼻子 的中心点，从至少一个二维组网中选取出内含中心点的目标二维组网，将构 成目标二维组网的二维特征点和中心点映射到三维空间，得到对应的目标三 维点；
[0039]处理单元，还用于从第二人脸图像中的激光雷达数据中确定出解剖标记 点，从解剖标记点中确定出预设数量个目标解剖标记点，目标解剖标记点与 中心点对应的目标三维点之间的距离小于或等于第一距离阈值；
[0040]处理单元，还用于根据二维特征点和中心点对应的目标三维点确定第一 重心，以及根据目标解剖标记点确定第二重心，将第一重心和第二重心的中 点确定为采样点；
[0041]处理单元，还用于计算机械臂夹持的拭子的头部与采样点之间的距离， 在拭子的头部与采样点之间的距离大于第二距离阈值的情况下，增加机械臂 的移动速度；
[0042]处理单元，还用于根据RGBD相机实时采集的RGB图像和激光雷达实时采 集的激光雷达数据对采样点进行实时更新，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鼻咽拭子采样方法，其特征在于，应用于采样机器人，所述采样机器人包括机械臂，所述机械臂上设置有激光雷达和RGBD相机，所述方法包括：控制所述机械臂向采集对象移动，获取所述RGBD相机采集的RGB图像和所述激光雷达采集的激光雷达数据，从RGB图像中分割出采集对象的第一人脸图像，以及从激光雷达数据中定位出采集对象的第二人脸图像；对所述第一人脸图像进行特征点采样，得到多个二维特征点，基于所述多个二维特征点构建出至少一个二维组网；对所述第一人脸图像进行鼻子定位，得到采集对象的鼻子的中心点，从所述至少一个二维组网中选取出内含所述中心点的目标二维组网，将构成所述目标二维组网的二维特征点和所述中心点映射到三维空间，得到对应的目标三维点；从所述第二人脸图像中的激光雷达数据中确定出解剖标记点，从所述解剖标记点中确定出预设数量个目标解剖标记点，所述目标解剖标记点与所述中心点对应的目标三维点之间的距离小于或等于第一距离阈值；根据所述二维特征点和所述中心点对应的目标三维点确定第一重心，以及根据所述目标解剖标记点确定第二重心，将所述第一重心和所述第二重心的中点确定为采样点；计算所述机械臂夹持的拭子的头部与所述采样点之间的距离，在所述拭子的头部与所述采样点之间的距离大于第二距离阈值的情况下，增加所述机械臂的移动速度；根据所述RGBD相机实时采集的RGB图像和所述激光雷达实时采集的激光雷达数据对所述采样点进行实时更新，并计算更新后的采样点与所述拭子的头部之间的距离，在更新后的采样点与所述拭子的头部之间的距离小于或等于第二距离阈值的情况下，降低所述机械臂的移动速度至速度阈值，以所述速度阈值完成采样。2.根据权利要求1所述的方法，其特征在于，所述根据所述二维特征点和所述中心点对应的目标三维点确定第一重心，包括：将所述二维特征点和所述中心点对应的目标三维点确定为质点系重心坐标中的第一质点；为每个第一质点赋予权重，并将赋予的权重作为对应的第一质点的第一质量；采用每个第一质点的三维坐标和第一质量求得所述二维特征点和所述中心点对应的目标三维点的重心的三维坐标；根据所述二维特征点和所述中心点对应的目标三维点的重心的三维坐标确定所述第一重心。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标解剖标记点确定第二重心，包括：将所述目标解剖标记点确定为质点系重心坐标中的第二质点；为每个第二质点赋予权重，并将赋予的权重作为对应的第二质点的第二质量；采用每个第二质点的三维坐标和第二质量求得所述目标解剖标记点的重心的三维坐标；根据所述目标解剖标记点的重心的三维坐标确定所述第二重心。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述对所述第一人脸图像进行特征点采样，得到多个二维特征点，包括：
采用医学中器官轮廓线勾画方法确定出所述第一人脸图像中鼻子的轮廓线，并获取鼻子的轮廓线的最小外接矩形；对所述拭子的头部进行投影，得到所述拭子的头部在所述第一人脸图像中的投影点；在所述投影点在所述最小外接矩形内的情况下，根据所述拭子的头部与所述投影点之间的距离和所述拭子的头部与两眼中心之间的距离，计算得到所述投影点与两眼中心之间的距离；基于所述投影点与两眼中心之间的距离进行特征点...

【专利技术属性】
技术研发人员：孙喜琢，唐爱发，林锦春，宫芳芳，廖慷，罗健婷，曾舒怡，覃金洲，
申请(专利权)人：深圳市罗湖医院集团，
类型：发明
国别省市：