一种基于视觉的智能体温检测机器人及检测方法技术

本发明专利技术公开了一种基于视觉的智能体温检测机器人及检测方法，包括检测机构、视觉机构和控制系统；所述检测机构包括基体、旋转工作台、机械臂、体温测量仪、仿生指末端夹持部件和移动平台；所述视觉机构包括双目摄像机和仿生自动旋转相机架；所述控制系统通过数据传输线或无线网络与检测机构、视觉机构相连接。本发明专利技术采用仿生结构，可以通过旋转工作台、机械臂和仿生指末端夹持部件的联动，提高机器人的灵活性，结构轻巧，控制系统简单，检测数据可以传送于远程的医生，避免医生或工作人员直接检测或接触带病毒的人或动物，特别适用于新型病毒的瘟疫环境下人与动物体温检测。

A vision based intelligent temperature detection robot and its detection method

【技术实现步骤摘要】
一种基于视觉的智能体温检测机器人及检测方法
本专利技术涉及智能机械领域，特别涉及一种基于视觉的智能体温检测机器人及检测方法。
技术介绍
新型病毒传染是我国面临的重大风险性问题。传染性强的病毒一旦在人和动物中传播，会给人类造成巨大损失。而病毒传染的防控是人类医学上的一大难题，现在主流快速检测方式是通过人工进行体温检测，这种方法不仅时间和人力成本高昂，而且容易导致检测人员受感染。现有的智能体温检测设备有通过热成像来大面积测量人群体温，也有可穿戴式的体温测量设备。热成像式体温检测设备的学习成本高，可穿戴式体温测量设备只能针对家庭与个人。在新型病毒瘟疫环境下，急需一种适用于公共场所的个人和动物快速体温智能检测装置，有效隔离工作人员与待检测体。
技术实现思路
本专利技术的目的在于克服现有技术中存在的缺点，提供一种基于视觉的智能体温检测机器人及检测方法，适用于新型病毒瘟疫环境下人或动物的体温检测，操作简单、测量准确度高，且能有效避免医生或工作人员直接接触待检测体，以保证医务人员的防护安全。本专利技术的目的通过下述技术方案实现：一种基于视觉的智能体温检测机器人，包括检测机构、视觉机构和控制系统；所述检测机构包括基体1、旋转工作台3、机械臂、体温测量仪8、仿生指末端夹持部件9和移动平台10；所述机械臂为三自由度机械臂，包括第一机械臂4、关节电机5和第二机械臂6；所述基体1放置于移动平台10上，所述基体1上安装有旋转工作台3，旋转工作台3的上面安装有第一机械臂4，第一机械臂4通过关节电机5和第二机械臂6相连接，第二机械臂6的前端固定有仿长臂旋转消毒机构7和仿生指末端夹持部件9，所述仿生指末端夹持部件9夹持有体温测量仪8；所述视觉机构包括双目摄像机2和仿生自动旋转相机架11，所述仿生自动旋转相机架11通过支架安装于旋转工作台3的正后方，所述双目摄像机2固定在仿生自动旋转相机架11上；所述控制系统13通过数据传输线12或无线网络与检测机构、视觉机构相连接。所述仿生指末端夹持部件9，包括三个夹指和底座；所述夹指为类似于人指的似人指，第一夹指14、第二夹指15和第三夹指16按照类似于人手的大拇指、食指和中指的位置分布在底座上；每个夹指有2个以上指节，每个指节上开有类似于人指指节纹路的三条以上环型槽18和一条以上竖槽19，用于增加夹持体温测量仪8时的摩擦力。优选地，所述仿生指末端夹持部件9，第一夹指14和第二夹指15可以形成一个角度为40°～50°的柔性V型槽，第一夹指14和第二夹指15的下部通过柔性连接线20相连接，以形成柔性V型槽的下部，提高对各种体温测量仪的适应性，同时可利用柔性V型槽对圆柱形、类圆柱形等体温测量仪进行自动定心。第三夹指16采用三个指节的结构，与第二夹指15相互平行，可在夹持体温测量仪时，环绕夹持和固定体温测量仪，对体温测量仪的固定起主要作用。优选地，三个夹指的尾端安装有月牙形的仿生鹰倒钩指甲17；仿生鹰倒钩指甲17向内部弯曲，弯曲角度为10°～15°，以提高对体温测量仪的夹持稳定性。所述仿长臂旋转消毒机构7包括长臂21、关节电机22、转盘23、海绵夹持器24和半月形消毒海绵25；长臂21的一端固定于第二机械臂的末端上，另一端通过关节电机22与转盘23相连接；转盘23上设置有海绵夹持器24，海绵夹持器24上夹持有半月形消毒海绵25。所述仿长臂旋转消毒机构7中的小型电机控制长臂21左右摆动，使得半月形海绵接触测温口，末端的小型电机带动半月形海绵25转动，以实现对体温测量仪8的表面进行消毒擦拭，防止病毒传染。所述视觉机构包括双目摄像机2和仿生自动旋转相机架11；双目摄像机2用于拍摄待测体(待测体包括人或动物)的头部图像；仿生自动旋转相机架11可以旋转，使得双目摄像机的视野更加广阔。所述控制系统13包括运动模块和视觉模块；所述运动模块用于控制两个机械臂、移动平台、仿生自动旋转相机架、旋转工作台、仿长臂旋转消毒机构的移动与旋转；所述视觉模块和视觉机构一起构成视觉系统，双目摄像机2用于拍摄待测体的头部图像，将头部图像传输给视觉模块，视觉模块对头部图像进行识别并定位额头的位置，计算出额头的三维坐标和姿态信息。所述基于视觉的智能体温检测机器人的控制过程为：(1)首先，控制系统13的控制模块控制移动平台的运动从而带动整个机器人靠近被测体；(2)控制系统中的运动模块控制仿生自动旋转相机架11的转动，使得双目摄像机2垂直正对待测体，然后双目摄像机2拍摄待测体的头部图像，并将头部图像传输给控制系统13的视觉模块，视觉模块对头部图像进行识别并定位额头的位置，计算出额头的三维坐标和姿态信息；(3)控制系统13根据计算得到的额头的三维坐标和姿态信息，进行运动学逆解计算，计算出各关节旋转电机的转动量，然后控制系统13的运动模块控制旋转工作台3的转动，使得体温测量仪垂直正对待测体；进而控制第一机械臂4、关节电机5、第二机械臂6联合运动以调整仿生指末端夹持部件9的三维坐标，从而使体温测量仪准确到达被测体额头的测量点位置。(4)完成体温检测之后，控制系统13的运动模块控制仿长臂旋转消毒机构的仿生长臂运动使得半月形海绵接触测温口，并进行消毒，完成消毒之后使仿长臂旋转消毒机构恢复原来的位置。所述视觉系统的操作步骤如下：(1)深度学习和训练：拍摄多张具有生物体面部的图像，按生物体门类制作数据标签将额头框起来，用于训练YOLOV3深度学习模型；训练好的模型可识别被测体的类别，用于将额头从面部图像中框出；(2)摄像机标定：用双目摄像机拍摄多组标定板图像，采用张正友标定法进行标定，得到双目摄像机的内外参数矩阵、双目校正映射表、重投影矩阵；(3)当待测体进入检测区域时，双目摄像机开始工作，拍摄一组包含待测体面部的图像；然后进行图像预处理，包括灰度化、滤波，再使用双目校正映射表将左右图像进行校正，得到校正后的左右图像；调用训练好的YOLOV3模型对校正后的左右图像进行分割，将校正后的左右图像中待测体的额头分割出来，得到左右图像各一个的矩形框区域；(4)采用SGBM算法对校正后的左右图像各一个的矩形框区域进行立体匹配，得到视差图；然后利用视差图和重投影矩阵，联合校正后的左右图像进行三维重建，得到矩形区域点云，即额头点云；再进行直通滤波、统计滤波、半径滤波等点云降噪处理，得到一片噪声少且平整的额头点云；(5)对于步骤3中左图像的矩形框区域的中心，以该中心为起点，划定一个25*25像素的正方形区域Q；所述正方形区域Q的像素点能与额头点云中的点相对应；因此，正方形区域Q中的每个像素点都在额头点云中具有一个深度值；取正方形区域Q的中点M，由于相机坐标系原点与左图像的中点重合，因此点M在左图像上的坐标(u，v)可以转换为相机坐标系上的坐标(X,Y)，即构成额头的三维坐标(X,Y,Z)中的X,Y；将该正方形区域Q中的每个像素点的深度值取平均值，构成额头测量点在相机坐标系下的深度，即为额头的三维坐标(X,Y,Z)中的Z；(6)在正方形区域Q的点云中，以左上本文档来自技高网...

【技术保护点】
1.一种基于视觉的智能体温检测机器人，其特征在于：包括检测机构、视觉机构和控制系统；所述检测机构包括基体、旋转工作台、机械臂、体温测量仪、仿生指末端夹持部件和移动平台；所述机械臂为三自由度机械臂，包括第一机械臂、关节电机和第二机械臂；所述基体放置于移动平台上，所述基体上安装有旋转工作台，旋转工作台的上面安装有第一机械臂，第一机械臂通过关节电机和第二机械臂相连接，第二机械臂的前端固定有仿长臂旋转消毒机构和仿生指末端夹持部件，所述仿生指末端夹持部件夹持有体温测量仪；所述视觉机构包括双目摄像机和仿生自动旋转相机架，所述仿生自动旋转相机架通过支架安装于旋转工作台的正后方，所述双目摄像机固定在仿生自动旋转相机架上；所述控制系统通过数据传输线或无线网络与检测机构、视觉机构相连接。/n

【技术特征摘要】
1.一种基于视觉的智能体温检测机器人，其特征在于：包括检测机构、视觉机构和控制系统；所述检测机构包括基体、旋转工作台、机械臂、体温测量仪、仿生指末端夹持部件和移动平台；所述机械臂为三自由度机械臂，包括第一机械臂、关节电机和第二机械臂；所述基体放置于移动平台上，所述基体上安装有旋转工作台，旋转工作台的上面安装有第一机械臂，第一机械臂通过关节电机和第二机械臂相连接，第二机械臂的前端固定有仿长臂旋转消毒机构和仿生指末端夹持部件，所述仿生指末端夹持部件夹持有体温测量仪；所述视觉机构包括双目摄像机和仿生自动旋转相机架，所述仿生自动旋转相机架通过支架安装于旋转工作台的正后方，所述双目摄像机固定在仿生自动旋转相机架上；所述控制系统通过数据传输线或无线网络与检测机构、视觉机构相连接。


2.根据权利要求1所述的基于视觉的智能体温检测机器人，其特征在于：所述仿生指末端夹持部件包括三个夹指和底座；所述夹指为类似于人指的似人指，第一夹指、第二夹指和第三夹指按照类似于人手的大拇指、食指和中指的位置分布在底座上；每个夹指有2个以上指节，每个指节上开有类似于人指指节纹路的三条以上环型槽和一条以上竖槽。


3.根据权利要求2所述的基于视觉的智能体温检测机器人，其特征在于：第一夹指和第二夹指形成一个角度为40°～50°的柔性V型槽，第一夹指和第二夹指的下部通过柔性连接线相连接；第三夹指采用三个指节的结构，与第二夹指相互平行。


4.根据权利要求2或3所述的基于视觉的智能体温检测机器人，其特征在于：三个夹指的尾端安装有月牙形的仿生鹰倒钩指甲；仿生鹰倒钩指甲向内部弯曲，弯曲角度为10°～15°。


5.根据权利要求1所述的基于视觉的智能体温检测机器人，其特征在于：所述仿长臂旋转消毒机构包括长臂、关节电机、转盘、海绵夹持器和半月形消毒海绵；长臂的一端固定于第二机械臂的末端上，另一端通过关节电机与转盘相连接；转盘上设置有海绵夹持器，海绵夹持器上夹持有半月形消毒海绵。


6.根据权利要求1所述的基于视觉的智能体温检测机器人，其特征在于：所述控制系统包括运动模块和视觉模块；所述运动模块用于控制两个机械臂、移动平台、仿生自动旋转相机架、旋转工作台、仿长臂旋转消毒机构的移动与旋转；所述视觉模块和视觉机构一起构成视觉系统，双目摄像机用于拍摄待测体的头部图像，将头部图像传输给视觉模块，视觉模块对头部图像进行识别并定位额头的位置，计算出额头的三维坐标和姿态信息。


7.根据权利要求6所述的基于视觉的智能体温检测机器人，其特征在于：所述控制系统的控制过程为：
(1)首先，控制系统的控制模块控制移动平台的运动从而带动整个机器人靠近被测体；
(2)控制系统中的运动模块控制仿生自动旋转相机架的转动，使得双目摄像机垂直正对待测体，然后双目摄像机拍摄待测体的头部图像，并将头部图像传输给控制系统的视觉模块，视觉模块对头部图像进行识别并定位额头的位置，计算出额头的三维坐标和姿态信息；
(3)控制系统根据计算得到的额头的三维坐标和姿态信息，进行运动学逆解计算，计算出各关节旋转电机的转动量，然后控制系统的运动模块控制旋转工作台的转动，使得体温测量仪垂直正对待测体；进而控制第一机械臂、关节电机、第二机械臂联合运动以调整仿生指末端夹持部件的三维坐标，从而使体温测量仪准确到达被测体额头...

【专利技术属性】
技术研发人员：唐昀超，邹湘军，黄钊丰，李兰云，何俊宇，何卓超，李泽娜，卢偲帆，朱伟，叶磊，陈明猷，
申请(专利权)人：仲恺农业工程学院，华南农业大学，广东若铂智能机器人有限公司，
类型：发明
国别省市：广东;44