基于主动视觉和听觉的医疗行为采集机器人及控制方法技术

本发明专利技术公开了基于主动视觉和听觉的医疗行为采集机器人及控制方法，包括柔性机械臂、主动视觉模块、主动听觉模块、驱动模块、控制处理模块和电源模块，所述柔性机械臂由底座、转向及俯仰调节机构、弯曲伸展机构、震动抑制张紧装置组成；所述弯曲伸展机构由电机座、推杆电机、钢片连接件、弹性钢片、多个指节块、多个转轴和末端节块组成，所述震动抑制张紧装置由多个电磁铁单元组成，所述主动视觉模块由相机底座、工业相机和可调节补光灯组组成，所述主动听觉模块由麦克风阵列组成，本发明专利技术可实现非接触式医疗行为数据采集，解决医生小范围运动时视觉遮挡和语音高低变化情况下的信息采集难题，为医疗智能辅助奠定基础。为医疗智能辅助奠定基础。

Medical behavior acquisition robot based on active vision and hearing and its control method

【技术实现步骤摘要】
基于主动视觉和听觉的医疗行为采集机器人及控制方法


[0001]本专利技术涉及智慧医疗、人工智能、机器人学、仪器科学、控制科学、计算机科学、传感器技术、人机交互技术等交叉领域，涉及基于主动视觉和听觉的医疗行为采集机器人及控制方法。

技术介绍

[0002]传统医疗行为的流程主要包括识别、诊断、治疗和康复，每个环节都主要依靠专业医师。一方面由于医务人员工作时间长，工作负荷重，长时间重复工作容易疲劳，存在失误和出错的风险，另一方面地区医疗资源的相对匮乏加重了医疗的压力。这些问题已经影响到社会的和谐发展，同时对医疗行为的检测与质量控制提出了挑战。随着智慧医院和智慧医疗的发展，迫切需要对医疗行为采用智能机器人和人工智能技术进行检测和管控。
[0003]近年来，医疗机器人在医疗行为的识别和诊断，远程会诊，手术室的全程数据采集等领域得到了广泛的应用。在基于视觉的医疗行为识别和诊断研究方面，中国专利201910243144.2提出一种医疗监控系统包括用于显示和导航临床决策支持流程的方法，中国专利201710468651.7提出了一种多模态智能分析方法和系统，病情描述为多模态数据，多模态数据包含文字数据、时间序列信号数据和视觉数据，并且设计了基于多模态数据的病情诊断导航和诊断决策。以上专利技术和现有的医疗行为数据采集系统在一定程度上缓解了紧张的医疗资源，但是存在诸多问题，例如相机固定导致的拍摄角度固定，采集目标单一；采集图像时对于环境光要求较高；目标遮挡时无法及时调整相机，找到合适的视角。此外，在复杂医疗场景的医疗行为过程中，多个医生和患者交互过程中存在语音干扰和音量高低变化，对语音信息采集提出挑战。
[0004]针对以上现有专利方案中存在的问题，本专利提出一种基于主动视觉和听觉的医疗行为采集系统及控制方法，通过主动视觉和听觉跟踪医生或患者，主动调节光照强度，主动识别跟踪说话者，实现复杂医疗场景中医疗行为的信息采集。本系统基于视觉的无接触方案，易于患者接受；可移动可调节的功能适应行动不便的患者，提高采集的舒适度；自动化的采集，能够提高采集的效率；主动位姿调整和环境光弥补能够提高采集的质量；主动目标跟踪、躲避遮挡，以及语音识别能够实现医疗行为的全流程的无盲区采集。

技术实现思路

[0005]所解决的技术问题在于，克服接触式的医疗行为数据采集带来的不便的问题，克服医疗行为图像数据采集中，相机视角不能主动调整，环境光无法主动变化，以及目标遮挡问题，克服杂乱环境下采集音频数据时易受干扰的问题，克服多音源环境下采集音频数据时缺乏针对性的问题，设计基于主动视觉和听觉的医疗行为采集机器人及控制方法，通过主动视觉和听觉跟踪医生或患者，主动调节光照强度，主动识别跟踪说话者，实现复杂医疗场景中医疗行为的信息采集。
[0006]为实现上述目的，本专利技术采取的技术方案是：
[0007]基于主动视觉和听觉的医疗行为采集机器人，包括柔性机械臂、任务输入模块、主动视觉模块、主动听觉模块、驱动模块、控制处理模块和电源模块，所述任务输入模块用于指定采集任务，所述主动视觉模块提供目标的视觉反馈信号以及进行医疗行为的图像数据采集，所述主动听觉模块用于提供目标的音频反馈信号，所述控制处理模块接受上述的视觉和音频反馈信号，所述驱动模块接受控制处理模块的输出指令并控制柔性机械臂进行位姿的调整实现对目标的跟踪控制，所述电源模块为主动视觉模块、主动听觉模块、控制处理模块和柔性机械臂提供电源；
[0008]所述的柔性机械臂由底座、转向及俯仰调节机构、弯曲伸展机构和震动抑制张紧装置组成；
[0009]所述的底座为圆柱筒状，所述的转向及俯仰调节机构包括转向电机、连接件和俯仰电机，所述的转向电机安装在所述底座的圆柱筒内的上表面，转向电机轴伸出圆柱筒的上表面，所述的连接件底部固定在所述的转向电机输出轴上，所述的俯仰电机固定在所述的连接件上，俯仰电机输出轴与转向电机输出轴垂直；
[0010]所述的弯曲伸展机构包括电机座、推杆电机、钢片连接件、弹性钢片、指节块、转轴和末端节块，所述的电机座固定在俯仰电机输出轴上，所述的推杆电机安装在电机座上，所述的钢片连接件安装在推杆电机的输出轴上，所述的弹性钢片后端固定在钢片连接件上，各指节块通过转轴依次转动副连接，形成弯曲伸展机构本体，最后端的指节块与电机座转动副连接，最前端的指节块与末端节块转动副连接，各指节块和末端节块在转动轴上方侧面沿着弯曲伸展机构本体方向设置有槽型通孔，各指节块单侧面设置有圆形凹槽，弹性钢片的前端穿过相应指节块上的槽型通孔并固定在末端节块的槽型通孔中；
[0011]所述的震动抑制张紧装置由至少2个电磁铁单元组成，所述电磁铁单元分别安装于对应指节块的侧面圆形凹槽中。
[0012]作为本专利技术医疗行为采集机器人进一步改进，
[0013]所述的主动视觉模块由相机底座、工业相机和可调节补光灯组组成，所述相机底座安装在末端节块上，所述相机底座形状为凸台状且分上下两层；所述的工业相机安装在相机底座上层，所述工业相机由图像传感器组件和镜头组成，所述补光灯组由至少2个LED灯组成，环形分布于相机底座上层；
[0014]作为本专利技术医疗行为采集机器人进一步改进，
[0015]所述的主动听觉模块由麦克风阵列组成，麦克风阵列由八个麦克风单元组成，环形分布于相机底座下层。
[0016]作为本专利技术医疗行为采集机器人进一步改进，
[0017]所述电源模块安装于底座下方负责给驱动模块、底座中的电机、转向及俯仰调节机构的转向电机以及俯仰电机、推杆电机、主动视觉模块、主动听觉模块和控制处理模块供电。
[0018]作为本专利技术医疗行为采集机器人进一步改进，
[0019]所述的控制处理模块包含视/听觉控制器和关节控制器，固定在底座(6
‑
1)的下方。
[0020]本专利技术提供基于主动视觉和听觉的医疗行为采集机器人的控制方法，包含主动视觉和主动听觉的协同控制方法，步骤包括：
[0048]接下来对柔性机械臂的正、逆运动，以及机械臂雅可比矩阵进行求解，图像雅可比矩阵的计算：
[0049]首先基于小孔成像原理对摄像机进行建模，然后引入世界坐标和相机坐标的变化矩阵，计算得到图像雅可比矩阵，获得图像雅可比矩阵和机械臂雅可比矩阵后，计算得到系统的雅可比矩阵，然后采用基于卡尔曼滤波的雅可比矩阵在线估计法计算实时的图像雅可比矩阵，求得视觉速度向量v
c
；
[0050]所述的音频反馈回路，目的是提供音源位置，麦克风阵列上的多个麦克风单元同步采集声音信号，首先采用基于深度神经网络的I
‑
Vector模型进行声纹识别，搜索注册表中的注册人员，从而锁定采集目标，基于到达时延差的方法，得到声源位置，输入至视/听觉控制器，求得听觉速度向量v
a
；
[0051]所述的视/听控制器的输出结果方程：
[0052]v
f
＝a*v
c
+(1
‑
a)*本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于主动视觉和听觉的医疗行为采集机器人，包括柔性机械臂(6)、任务输入模块(1)、主动视觉模块(2)、主动听觉模块(3)、驱动模块(5)、控制处理模块(4)和电源模块(7)，其特征在于：所述任务输入模块(1)用于指定采集任务，所述主动视觉模块(2)提供目标(8)的视觉反馈信号以及进行医疗行为的图像数据采集，所述主动听觉模块(3)用于提供目标(8)的音频反馈信号以及进行医疗行为的音频数据采集，所述控制处理模块(4)接受上述的视觉和音频反馈信号，所述驱动模块(5)接受控制处理模块(4)的输出指令并控制柔性机械臂(6)进行位姿的调整实现对目标(8)的跟踪控制，所述电源模块(7)为主动视觉模块(2)、主动听觉模块(3)、控制处理模块(4)和柔性机械臂(6)提供电源；所述的柔性机械臂(6)由底座(6
‑
1)、转向及俯仰调节机构、弯曲伸展机构和震动抑制张紧装置组成；所述的底座(6
‑
1)为圆柱筒状，所述的转向及俯仰调节机构包括转向电机(6
‑
2)、连接件(6
‑
3)和俯仰电机(6
‑
5)，所述的转向电机(6
‑
2)安装在所述底座(6
‑
1)的圆柱筒内的上表面，转向电机轴伸出圆柱筒的上表面，所述的连接件(6
‑
3)底部固定在所述的转向电机(6
‑
2)输出轴上，所述的俯仰电机(6
‑
5)固定在所述的连接件(6
‑
3)上，俯仰电机(6
‑
5)输出轴与转向电机(6
‑
2)输出轴垂直；所述的弯曲伸展机构(6)包括电机座(6
‑
7)、推杆电机(6
‑
4)、钢片连接件(6
‑
6)、弹性钢片(6
‑
8)、指节块(6
‑
9)、转轴(6
‑
10)和末端节块(6
‑
11)，所述的电机座(6
‑
7)固定在俯仰电机(6
‑
5)输出轴上，所述的推杆电机(6
‑
4)安装在电机座(6
‑
7)上，所述的钢片连接件(6
‑
6)安装在推杆电机(6
‑
4)的输出轴上，所述的弹性钢片(6
‑
8)后端固定在钢片连接件(6
‑
6)上，各指节块(6
‑
9)通过转轴(6
‑
10)依次转动副连接，形成弯曲伸展机构本体，最后端的指节块(6
‑
9)与电机座(6
‑
7)转动副连接，最前端的指节块(6
‑
9)与末端节块(6
‑
11)转动副连接，各指节块(6
‑
9)和末端节块(6
‑
11)在转动轴上方侧面沿着弯曲伸展机构本体方向设置有槽型通孔(6
‑
12)，各指节块(6
‑
9)单侧面设置有圆形凹槽(6
‑
13)，弹性钢片(6
‑
8)的前端穿过相应指节块(6
‑
9)上的槽型通孔(6
‑
12)并固定在末端节块的槽型通孔(6
‑
12)中；所述的震动抑制张紧装置由至少2个电磁铁单元组成，所述电磁铁单元分别安装于对应指节块(6
‑
9)的侧面圆形凹槽(6
‑
13)中。2.根据权利要求1所述的基于主动视觉和听觉的医疗行为采集机器人，其特征在于：所述的主动视觉模块(2)由相机底座(2
‑
3)、工业相机(2
‑
1)和可调节补光灯组(2
‑
2)组成，所述相机底座(2
‑
3)安装在末端节块(6
‑
11)上，所述相机底座(2
‑
3)形状为凸台状且分上下两层；所述的工业相机(2
‑
1)安装在相机底座(2
‑
3)上层，所述工业相机(2
‑
1)由图像传感器组件和镜头组成，所述补光灯组(2
‑
2)由至少2个LED灯组成，环形分布于相机底座(2
‑
3)上层。3.根据权利要求2所述的基于主动视觉和听觉的医疗行为采集机器人，其特征在于：所述的主动听觉模块(3)由麦克风阵列组成，麦克风阵列由八个麦克风单元组成，环形分布于相机底座(2
‑
3)下层。4.根据权利要求1所述的基于主动视觉和听觉的医疗行为采集机器人，其特征在于：所述电源模块(7)安装于底座(6
‑
1)下方负责给驱动模块(5)、底座(6
‑<...

【专利技术属性】
技术研发人员：张军，张宇威，吴菁岳，赵凝，肖毅，宋爱国，李欣，李伟峰，
申请(专利权)人：东南大学，
类型：发明
国别省市：