一种基于单目相机识别的穿刺技术制造技术

一种基于单目相机识别的穿刺技术，该技术主要采用深度学习模辅助生成深度图像，模型主要包括生成模型和判别模型两种，生成模型的主要作用就是根据拍摄到的图像生成另一副图像，判别网络主要完成对生成的图像进行判断，判断出生成图像的质量，通过对抗的方式生成高度吻合双目测距原理的图像，以实时获取到穿刺针的位姿。本方法大大降低了设备的成本，不需要昂贵的高精度编码电机进行辅助，仅需要一台相机即可，同时精度接近，可以实现毫米级定位，有助于提高医院智能化和自动化，减少医护人员与病患接触，有效抑制了传染病的传播，同时大大降低了人力操作，节省了人力资源。

【技术实现步骤摘要】
一种基于单目相机识别的穿刺技术
本专利技术涉及一种医疗背景下的自主式穿刺设备，设计并实现了一种穿刺技术，可以自主完成静脉寻找并进行穿刺，属于医疗自动化、医学图像处理领域。
技术介绍
目前在静脉识别与穿刺领域，大多设备为专用于静脉增强与显像，其中静脉超声波成像为主流静脉成像技术，但该技术成像质量差，稳定性较差，仍然需要辅以专家判别才能找到静脉所在位置，另一方面这些静脉增强显像设备，仅提供了静脉增强图像，未能精准且智能得给出静脉穿刺推荐点，仍然可能出现医护人员在压力大、疲劳等情况下的穿刺失误等问题。静脉访问困难会给患者带来不良的影响，多次穿刺增加患者的焦虑和疼痛。临床研究表明，51％的儿童患者和83％的幼儿患者在接受常规静脉穿刺时会承受强烈的疼痛。据统计，住院儿童在看到穿刺针管时，就会产生疼痛感和恐慌感其中74％是由于静脉访问困难导致。同时，静脉访问困难会导致严重并发症多次刺穿在增加患者的创伤同时，可能会带来静脉炎、静脉感染等风险，这将直接增加额外费用。另外，静脉访问困难耽误病人的抢救，且对静脉访问困难的儿童进行静脉穿刺难度极高，完成穿刺的平均时间是23min。在这段时间内，药物无法进入静脉，静脉对药物的吞吐量也受到影响，从而延误最佳治疗时间，耽误抢救。传统的静脉注射流程中，医生为了提高静脉穿刺的成功率，会采用拍打手背，勒紧手臂的方法以使患者的静脉突起便于观察。然而拍打时的轻微疼痛以及紧绷的压脉带在增加医生打针流程的同时给患者也带来了一定程度上的困扰。另外，由于各患者之间静脉分布的较大差异，上述方法在遇到静脉访问困难患者时纷纷展现出了极大的局限性。同时有些护士在进行静脉注射的过程中，可能会有些失误给患者造成困扰，为了解决上述问题，本专利专利技术了一种基于视觉的针头位姿估计方法，如今深度学习广泛应用于各种场景，因此本专利利用单个摄像头获得静脉图像，并结合神经网络生成深度信息，从而获取针头的姿态信息，不仅可以实现高精度静脉穿刺，减少了医患纠纷，同时不需要价格较高的编码器，节约了成本，从而使本专利的受益范围更广。在疫情暴发的特殊时期，本专利可代替医护人员进行静脉穿刺，一方面缓解了人员压力，另一方面可以减轻医护人员受感染的风险，减轻静脉寻找苦难患者的痛苦，也避免了因医护人员情绪波动、疲劳等造成的穿刺失误。而在常态情况下，本专利也适用于对静脉寻找困难人群进行穿刺的场景，如肥胖人群、婴幼儿等，目前医疗逐渐有向智能自动化发展的趋势，而本专利也有望在未来作为医疗自动化的一种代表性形式。
技术实现思路
本专利主要实现了一种基于视觉的针头位姿估计和穿刺方法，而不需要通过昂贵的编码器以实现毫米级的穿刺，对于传统方案，为了降低系统的复杂性，通常的做法大多是摄像头采集图像信息，交给三维支架，由支架控制针头完成穿刺工作，这往往需要昂贵的编码器以实现精确的穿刺效果，为此，本专利提出了一种基于神经网络的单目摄像机生成深度图像的方案实现精确穿刺。该深度估计网络主要包括生成模型和判别模型两个部分，生成模型的主要作用就是根据拍摄到的图像生成另一副图像，此时生成的图像和拍摄得到的图像相当于双目相机的左右两个摄像头采集到的图像，通过两幅图像生成深度图像；判别网络主要完成对生成的图像进行判断，判断出生成图像的质量，通过对抗的方式生成高度吻合双目测距原理的图像，以实时获取到穿刺针的位姿。在进行穿刺操作时，假设血管的直径为2R，穿刺针金属部位长度为L，根据经验，没入血管内的穿刺针长度应为穿刺针L/2～2/3L之间，穿刺角度θ在15°～30°之间，为提高穿刺的成功率，设计如下的穿刺策略：1、通过红外相机寻找手背血管上最粗的部分并进行标定，确定穿刺点；2、通过相机和深度估计网络判断穿刺点在设备中的深度，即距离，控制穿刺针到达指定位置准备进行穿刺；3、当穿刺针到达指定位置后，通过穿刺电机调整穿刺针与手背形成θ的穿刺角度，角度准备完毕后，开始进行穿刺；4、首先根据血管直径2R，进行预穿刺，预穿刺深度为血管直径的1/3，此时刺入的穿刺针长度为2R/3sinθ，进行与穿刺的目的是为了保证穿刺针准确插入血管的同时，又不会插入过深；之后继续进行穿刺，与预穿刺不同，后续穿刺步骤需要保证穿刺针不会穿透血管，为此，设定穿刺目标深度为R，同时保证没入皮肤的穿刺针长度在L/2～2/3L，因此建立角度α∈[0°,15°]与深度D∈[2R/3,R]和没入皮肤的穿刺针长度l∈[L/2,2L/3]模型：α＝arcsinD/l(公式一)当刺入到指定深度后，穿刺结束。基于神经网络模型的穿刺方法大大减少了设备的复杂性，同时降低了设备的投入成本。附图说明图1为说明书摘要幅图图2为深度图像生成图图3为穿刺流程图具体实施方式下面结合附图对本专利的技术方案作进一步详细说明：首先病人从取药窗口拿到自己的吊水瓶，来到设备前，将吊水瓶挂在设备上，插上吊水管即可，之后将需要注射的手放入到设备内指定位置，摄像机首次采集设备图像，输入到已经训练好的生成网络中，生成网络根据拍摄到的图像生成另一副图像，生成的图像接着输入到判别网络，判断出生成图像的质量，基本，对于训练好的模型，可以达到穿刺要求，通过对抗的方式生成高度吻合双目测距原理的图像，此时生成的图像和拍摄得到的图像相当于双目相机的左右两个摄像头采集到的图像，通过两幅图像生成深度图像实时获取到穿刺针的位姿和手部状态。获取完毕后，通过红外设备采集手背的血管图像，在图像中标注出较粗的部分作为穿刺点，为后续穿刺进行准备，当穿刺确定后，通过三维支架控制穿刺针到达指定位置，准备进行穿刺，在进行穿刺操作时，血管的直径为2R，穿刺针金属部位长度为L，没入血管内的穿刺针长度应为穿刺针L/2～2/3L之间，穿刺角度θ，通过红外相机寻找手背血管上最粗的部分并进行标定，确定穿刺点；通过相机和深度估计网络判断穿刺点在设备中的深度，即距离，控制穿刺针到达指定位置准备进行穿刺；当穿刺针到达指定位置后，通过穿刺电机调整穿刺针与手背形成θ的穿刺角度，角度准备完毕后，开始进行穿刺；首先根据血管直径2R，进行预穿刺，预穿刺深度为血管直径的1/3，此时刺入的穿刺针长度为进行与穿刺的目的是为了保证穿刺针准确插入血管的同时，又不会插入过深；之后继续进行穿刺，与预穿刺不同，后续穿刺步骤需要保证穿刺针不会穿透血管，为此，设定穿刺目标深度为R，同时保证没入皮肤的穿刺针长度在L/2～2/3L，因此建立角度与深度和没入皮肤的穿刺针长度模型：当刺入到指定深度后，穿刺结束。尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本专利技术的实施例，并非因此限制本专利技术的专利保护范围，凡是利用本专利技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
，均同理包括在本专利技术的专利保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于单目相机识别的穿刺技术，其特征在于，该技术采用了深度学习技术生成深度图像，通过网络对抗的模式，提高生成的图像的质量，最后生成的图像结合相机采集的图像生成深度图像用以进行穿刺针的位姿判断，之后按照一定的穿刺技术，准确的实施穿刺。/n

【技术特征摘要】
1.一种基于单目相机识别的穿刺技术，其特征在于，该技术采用了深度学习技术生成深度图像，通过网络对抗的模式，提高生成的图像的质量，最后生成的图像结合相机采集的图像生成深度图像用以进行穿刺针的位姿判断，之后按照一定的穿刺技术，准确的实施穿刺。


2.根据权利要求1所述的基于单目相机识别的穿刺技术，其特征在于，使用的相机为近红外相机，为排除干扰，采用大功率近红外灯作为光源，目的是利用静脉中血红蛋白对近红外光吸收较强的特点，增强获得的图像效果。


3.根据权利要求1所述的基于单目相机识别的穿刺技术，其特征在于，所述的对抗网络是用于生成具有一定规则的图像，该图像与原图像构成双目相机的左右图像。


4.根据权利要求1所述的基于单目相机识别的穿刺技术，其特征在于，所述的深度图像的生...

【专利技术属性】
技术研发人员：陈晨，
申请(专利权)人：南通帕克医用材料有限公司，
类型：发明
国别省市：江苏;32