基于多视觉融合采集信息的手术导航系统技术方案

本发明专利技术涉及手术辅助技术领域，具体地说，涉及基于多视觉融合采集信息的手术导航系统。其包括器械特征存储单元、视觉采集单元、指令通信单元、器械识别单元和虚拟现实融合单元。本发明专利技术通过器械特征存储单元采集手术所需器械的图像特征，建立数据集，实现通过视觉采集单元采集医护人员视角的手术室视觉图像时，指令通信单元发出待使用的器械语音，调出数据集中的图像特征与器械识别单元的器械特征进行匹配，并通过虚拟现实融合单元对匹配的器械进行虚拟的标记，实现医护人员的视角能同时观察到手术室内实景和虚拟的标记点，有利于快速确定导航所需器械的位置，提高手术效率和质量。提高手术效率和质量。提高手术效率和质量。

【技术实现步骤摘要】
基于多视觉融合采集信息的手术导航系统


[0001]本专利技术涉及手术辅助
，具体地说，涉及基于多视觉融合采集信息的手术导航系统。

技术介绍

[0002]外科手术简称手术，俗称开刀，凡指透过外科设备或外科仪器，经外科医师或其他专业人员的操作下，进入人体或其他生物组织，以外力方式排除病变、改变构造或植入外来物的处理过程，在进行外科手术时，需要医护人员切换不同的医疗器械对患者进行手术，由于医疗器械较多，将医疗器械摆放在置物架上，不能确保医护人员准确的记住每个医疗器械放置的位置，导致手术过程中不能快速定位所需器械的位置，需要医护人员主动去找寻，占用较多手术时间，影响手术效率和质量，鉴于此，我们提出基于多视觉融合采集信息的手术导航系统。

技术实现思路

[0003]本专利技术的目的在于提供基于多视觉融合采集信息的手术导航系统，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供基于多视觉融合采集信息的手术导航系统，包括器械特征存储单元、视觉采集单元、指令通信单元、器械识别单元和虚拟现实融合单元；所述器械特征存储单元用于采集手术所需器械的图像特征，并建立器械名称和器械特征一一对应的数据集进行存储；所述视觉采集单元佩戴在医护人员眼睛处，用于以医护人员的视角采集手术室内的视觉图像；所述指令通信单元用于识别医护人员的待寻找器械的语音，将语音转换为器械名称的文字输入至器械特征存储单元中，从数据集调出器械名称对应的图像特征；所述器械识别单元用于接收视觉采集单元的视觉图像，提取视觉图像中的多个器械特征，并依次将多个器械特征与指令通信单元的图像特征匹配；所述虚拟现实融合单元用于在器械识别单元发出器械特征与图像特征匹配时，标记器械特征对应的器械，将虚拟的标记点融合在所述视觉采集单元的现实的视觉图像内，使医护人员的视角能同时观察到手术室内实景和虚拟的标记点。
[0005]作为本技术方案的进一步改进，所述器械特征存储单元包括预先采集模块、器械特征提取模块和存储模块；所述预先采集模块用于采集各种手术器械的图像，并对每个手术器械对应的图像定义器械名称；所述器械特征提取模块用于提取所述预先采集模块的图像的特征向量，用特征向量表示器械特征；所述存储模块用于将所述预先采集模块的每个器械名称和所述器械特征提取模
块对应的特征向量作为一条数据，存储在数据库中。
[0006]作为本技术方案的进一步改进，所述视觉采集单元包括佩戴器和视觉图像采集模块；所述佩戴器用于辅助视觉图像采集模块固定在医护人员的头部；所述视觉图像采集模块用于在医护人员的眼睛处采集医护人员的第一人称视角图像作为视觉图像，并使医护人员透过视觉图像观看手术室。
[0007]作为本技术方案的进一步改进，所述指令通信单元包括语音识别模块和信号传输模块；所述语音识别模块用于采用语音识别技术实时捕捉并转换医护人员的语音指令；所述信号传输模块用于将所述语音识别模块的语音指令转换为器械名称的文字输入存储模块的数据库中，输出器械特征。
[0008]作为本技术方案的进一步改进，所述指令通信单元还包括语音认证接收模块，所述语音认证接收模块用于通过声纹识别技术将负责拿取手术器械的医护人员的声音特征进行录制和建模，并用于验证和识别，只有通过认证的声音特征才会被所述语音识别模块识别。
[0009]作为本技术方案的进一步改进，所述器械识别单元包括图像处理模块、图像特征提取模块和特征匹配模块；所述图像处理模块用于接收所述视觉图像采集模块的视觉图像，并进行图像去噪、图像增强和图像分割的预处理；所述图像特征提取模块用于提取出预处理后视觉图像中的特征，并将特征与器械模板匹配，如果匹配度超过一定阈值，则判断为手术器械，然后采用特征提取算法提取确定为手术器械物品的颜色、纹理、形状特征；所述特征匹配模块与所述信号传输模块输出端连接，用于将器械特征依次与多个图像特征进行比较匹配。
[0010]作为本技术方案的进一步改进，所述虚拟现实融合单元包括图像标记模块和实景融合模块；所述图像标记模块用于当所述特征匹配模块成功匹配器械特征与图像特征后，使用计算机图形学技术在视觉图像内添加虚拟的标记点；所述实景融合模块用于使用虚拟现实技术将虚拟的标记点的位置和实景图像对应融合起来，对图像进行叠加和混合处理，使得医护人员经过视觉采集单元在观察手术室实景时，同时能够看到标记点。
[0011]作为本技术方案的进一步改进，所述器械识别单元还包括锁定定位模块，所述锁定定位模块用于在特征匹配模块输出匹配成功信号后，锁定匹配成功的图像特征对应位置，并更新所述实景融合模块中的标记点位置和显示内容。
[0012]作为本技术方案的进一步改进，所述虚拟现实融合单元还包括可视化交互模块，所述可视化交互模块用于显示视觉采集单元通过所述实景融合模块融合后的图像，并提供交互选项供医护人员操作。
[0013]与现有技术相比，本专利技术的有益效果：该基于多视觉融合采集信息的手术导航系统中，通过器械特征存储单元采集手术
所需器械的图像特征，建立数据集，实现通过视觉采集单元采集医护人员视角的手术室视觉图像时，指令通信单元发出待使用的器械语音，调出数据集中的图像特征与器械识别单元的器械特征进行匹配，并通过虚拟现实融合单元对匹配的器械进行虚拟的标记，实现医护人员的视角能同时观察到手术室内实景和虚拟的标记点，有利于快速确定导航所需器械的位置，提高手术效率和质量。
附图说明
[0014]图1为本专利技术的整体结构原理框图；图2为本专利技术的器械识别单元和虚拟现实融合单元的原理框图。
[0015]图中各个标号意义为：100、器械特征存储单元；200、视觉采集单元；300、指令通信单元；400、器械识别单元；500、虚拟现实融合单元。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]实施例1请参阅图1
‑
图2所示，本实施例提供基于多视觉融合采集信息的手术导航系统，包括器械特征存储单元100、视觉采集单元200、指令通信单元300、器械识别单元400和虚拟现实融合单元500；
[0018]器械特征存储单元100用于采集手术所需器械的图像特征，图像特征比如颜色、纹理、形状等，并建立器械名称和器械特征一一对应的数据集进行存储；具体的，器械特征存储单元100包括预先采集模块、器械特征提取模块和存储模块；预先采集模块用于采集各种手术器械的图像，并对每个手术器械对应的图像定义器械名称，可通过使用高清摄像头采集各种可能使用到的手术器械的图像，对每种器械拍摄多张图像，手动标注每个图像对应的器械名称，如“牵引器”“切割器”等；器械特征提取模块用于提取预先采集模块的图像的特征向量，用特征向量表示器械特征，可以使用图像特征提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多视觉融合采集信息的手术导航系统，其特征在于：包括器械特征存储单元（100）、视觉采集单元（200）、指令通信单元（300）、器械识别单元（400）和虚拟现实融合单元（500）；所述器械特征存储单元（100）用于采集手术所需器械的图像特征，并建立器械名称和器械特征一一对应的数据集进行存储；所述视觉采集单元（200）佩戴在医护人员眼睛处，用于以医护人员的视角采集手术室内的视觉图像；所述指令通信单元（300）用于识别医护人员的待寻找器械的语音，将语音转换为器械名称的文字输入至器械特征存储单元（100）中，从数据集调出器械名称对应的图像特征；所述器械识别单元（400）用于接收视觉采集单元（200）的视觉图像，提取视觉图像中的多个器械特征，并依次将多个器械特征与指令通信单元（300）的图像特征匹配；所述虚拟现实融合单元（500）用于在器械识别单元（400）发出器械特征与图像特征匹配时，标记器械特征对应的器械，将虚拟的标记点融合在所述视觉采集单元（200）的现实的视觉图像内，使医护人员的视角能同时观察到手术室内实景和虚拟的标记点。2.根据权利要求1所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述器械特征存储单元（100）包括预先采集模块、器械特征提取模块和存储模块；所述预先采集模块用于采集各种手术器械的图像，并对每个手术器械对应的图像定义器械名称；所述器械特征提取模块用于提取所述预先采集模块的图像的特征向量，用特征向量表示器械特征；所述存储模块用于将所述预先采集模块的每个器械名称和所述器械特征提取模块对应的特征向量作为一条数据，存储在数据库中。3.根据权利要求2所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述视觉采集单元（200）包括佩戴器和视觉图像采集模块；所述佩戴器用于辅助视觉图像采集模块固定在医护人员的头部；所述视觉图像采集模块用于在医护人员的眼睛处采集医护人员的第一人称视角图像作为视觉图像，并使医护人员透过视觉图像观看手术室。4.根据权利要求3所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述指令通信单元（300）包括语音识别模块和信号传输模块；所述语音识别模块用于采用语音识别技术实时捕捉并转换医护人员的语音...

【专利技术属性】
技术研发人员：熊力，罗建书，张江杰，毛彬睿，马程远，林良武，
申请(专利权)人：中南大学，
类型：发明
国别省市：