一种患者面部细节自动扫描装置及方法制造方法及图纸

本发明专利技术涉及一种患者面部细节自动扫描装置及方法，该装置包括面部位置校准模块、面部图像扫描模块、面部成像模块和中央控制模块。面部位置校准模块包括垂直轨道、垂直升降滑块和患者交互屏幕，通过中央控制模块算法实现患者身高体型不同的自适应调整；面部扫描模块包括补光灯、摄像头和圆弧滑轨，通过摄像头移动中对患者面部的多角度拍摄，对面部图像特征扫描；面部成像模块收到图像后通过中央控制模块的3D人脸重建算法将获得的多角度图像进行合成，生成高精度、多细节的患者面部数字孪生模型并展示；中央控制模块包括核心处理器和散热风扇组。解决了需要根据患者身高体型的不同自适应定位患者的面部位置，并对面部特征高精度稳定捕捉的问题。稳定捕捉的问题。稳定捕捉的问题。

【技术实现步骤摘要】
一种患者面部细节自动扫描装置及方法


[0001]本专利技术涉及医用面部图像扫描装置及方法领域，特别涉及一种用于疾病诊断参考的患者面部细节自动扫描装置及方法。

技术介绍

[0002]医学人工智能是解决医疗生产力的新兴科技力量。在我国，人口老龄化、慢病高速增长、医疗资源供需严重失衡以及地域分配不均等问题，造就了对医疗人工智能的巨大需求；同时，一些强规律性病症的诊断过度依赖医生的主观判断，造成了宝贵的医疗资源与时间的浪费，这也是引入医学人工智能亟待解决的问题。
[0003]目前，医学上对于患者面部病征的判断，主要以临床诊断为主，如耳鼻等五官相关疾病、各类面部皮肤病等；在我国中医范畴中，还存在面相问诊这一方式。这些都是费时费力的工作，需要经由医生对患者面部细节特征进行观察后下结论。然而，依赖于医生人工判断存在着主观性、以及偶尔的误诊等不确定性因素，这导致了不同医生可能会对相同疾病进行不同的诊断。特别是往往在医学上同一种疾病不同患者的表现都存在差异与多样性。这些医院中普遍存在的问题都需要准确清晰的图片来简单明了地定位病灶区域；同时，医生的主观性及患者的多样性，都希望医学人工智能引入带来的技术提高识别的准确性。
[0004]如下4个论文和专利为本文的算法提供了实现方法参考：
[0005]人脸面部关键点检测方法，专利公开号为：CN112417947A，题目为《关键点检测模型的优化及面部关键点的检测方法及装置》第[0047]到第[0219]中的具体实施内容，通过输入的初始面部图像计算出高精度的人脸面部关键点坐标。
[0006]基于图像增强技术的3D人脸重建方法，Feng Y,Wu F,Shao X,et al.Joint3d face reconstruction and dense alignment with position map regression network[C]//Proceedings of the European conference on computer vision(ECCV).2018:534
‑
551.
[0007]U
‑
net医学图像分割，Ronneberger O,Fischer P,Brox T.U
‑
net:Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer
‑
assisted intervention.Springer,Cham,2015:234
‑
241.
[0008]CNN卷积神经网络，Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(6):84
‑
90.
[0009]随着我国医学人工智能的发展，一些顶尖医院已经为其影像科引入搭载了深度学习算法的成像装置。但现存对于面部扫描的成像装置存在着分辨率低、面部识别精细度有限以及特征捕获不全，特别是对于相同病征的不同表现程度，以及这些方法对于病灶区域微小等特征会忽略掉许多细节特征，无法对其进行精准判断的缺陷，如，只通过一张图像实现面部扫描成像的装置，忽略了相同病征在不同角度下呈现的不同细节，反映在成像模型
上就无法体现其细节特征；对于不同身高体型的患者，现存成像装置的位置校准还是以手动调节为主，这是一项繁琐的工作，尤其是当来访患者较多时。且通过手动位置校准的每次成像结果都存在着一定的位置误差。

技术实现思路

[0010]针对目前医学场景下过度依赖与医生的主观性，成像技术分辨率低以及面部细节捕捉有限、现存成像装置的位置校准还是以手动调节为主的问题，提出了一种患者面部细节自动扫描装置及方法，通过深度+RGB彩色摄像头在轨道上的移动捕捉患者面部特征信息后，经由核心处理器搭载的算法生成患者面部数字孪生模型，能够解决：
[0011]1、首先，搭载的基于患者面部位姿识别算法并经由步进电机控制的水平
‑
垂直轨道滑块控制系统，能够计算出此时身高体型不同的患者面部位置与装置预设面部轮廓的差异，通过调整垂直轨道滑块的竖直高度与语音指导患者调整水平位置的方式自适应定位患者的面部位置——解决人工调整位置的方式导致的输入图像数据误差问题。其中，本装置使用的面部位姿识别算法是基于
技术介绍
中的人脸面部关键点检测方法，辅助完成扫描摄像头与用户面部的校准；
[0012]2、其次，搭载的3D人脸重建方法，能够使用图像增强算法对有限输入分辨率的图像进行图像增强。同等分辨率的情况下，增强后的图像作为3D人脸重建方法的输入，能够明显提升重建后数字孪生模型的精度，进而捕捉更多面部特征细节——解决成像分辨率低及面部特征细节捕捉有限问题。其中，本装置使用的3D人脸重建方法是基于
技术介绍
中的基于图像增强技术的3D人脸重建方法；
[0013]3、最后，搭载的基于深度学习的患者面部细节自动扫描方法，能够学习患者的面部特征并指定完成对病灶区域的识别、定位、分割及分类，快速地、客观地对患者面部异常区域进行识别标注，减少了对医生主观判断的过度依赖——解决主观依赖问题。其中，本装置使用的患者面部细节自动扫描方法是基于深度神经网络对输入的高清患者面部图像进行分割与识别分类，输出分类面部细节特征。分割模型采用基于
技术介绍
中的U
‑
net医学图像分割神经网络，这是一种经典的用于医学图像分割的编码器
‑
解码器结构实现患者面部图像分割。识别分类模型采用基于
技术介绍
中的CNN卷积神经网络，通过特征的提取与学习实现面部细节图像的识别与分类。
[0014]本专利技术的技术方案为：
[0015]一种患者面部细节自动扫描装置，包括面部位置校准模块、面部图像扫描模块、面部成像模块和中央控制模块，所述面部位置校准模块、面部图像扫描模块和面部成像模块相互交叉设置并分别与所述中央控制模块电连接，
[0016]所述面部位置校准模块对不同患者的身高体型自适应调整所述面部扫描模块的位置；
[0017]所述面部扫描模块对患者面部特征数据的扫描采集；
[0018]所述面部成像模块对扫描数据和生成的患者数字孪生模型结果进行展示，使医生查看结果并进行交互操作；
[0019]所述中央控制模块支持另外3个模块正确运行的算法逻辑和信号处理；
[0020]所述面部位置校准模块包括垂直轨道、垂直升降滑块和患者交互屏幕，所述垂直
轨道垂直放置；所述垂直升降滑块固定设置在所述垂直轨道的轨道上，自动调整上下位置；所述患者交互屏幕设置在所述垂直轨道的上部位置。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种患者面部细节自动扫描装置，其特征在于，包括面部位置校准模块、面部图像扫描模块、面部成像模块和中央控制模块，所述面部位置校准模块、面部图像扫描模块和面部成像模块相互交叉设置并分别与所述中央控制模块电连接，所述面部位置校准模块对不同患者的身高体型自适应调整所述面部扫描模块的位置；所述面部扫描模块对患者面部特征数据的扫描采集；所述面部成像模块对扫描数据和生成的患者数字孪生模型结果进行展示，使医生查看结果并进行交互操作；所述中央控制模块支持另外3个模块正确运行的算法逻辑和信号处理；所述面部位置校准模块包括垂直轨道(1)、垂直升降滑块(2)和患者交互屏幕(3)，所述垂直轨道(1)垂直放置；所述垂直升降滑块(2)固定设置在所述垂直轨道(1)的轨道上，自动调整上下位置；所述患者交互屏幕(3)设置在所述垂直轨道(1)的上部位置。2.根据权利要求1所述的患者面部细节自动扫描装置，其特征在于，所述面部位置校准模块还包括第一控制电机(5)、工型螺杆(6)、第一隔板(7)和第二隔板(8)，所述第一隔板(7)设置在所述垂直轨道(1)的上部位置并给所述患者交互屏幕(3)提供底部支撑作用，所述第二隔板(8)设置在所述垂直轨道(1)的下部位置，所述工型螺杆(6)设置在所述第一隔板(7)和第二隔板(8)之间，所述第一控制电机(5)设置在所述第二隔板(8)上并连接所述工型螺杆(6)的下端，所述垂直升降滑块(2)固定设置在所述工型螺杆(6)上，并通过所述第一控制电机(5)带动所述工型螺杆(6)转动实现上下位置调整。3.根据权利要求2所述的患者面部细节自动扫描装置，其特征在于，所述垂直升降滑块(2)靠近所述垂直轨道(1)的一端设置有第一滑轮(4)，所述第一滑轮(4)有至少2个分布在两侧的第一滑轮，所述第一滑轮(4)嵌合所述垂直轨道(1)使得垂直升降滑块(2)平稳调整上下位置。4.根据权利要求3所述的患者面部细节自动扫描装置，其特征在于，所述面部位置校准模块还包括屏幕支撑结构(9)，所述患者交互屏幕(3)通过支撑其底部的第一隔板(7)和支撑其顶部的屏幕支撑结构(9)固定在所述垂直轨道(1)上，所述屏幕支撑结构(9)调整合适位置以辅助所述患者交互屏幕(3)的正面倾斜至面向患者面部。5.根据权利要求4所述的患者面部细节自动扫描装置，其特征在于，所述患者交互屏幕(3)的屏幕类型为带扬声器的全彩LED显示屏，通过所述中央控制模块的控制显示预设人脸标准位置的轮廓线和其他信息并辅以语音指导的方式协助患者进行位置的水平调整。6.根据权利要求1
‑
5中任意一项所述的患者面部细节自动扫描装置，其特征在于，所述面部扫描模块包括圆弧滑轨(11)、摄像头(12)和圆弧滑轨滑块(13)，所述圆弧滑轨(11)固定设置在所述垂直升降滑块(2)上，匀速移动的所述圆弧滑轨滑块(13)设置在所述圆弧滑轨(11)上，所述摄像头(12)通过所述圆弧滑轨滑块(13)设置在所述圆弧滑轨(11)上；所述圆弧滑轨(11)包括设置于正下方的承托结构(15)、一端的第一边缘挡板(16)和另一端的第二边缘挡板(17)，所述承托结构(15)固定在所述垂直升降滑块(2)上，所述圆弧滑轨(11)通过所述承托结构(15)固定设置在所述垂直升降滑块(2)上；所述圆弧滑轨(11)为120
°
U型圆弧滑轨，沿轨道方向开设有U型槽(18)，所述U型槽(18)包括两侧的2个U型槽；所述圆弧滑轨滑块(13)包括位于内部的第二控制电机(19)、底部一侧的第二滑轮(20)
和底部另一侧的稳定减阻块(21)，所述第二控制电机(19)和第二滑轮(20)连接，所述第二滑轮(20)和稳定减阻块(21)分别嵌合设置在两侧的所述2个U型槽的槽内，所述第二滑轮(20)包括至少1个...

【专利技术属性】
技术研发人员：何宏，李坤昊，陈家毓，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：