基于RGBD的面部穴位定位方法、数字孪生系统及装置制造方法及图纸

本发明专利技术涉及中医面部穴位定穴方法，具体而言，涉及一种基于RGBD的面部穴位定位方法、数字孪生系统及装置，包括获取带像素坐标的原始图像，定位所述原始图像的面部部位框；基于构建好的RGBD穴位点检测网络获取所述面部部位框内的二维穴位坐标；基于所述像素坐标将所述二维穴位坐标转换为三维穴位坐标，完成穴位定位。该定位方法在提取的面部部位框内进行穴位定位，缩小了检测范围，加快了检测速度，同时基于像素坐标进行二维到三维的转换，提高了定位精度，保证了人脸信息不缺失，并将经过坐标转换的三维穴位坐标传递到可视化环境中的同组穴位点上，以此实现孪生系统的同步。以此实现孪生系统的同步。以此实现孪生系统的同步。

【技术实现步骤摘要】
基于RGBD的面部穴位定位方法、数字孪生系统及装置


[0001]本专利技术涉及中医面部穴位定穴方法，特别涉及一种基于RGBD的面部穴位定位方法、数字孪生系统及装置。

技术介绍

[0002]在传统中医学中，针灸治疗学占有非常重要的地位，且在过去很长的一段历史中，针灸学术得到不断传承和发展。穴位定位是中医中实施针灸推拿按摩及穴位用药的基础，学习如何进行精确的穴位定位是培养中医医师人才的过程中必不可少的一环。针灸经络图和针灸铜人模型的出现很大程度上缓解了学习者对腧穴定位、经络走向记忆理解的困难，大大地提高了教学和学习效率。随着深度传感器设备的普及，以及涵盖了多媒体、数据库、图像识别处理和虚拟仿真等技术的计算机技术的发展，其在中医针灸课程教学、模拟训练和手法规范性评估中得到越来越多的应用。在公开号为CN115512411A的中国专利申请中，公开了一种基于人工智能的面部穴位识别定位系统及方法，该系统利用获取到的人体面部信息，进行面部建模和穴位定位，同时在构建三维模型的过程中，依靠映射函数将二维平面的纹理进行映射，生成三维网格点，该过程极易在造成人脸信息的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGBD的面部穴位定位方法，其特征在于，所述定位方法包括：获取原始图像，所述原始图像包括：深度图像，基于显著性检测网络定位所述原始图像的面部部位框；基于构建好的RGBD穴位点检测网络获取所述面部部位框内的二维穴位坐标；结合所述深度图像将所述二维穴位坐标转换为三维穴位坐标，完成穴位定位。2.根据权利要求1所述的一种基于RGBD的面部穴位定位方法，其特征在于，所述原始图像还包括RGB图像。3.根据权利要求1～2任一所述的一种基于RGBD的面部穴位定位方法，其特征在于，所述显著性检测网络包括编码器和解码器，所述编码器包括RGB分支、深度分支和DQFM门；所述解码器包括预融合解码器和全融合解码器；其中，所述RGB分支用于提取所述RGB图像的特征，所述深度分支用于提取所述深度图像的特征，所述DQFM门用于过滤所述深度分支提取的特征，所述编码器用于融合RGB分支提取的特征与DQFM过滤的特征，并传递至所述解码器；所述预融合解码器对所述编码器的输出进行通道压缩和层次分组并传递至全融合解码器；所述全融合解码器对所述预融合解码器的输出进行聚合，定位面部部位框。4.根据权利要求1所述的一种基于RGBD的面部穴位定位方法，其特征在于，所述RGBD穴位点检测网络的构建方法如下：获取大量的面部部位框并标记原始穴位形成数据集；基于所述数据集训练卷积网络，得到RGBD穴位点检测网络；基于所述RGBD穴位点检测网络识别穴位坐标信息，并输出二维穴位坐标。5.根据权利要求4所述的一种基于RGBD的面部穴位定位方法，其特征在于，所述卷积网络的训练步骤如下：输入所述数据集，进行特征提取；对提取到的特征进行数值坐标回归计算，并反向传播；基于反向传播的结果训练模型，再进行评估，得到训练好的RGBD穴位点检测网络。6.根据权利要求4所述的一种基于RGBD的面部穴位定位方法，其特征在于，在所述卷积网络的训练步骤中，采用平均平方误差损失函数MSELo...

【专利技术属性】
技术研发人员：杨红雨，李欣洋，
申请(专利权)人：四川大学，
类型：发明
国别省市：