一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法技术

本发明专利技术涉及一种利用RGB-D摄像机快速获取足部三维脚型信息及三维重建模型的测量方法，该方法将RGB-D摄像机应用到足部表面三维信息的快速获取与足部表面模型的精细重建中，在不借助任何标记点的情况下，快速采集足部曲面的三维坐标。利用RGB-D摄像机扫描脚型曲面，实时获取深度信息，融合不同时序的深度图数据并重建出脚型曲面的全局模型，并可根据实际需要，提取测量脚型特征参数。该方法不仅测量效率高，实时性好，而且易于实现，测量成本低，容易操作，使用效果好。

【技术实现步骤摘要】
一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法
本专利技术涉及三维曲面测量
，特别是一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法。
技术介绍
目前，鞋型鞋号是依据大量统计、分析、归纳出的标准鞋型系列来设计的，这使得有相当一部分正常脚型者，他们应穿的鞋型鞋号处于标准鞋型鞋号的中间值上，但也只能穿用近似的鞋型鞋号。而绝大多数畸形脚型者，则根本就没有适合的鞋型鞋号。据调查统计，我国畸形脚的比例约占15%左右，其中后天性畸形居多，大多是因为鞋不适合造成的。因此根据不同的脚型设计出更适合的鞋，并实现这个过程的现代化、自动化，使穿鞋由“大众系列化”变为“个体适合化”的转变一直是制鞋业追求的目标之一。准确和高效率的脚型测量方法不仅是鞋楦设计和方便人们选鞋、穿鞋不可缺少的，而且也是大规模脚型测量、脚型矫正等所必须的。现有的脚型测量方法分接触式测量和非接触式测量两种：1、接触式测量：接触式测量主要是使用一些机械式的手工测量仪器或由接触式传感器组成的电子测量仪器，其中以手工测量为主。手工测量的工具主要包括：布带尺、钢卷尺、划笔、量高仪、踏脚印器和量脚卡尺。手工测量从测量方法上又分为直接法和间接法。直接法比较简单。首先用笔在脚的特征部位上标出有关测量点，利用布带尺、量高仪等工具可以直接测量出脚的各个有关数据。间接法利用脚印器踏出脚印并绘制出脚的轮廓线，然后再进行测量分析。接触式脚型测量的优点是投资少、操作步骤简单、灵活性强、方便携带、便于短时间内在不同的测量地点进行测量。缺点是接触式测量方式会对脚部产生压力，引起脚部形变，造成测量误差，测量时间长，而且测量的脚部参数有限，有些较复杂的参数或曲线无法测量，工作效率低、劳动强度大、重复再现性差、测量者之间的误差大，同时，这种测量方式难以获得脚部整体的数据信息。也不能对脚的截面形态进行数据采集。无法进行更深层次的研究；2、非接触式测量：在计算机、光学等学科发展的带动下。光学非接触式测量作为近年来兴起的一门测量技术受到越来越多的重视。目前，光学非接触式测量方法主要有构光测量、立体视觉测量、激光测量等：（1）结构光测量：结构光三维视觉基于光学三角法原理，其基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器（如摄像机）获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。结构光测量方法具有计算简单、体积小、价格低、便于安装和维护的特点，在实际三维轮廓测量中被广泛使用。但是测量精度受物理光学的限制，存在遮挡问题，测量精度与速度相互矛盾，难以同时得到提高；（2）立体视觉测量：在计算机视觉系统中，利用两台位置相对固定的摄像机或一个摄像机在两个不同的位置，从不同角度同时获取同一景物的两幅图像,通过计算空间点在两幅图像中的视差来获得其三维坐标值。立体视觉方法最大的特点是拍摄速度快，可以在不到一秒时间内完成拍摄任务，适合于需要快速测量场合。但立体视觉方法数据处理量大，处理时间长，而且需要进行两幅图像的匹配，在物体表面灰度和面形变化不大时，会影响匹配和测量精度；（3）激光测量：由一个多边形镜头定位的一根直线可视激光束，通过高频扫描来对物体表面进行扫描测量；应用三角定律，激光束在物体表面经反射后由激光接受器接收，然后经计算获得物体表面的坐标。激光扫描可以精确地提供三维环境信息，数据处理简单，受环境影响小。但成本高，精度、测距与扫描速率存在矛盾关系。获取足部三维模型不仅能够实现消费者的鞋类定制、智能选鞋，而且在矫形鞋定制、假肢生产、医学诊断和手术辅助等医疗领域也有重要应用：1、矫形鞋定制：采集患者脚型数据并传到矫形中心，矫形中心根据患者的脚型数据生产加工出矫形鞋；2、假肢生产：扫描患者的另一只健康的脚，快速得到这只脚的完整三维模型，然后利用镜像得到另外一只脚的三维模型，再利用得到的脚的模型数据生产出假肢，确保两只脚外形相同；3、医学诊断：快速采集患者的脚底三维数据，足科医生可根据采集到的三维数据准确判断患者的足病类型，以便于采取更科学有效的治疗方法；4、手术辅助：采集患者的脚部三维数据，通过在电脑中仔细观察患者脚型，研究最佳手术方案，确保手术的成功率。利用深度相机进行场景深度信息测量是近年来兴起的技术，这主要得益于深度图摄像机的成本降低，特别是微软推出的一款RGB-D摄像机：Kinect，极大地激发了研究者将RGB-D摄像机应用到医学、娱乐、机械等各研究领域。Kinect包含3个摄像机，中间的镜头为RGB彩色摄像机，左右两边镜头分别为红外线发射器和红外线COMS摄像机，传感器可以同时获取RGB和深度图像数据。Kinect深度成像的原理是利用光编码（LightCoding）技术，其中，红外线发射器与红外线COMS摄像机成一定角度对准目标场景，而不均匀透明介质放置于激光发射器镜头前，红外线发射器发射一束红外线透过不均匀介质后在场景中形成激光散斑，CMOS红外接收器获取散斑图像，并根据Kinect内部参数运用数学三角关系换算成深度值。传感器以每秒30帧的速度生成深度图像流，结合深度图图像坐标和小孔成像原理，实时获取测量视场内的物体表面的三维信息。与人工测量和其他三维扫描测量相比，Kinect深度相机的优势在于：（1）无需借助识别其它标记点便可一次性获取场景中所有点的三维信息；（2）采集数据的实时性好；（3）Kinect拍摄获取的深度图分辨率较高；（4）获取深度信息时受光照和表面纹理影响小；（5）Kinect价格低廉，使用成本低；（6）操作简单，用户可手持摄像机进行扫描。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于提供一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法，该方法不仅测量效率高，实时性好，而且易于实现，测量成本低，容易操作，使用效果好。为实现上述目的，本专利技术的技术方案的特征在于：（1）利用RGB-D摄像机散斑测距原理对脚型三维曲面进行测量：RGB-D摄像机红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到足部表面，足部表面的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过计算便得到足部深度图像的信息；（2）不借助任何标记点，手持RGB-D摄像机自由扫描脚型曲面，实时获取深度数据的基础上，结合X、Y坐标信息，重建出脚型曲面的全局三维模型；同时利用图像超分辨率技术对深度图进行了细节优化，提高模型的重建细节；（3）将三维模型导入到三维模型处理软件中，获取足部曲面三维信息并得到脚型特征参数，如足长、足宽、足趾高、足弓宽、足弓围、内踝高、外踝高、足跟宽、足后跟高等脚型参数。所述步骤（2）包括以下步骤：（2.1）在不粘贴任何标记点的情况下，根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；（2.2）使用迭代最近点算法匹配不同视角下的三维点云，逐帧计算不同朝向的点集的相关度，获得RGB-D摄像机的六自由度姿态(上下、左右、前后和俯仰、摇动、滚动），采用体集成方法将已配准的点云数据进行处理，在全局坐标系中生成一个三维体素网格，并不断更本文档来自技高网...

【技术保护点】
一种利用RGB‑D摄像机测量足部三维脚型信息及三维重建模型的方法，其特征在于：（1）利用RGB‑D摄像机散斑测距原理对脚型三维曲面进行测量：RGB‑D摄像机红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到足部表面，足部表面的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过计算便得到足部深度图像的信息；（2）不借助任何标记点，手持RGB‑D摄像机自由扫描脚型曲面，实时获取深度数据的基础上，结合X、Y坐标信息，重建出脚型曲面的全局三维模型；同时利用图像超分辨率技术对深度图进行了细节优化，提高模型的重建细节；（3）将三维模型导入到三维模型处理软件中，获取足部曲面三维信息并得到脚型特征参数，如足长、足宽、足趾高、足弓宽、足弓围、内踝高、外踝高、足跟宽、足后跟高等脚型参数。

【技术特征摘要】
1.一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法，其特征在于：（1）利用RGB-D摄像机散斑测距原理对脚型三维曲面进行测量：RGB-D摄像机红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到足部表面，足部表面的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过计算便得到足部深度图像的信息；（2）不借助任何标记点，手持RGB-D摄像机自由扫描脚型曲面，实时获取深度数据的基础上，结合X、Y坐标信息，重建出脚型曲面的全局三维模型；同时利用图像超分辨率技术对深度图进行了细节优化，提高模型的重建细节；（3）将三维模型导入到三维模型处理软件中，获取足部曲面三维信息并得到脚型特征参数，脚型特征参数包括足长、足宽、足趾高、足弓宽、足弓围、内踝高、外踝高、足跟宽及足后跟高脚型参数；所述步骤（2）包括以下步骤：（2.1）在不粘贴任何标记点的情况下，根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；（2.2）使...

【专利技术属性】
技术研发人员：何炳蔚，雷阿唐，沈恒华，赵强，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35