基于深度学习的人手腕脉口位置精准定位方法技术

本发明专利技术属于计算机图像处理技术领域，具体为基于深度学习的人手腕脉口位置精准定位方法。本发明专利技术的基本步骤为：对多人进行手部图片采样，并对样本图片进行处理，得到手部二值图和脉口坐标，作为深度学习模型的训练数据；接着对训练集进行监督式学习，得到泛化的深度学习模型；然后，根据拍摄到的手部图片，分别进行白平衡、转换到HSV色彩空间、Mean Shift颜色聚类、根据皮肤颜色提取二值图、对二值图进一步处理，得到手的轮廓；将处理好的二值图作为输入，放进预先训练好深度学习模型里，即得到手腕脉口点在图片上的坐标。本发明专利技术方法能以较高的精度找到人手腕的脉口位置，为机器人进行中医脉诊提供实时的视觉定位。

A Precise Positioning Method of Wrist Pulse Orifice Based on Deep Learning

The invention belongs to the field of computer image processing technology, in particular to a precise positioning method of wrist pulse mouth position based on depth learning. The basic steps of the present invention are as follows: sampling hand pictures of many people, processing sample pictures, obtaining hand binary maps and pulse coordinates as training data of the depth learning model; then supervising the training set to obtain a generalized depth learning model; and then, according to the captured hand pictures, white balance and conversion to HSV color space are carried out respectively. Mean Shift color clustering, extracting binary image according to skin color, further processing the binary image to get the contour of hand, and putting the processed binary image as input into the pre-trained depth learning model to get the coordinates of wrist pulse mouth points on the image. The method of the invention can find the position of the pulse mouth of the wrist with high precision, and provide real-time visual positioning for the robot to carry out pulse diagnosis of traditional Chinese medicine.

【技术实现步骤摘要】
基于深度学习的人手腕脉口位置精准定位方法
本专利技术属于计算机图像处理
，具体涉及一种利用深度学习实现对脉口点精准定位的方法。
技术介绍
脉诊即切脉，是医生用手指切按患者的脉搏，感知脉动应指的形象，以了解病情、判断病证的诊察方法。中医脉学理论渊深博奥，中医脉诊操作简便易行，是中医诊断学中独具特色的一种诊断方法。传统脉诊是凭借医生手指的灵敏触觉来体会分辨。随着科学技术的快速的发展，交叉学科的发展越来越重要，中医与人工智能的结合也越来越受到关注。具有人工智能的机器人也能对病人进行中医式的“望闻问切”四诊，而在进行脉诊的过程中，机器人一般是通过“手眼”系统——机械臂和摄像头及压力传感器实现对脉诊环节，因此对脉口点的精确定位是十分重要的。随着深度学习的发展越来越成熟，深度学习在物体检测的精度方面已经远远超过了传统方法，而且随着硬件的更新换代和算法的优化，其检测速度也越来越快，很多算法的实现达到了实时水平。因此，脉口点的精确定位完全可以用深度学习来完成。
技术实现思路
本专利技术的目的在于提供一种能够对人手腕脉口位置进行精准定位的方法。本专利技术提供的人手腕脉口位置精准定位方法，是基于深度学本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人手腕脉口位置精准定位方法，其特征在于，具体步骤如下：（1）获取深度学习的训练数据；（2）训练深度学习模型；（3）用训练好的模型对采集的手部图片预测脉口位置；其中，步骤（1）具体获取训练数据过程如下：（11）对多个人进行手部图片采样，根据深度学习模型对输入图片的形状要求，对图片进行裁剪和放缩；每个人采样数量不低于20张，采样时手的姿势有各种不同的状态，具有不同的旋转度和高度，保证采样时整个手及手腕包含在图片内；在手腕脉口处贴一张区别于皮肤颜色的标记；另外背景颜色要区别于皮肤颜色和卡片的颜色；（12）提取人手的二值图；首先对图片进行白平衡，将图片还原成接近原图真实色温的图片...

【技术特征摘要】
1.一种基于深度学习的人手腕脉口位置精准定位方法，其特征在于，具体步骤如下：（1）获取深度学习的训练数据；（2）训练深度学习模型；（3）用训练好的模型对采集的手部图片预测脉口位置；其中，步骤（1）具体获取训练数据过程如下：（11）对多个人进行手部图片采样，根据深度学习模型对输入图片的形状要求，对图片进行裁剪和放缩；每个人采样数量不低于20张，采样时手的姿势有各种不同的状态，具有不同的旋转度和高度，保证采样时整个手及手腕包含在图片内；在手腕脉口处贴一张区别于皮肤颜色的标记；另外背景颜色要区别于皮肤颜色和卡片的颜色；（12）提取人手的二值图；首先对图片进行白平衡，将图片还原成接近原图真实色温的图片；接着将图片转化到HSV颜色空间，其中，H表示色彩，S表示饱和度，V表示亮度值；（13）转换到HSV颜色空间后，先用合适的高斯核对图片进行模糊去噪处理，再用MeanShift算法对该图片进行颜色聚类，接着通过对HSV颜色空间的范围限制得到皮肤颜色的二值图；对二值图进行轮廓检测，找到面积最大的轮廓并保存下来，得到最终的手部轮廓；（14）接着提取标记的轮廓，也就是脉口的位置，其提取处理方式同提取手轮廓的方式类似，只需要将H改为小圆片的颜色即可；提取到标记的轮廓后，用矩形框将其包裹，并返回矩形框的对角坐标，作为训练时的标签；步骤（2）训练深度学习模型中，采用YOLOv3模型，对数据进行训练，其流程为：（21）YOLOv3采用Darknet-53；（22）对于数据集较小的情形，对数据进行数据增强处理，所谓增强处理包括通过旋转、裁剪、缩放、颜色浮动增加数据量；接着把采集的数据以7:2:1的比例分割为训练集、测试集、验证集，调整模型预设的超参数，进行训练；（23）超参数设置好后，开始训练，注意训练时的训练损失和验证损失值，两者同时减小说明网络预测能力正逐步增加，当两者不再减小时，说明网络已经收敛，结束训练；（24）多次调整超参数，得到泛化性能最好的模型；步骤（3）用训练好的模型对采集的手...

【专利技术属性】
技术研发人员：路红，汪子健，甘中学，罗静静，印文杰，商慧亮，张文强，杨友钊，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31