一种测量目标大小的方法、装置制造方法及图纸

本发明专利技术的一个技术方案是提供了一种测量目标大小的方法。本发明专利技术的另一个技术方案是提供了一种测量目标大小的装置。本发明专利技术利用深度学习与计算机视觉技术，动态识别参照物和测量目标状态，对参照物和测量目标状态大小进行自动化的测量和记录，比如，对内镜检查过程中的参照物(如活检钳)、背景目标(如结肠带、幽门口、贲门口、十二指肠降部乳头、回盲瓣等背景中正常目标组织)和/或异常目标(如扁平状息肉、异常血管分形、不典型增生、炎症、出血、粪渣、肿瘤、进展期癌等异常目标组织)进行大小的判断，输出精确和具体的数值。

【技术实现步骤摘要】
一种测量目标大小的方法、装置
本专利技术涉及一种测量目标大小的方法以及测量目标大小的装置，尤其适合于在内镜下测量目标大小。
技术介绍
现有的异常目标识别方法，主要包括：1)人类识别：大小判断靠操作人员的体力、注意力、记忆力、检查时间和操作经验，报告大小判断不精准，大部分操作人员的判断不够准确，报告中异常目标的大小都是估算值。2)物理识别：通过激光光源或激光雷达，采用脉冲发射和反射回波时延与成像距离呈正比关系，测量反射回波脉冲时延，得到成像距离，进而求得病灶尺寸，但是此类方法需要额外的脉冲发射和探测单元，系统结构复杂、成本较高。3)软件识别：只能计算重叠包围框参照物大小，不能判断两者之间距离，大小判断精度不够，即使使用深度学习技术在目前的单目摄像头，完全依靠计算机视觉技术，在非几何环境中，识别非朗伯体大小也是一项具有挑战性的工作；全自动的判断，过程中没有人工经验参与和判断，没有做到人机结合，作为医疗设备来说不够严谨；目标只能是特定的病灶，不能在检查过程中进行选择。
技术实现思路
本专利技术的目的是：提供一种至少可以用于内镜检查本文档来自技高网...

【技术保护点】
1.一种测量目标大小的方法，其特征在于，包括以下步骤：/n获取开合式工具的操作图像；/n对操作图像进行多目标检测，分别得到同一帧操作图像中的开合式工具和待测目标；/n确定开合式工具的开闭状态；/n根据开合式工具的开闭状态计算同一帧操作图像中其他目标的大小。/n

【技术特征摘要】
1.一种测量目标大小的方法，其特征在于，包括以下步骤：
获取开合式工具的操作图像；
对操作图像进行多目标检测，分别得到同一帧操作图像中的开合式工具和待测目标；
确定开合式工具的开闭状态；
根据开合式工具的开闭状态计算同一帧操作图像中其他目标的大小。


2.根据权利要求1所述的测量目标大小的方法，其特征在于，对所述操作图像进行所述多目标检测，分别得到同一帧所述操作图像中的所述开合式工具和所述待测目标的包围框；
所述待测目标包括背景目标和/或异常目标。


3.根据权利要求1或2所述的测量目标大小的方法，其特征在于，通过计算机视觉处理方法确定所述开合式工具的所述开闭状态。


4.根据权利要求3所述的测量目标大小的方法，其特征在于，确定所述开合式工具的所述开闭状态包括：
对所述操作图像进行边缘检测，得到所述开合式工具的边界图；
在所述开合式工具的所述包围框内对所述开合式工具的边界图进行直线检测，从而判断所述开合式工具的所述开闭状态。


5.根据权利要求4所述的测量目标大小的方法，其特征在于，在对所述操作图像进行边缘检测之前，所述测量目标大小的方法还包括：
对所述操作图像进行去噪处理。


6.根据权利要求5所述的测量目标大小的方法，其特征在于，在对所述操作图像进行去噪处理之前，所述测量目标大小的方法还包括：
截取所述操作图像中的不包括所述开合式工具的部分。


7.根据权利要求5或6所述的测量目标大小的方法，其特征在于，对所述操作图像进行去噪处理，包括以下步骤：
通过非局部平均去噪算法对所述操作图像进行去噪；
将去噪后的所述操作图像转换至HSV色彩空间，调整所述开合式工具的颜色区域，得到二值化掩码图像，其中，黑色为背景，白色为所述开合式工具；
对二值化掩码图像进行腐蚀操作，然后再进行膨胀操作，去掉最后的噪点。


8.根据权利要求4-7中任一项所述的测量目标大小的方法，其特征在于，在所述开合式工具的所述包围框内对所述开合式工具的所述边界图进行直线检测，从而判断所述开合式工具的所述开闭状态，包括以下步骤：
在得到的所述开合式工具的所述包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多个直线；
通过超平面算法，将多个直线的起始坐标点和终点坐标点进行二分，然后对两个分类的坐标点分别取均值，得到两个点，进而得到唯一的霍夫曼直线；
根据唯一的霍夫曼直线上的任意两个点的坐标(x1，y1)和(x2，y2)，得到斜率k＝(y2-y1)/(x2-x1)，通过斜率k的反正切得到对应的弧度r；
计算四个象限的角度angle：
如果计算得到的角度angle小于0，则将计算得到的角度angle小加180°作为最终的角度；否则直接将计算得到的角度angle作为最终的角度
根据最终的角度的大小确定所述开合式工具的所述开闭状态。


9.根据权利要求8所述的测量目标大小的方法，其特征在于，根据所述最终的角度的大小确定所述开合式工具的所述开闭状态，包括以下步骤：
若在第一象限和第二象限的角度分别为0°＜angle＜60°或150°＜angle＜180°，则确定所述开合式工具为开状态；
若在第一象限和第二象限的角度为70°＜angle＜120°，则确定所述开合式工具为关状态。


10.根据权利要求1-9中任一项所述的测量目标大小的方法，其特征在于，分别根据所述开合式工具的所述开闭状态计算同一帧所述操作图像中其他目标的大小，包括：
将背景目标和/或异常目标的标签进行缓存；
将背景目标和/或异常目标的包围框进行缓存；
将所述开合式工具的开状态和关状态临时变量进行缓存；
获取所述开合式工具开闭状态的实际大小，据此获得包围框内背景目标和/或异常目标的大小，并进行缓存；
当所述开合式工具处于关闭状态或横向打开状态时，将关闭状态下的背景目标和/或异常目标的大小的缓存，按照背景目标和/或异常目标的标签缓存进行分类，并计算每个分类的平均宽和平均高，得到背景目标和/或异常目标的大小；
当所述开合式工具处于竖向打开状态时，将打开状态下的背景目标和异常目标的大小的缓存，按照背景目标和/或异常目标的标签缓存进行分类，以每个分类中最后一个元素的大小作为背景目标和/或异常目标的大小。


11.根据权利要求10所述的测量目标大小的方法，其特征在于，获得所述包围框内所述背景目标和/或所述异常目标的大小的缓存，包括以下：
记录所述开合式工具所有霍夫曼直线的起始点和终点坐标，并通过超平面将坐标分为两个决策区域；
根据所有霍夫曼直线的起始点坐标以及超平面性质，获得最终的霍夫曼直线方程；
如果所述开合式工具是关状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，获取所述霍夫曼直线方程以上区域的所有坐标点，记录至坐标数组；遍历坐标数组，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到所述开合式工具关状态屏幕像素宽度；或者，遍历坐标数组，记录最左侧坐标点和左侧最上方坐标点，取二者坐标的平均数，得到所述开合式工具的左侧坐标；记录最右侧坐标点和右侧最上方坐标点，取二者坐标的平均数，得到所述开合式工具的右侧坐标；然后，计算所述开合式工具的左侧坐标和所述开合式工具的右侧坐标之间的欧氏距离，得到所述开合式工具关状态屏幕像素宽度；
如果所述开合式工具是开状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到所述开合式工具开状态屏幕像素宽度；
获取开合式工具开状态宽度和关状态宽度，分别对开合式工具开状态屏幕像素宽度和关状态屏幕像素宽度进行除操作；然后与背景目标和异常目标的包围框坐标中的宽度和高度相乘，得到包围框内背景目标和异常目标的大小，并存入缓存。


12.一种测量目标大小的装置，其特征在于，包括：
操作图像获取模块，被配置为获取开合式工具的操作图像；
多目标检测模块，被配置为对操作图像进行多目标检测，分别...

【专利技术属性】
技术研发人员：周平红，李全林，诸炎，
申请(专利权)人：复旦大学附属中山医院，
类型：发明
国别省市：上海;31