一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法技术

本发明专利技术公开了一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，具体为：使用带有单目相机和惯性测量元件(InertialMeasurementUnit，IMU)的手机，利用SLAM技术对被测量物体进行尺度测量，计算出相机拍摄的照片被测物体附近像素点的代表的实际尺度；使用深度学习的卷积神经网络技术，分割待测照片，遮盖住原图像中不相关内容，得到主体图像之后再进行二值化处理，选定需要测量的物体主体；计算该二值图的主体包含的像素个数和检测主体的边缘像素点个数，结合每个像素代表的长度数值，换算出该物体的表面周长和面积。本发明专利技术实现了仅通过手机就能迅速、准确地得到相机视野中物体的单个面边缘周长、这个面投影到平面的面积和弯曲线形物体长度。投影到平面的面积和弯曲线形物体长度。投影到平面的面积和弯曲线形物体长度。

【技术实现步骤摘要】
一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法


[0001]本专利技术属于电子信息领域，更具体地说为一种涉及基于移动终端摄像头和SLAM算法的AR测量技术和基于图像分割技术来测量物体某个面的周长和面积的方法。

技术介绍

[0002]在很多现实场景中都需要对客观物体进行测量，包括物体长度、周长、面积等，在对规则物体长度的测量中一般采用软尺、刻度尺等工具，周长和面积则需要对长度进行再次测量累加或对测量值进行计算。其缺点在于效率低下，只能对简单的规则物体进行测量，并且可能需要复杂计算，此外还需要测量工具的辅助。由于种种限制，传统的测量方法已经不能满足现代人们生活和生产的要求，因此需要一种操作简单方便，操作设备使用便捷并且能够大规模广泛使用的测量方法。
[0003]目前国内外有多个厂商研发出了基于智能手机平台的AR测量软件，如苹果公司使用ARKit、谷歌公司使用ARCore测量物体的尺寸、面积和体积。以上技术便捷、测量准确率高，但目前仅限于测量物体直线长度和形状较规则物体的面积和体积。
[0004]随着计算机技术和计算机视觉算法的不断壮大发展，各种新颖的计算机辅助测量方法大量涌现，解决了不能对含有曲线和复杂结构的物体进行测量的缺点，在经典测量场景中展现了更高的效率。然而，以往的基于计算机的测量方法要求测量人员配备臃肿的外设和自身的经验足够丰富，这不利于广泛和便携式的应用。针对这一问题，可以应用机器视觉来降低外设需求，简单化操作流程。
[0005]基于机器视觉的测量方法一般分为单目视觉测量和双目视觉测量。双目视觉法的虽然精度更高，但仍旧需要附加一定的外设，操作复杂。单目视觉的硬件依赖极少操作便捷但是测量精度较低，在复杂场景下由于参考点不足难以进行目标检测，针对这一问题可以应用王鑫龙在2020年提出的SOLOv2算法对拍摄图像进行处理(Wang X,Zhang R,Kong T,et al.SOLOv2:Dynamic,Faster and Stronger.2020.)。在SLAM的众多传感器解决方案中，IMU是公认的具有很大的潜力实现低成本高精度的定位与建模的技术(Zhenfei,Yang,Shaojie,et al.Monocular Visual
–
Inertial State Estimation With Online Initialization and Camera
–
IMU Extrinsic Calibration[J].IEEE Transactions on Automation Science&Engineering,2017.)。单目视觉下应用SLAM技术具有尺度不确定性的缺陷，针对这一问题Mur
‑
Artal R提出了IMU初始化的方法来获得场景的尺度和重力的方向(Mur
‑
Artal R,Tardos J D.Visual
‑
Inertial Monocular SLAM with Map Reuse[J].IEEE Robotics and Automation Letters,2016,PP(99):796
‑
803.)。单目视觉的SLAM技术应用在快速运动场景下视觉尺度、重力、陀螺仪和加速度计的偏差会越来越大，每次都需消耗大量性能以初始化，难以稳定高效地工作，针对这一问题Huang W提出了计算量更小的初始化方法(Huang W,Liu H.Online Initialization and Automatic Camera
‑
IMU Extrinsic Calibration for Monocular Visual
‑
Inertial SLAM[C]//2018:5182
‑
5189.)。

技术实现思路

[0006]本专利技术的目的是提供一种利用智能手机来测量物体曲线长度、不规则物体投影面周长、面积的测量方法，以解决传统手工测量和计算机测量的不便捷性和不准确性问题，实现对物体进行便捷的、快速、准确的测量的目的。
[0007]本专利技术的目的是通过以下技术方案实现的，一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，包括以下步骤：
[0008]步骤S1，手机尽可能地先与需要测量物体保持平行，在进行平面检测时，选取合适的参照点，平行移动设备；
[0009]步骤S2，平行移动过程中手机所携带的IMU传感器的加速度计检测目标物体的加速度信号a，陀螺仪检测角速度信号ω，对加速度a数据进行积分和二次积分得到手机在现实坐标下的速度v和位移d等信息，计算出手机移动前后相较于自身的位置变化；
[0010]步骤S3，利用摄像头拍摄的前后不同图像帧中特征点在图像中的视差图和摄像头的焦距信息，进行特征点的三角化，计算出被测物体距离相机移动线段的垂直距离(特征点的深度信息)。对比手机移动时拍摄的图像帧中的特征点相对位置，计算出特征点每的移动像素数，由手机计算出的自身移动距离和特征点移动像素数计算得出每个像素代表的长度和面积信息；
[0011]步骤S4，得到的包含以上信息的图片上传给服务器，使用卷积神经网络的分类能力计算出图片中存在的多个主体的边界，对多个主体做纯色遮盖；
[0012]步骤S5，由用户选定其中一个主体，从而对图像做进一步的二值化处理，得到一张二值图；
[0013]步骤S6，扫描整张二值图，检测出选定主体的表面边缘的像素点和总个数点，通过参照每个像素点的实际长度转换出每个像素点代表的实际长度和面积，累加出最终结果。
[0014]本专利技术中，步骤S1要尽量得到精确有用的参照点，使参照点移动形成的参照线段与摄像头的移动线段尽量平行。
[0015]本专利技术中，步骤S2要求的设备在现实世界中的移动距离d的计算方式如下：
[0016][0017]上式中：a——设备移动时IMU实时输出的加速度信息；
[0018]t0——设备开始移动的时间；
[0019]t——设备移动结束的时间。
[0020]本专利技术中，步骤S3的设备焦点和特征点的距离计算公式为：
[0021][0022]上式中：MO1——特征点和设备焦点的距离；
[0023]b——特征点在前后两次拍摄中的视差，其中：b＝|I2‑
I1|；
[0024]d——设备的移动距离；
[0025]M1O1——像点和设备焦点的距离。
[0026]本专利技术中，步骤S3的设备和特征点的距离计算公式(景深)Z为：
[0027][0028]上式中：b——特征点在前后两次拍摄中的视差；
[0029]d——设备的移动距离；
[0030]O1I1——相机拍摄右图像时的焦距。
[0031]本专利技术中，步骤S3的特征点相对于设备的水平坐标计算公式X为：
[0032][0033]本专利技术中，步骤S3的特征点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SLAM算法和图像实例分割技术的物体表面周长和面积测量方法，其特征在于，包括以下步骤：步骤S1，通过手机摄像头连续拍摄被测量物体，尽量使手机摄像头光轴与被测物体待测表面垂直；步骤S2，获取相机拍摄区域的特征点并计算像素代表的长度和面积；特征点由关键点和描述子组成，关键点指的是该特征点在图像中的位置，描述子是一个向量，描述了关键点周围的像素信息；采用ORB算法作为特征的提取算法；通过移动和旋转手机，对手机IMU的输出加速度a进行积分和二次积分得到手机在世界坐标系下的速度v和位移d；利用摄像头拍摄的图像帧中特征点在图像中的位移和手机摄像头在世界坐标系中的位移、角度变化和摄像头的焦距信息，进行特征点的三角化，计算出被测物体距离相机光心的距离，和被测物体的尺寸；换算出照片中心附近每个像素点代表的长度和面积；步骤S3，分割图像中的实体；将图片以及图片中每个像素代表的实际距离数据上传给服务器，使用卷积神经网络的分类能力计算出图片中存在的多个主体的边界，对多个主体做纯色遮盖；选择SOLOv2算法，分割图像中的每一个实例；其核心思想是将分割问题转换为位置分类问题，根据实例的位置和大小，将类别分配给每个像素实例达到分割实例对象的效果，从而不需要借助锚点和边界框；SOLOv2算法框架包括分类分支和掩膜分支这两个核心分支，其中第一个分支用于预测目标语义类别，而第二个分支再细分为学习卷积核的...

【专利技术属性】
技术研发人员：刘承启，邹伟平，黄文海，黄伟，曹孝道，宋雨轩，
申请(专利权)人：南昌大学，
类型：发明
国别省市：