一种三维模型的尺寸标定装置及方法制造方法及图纸

本发明专利技术实施例提供了一种三维模型尺寸标定装置及方法：多个标志点，设置在目标物上或目标物周边；图像采集装置，其采集区域与目标物相互移动从而采集目标物多个图像，所述多个图像中的至少一部分图像包括标志点；处理器，根据上述多个图像中的至少一部分图像合成目标物的3D模型，并识别出上述至少一部分图像中的标志点，并根据标志点的坐标或尺寸，得到目标物3D模型的坐标或尺寸。通过优化标定标志的形状来提高标定效率。形状来提高标定效率。形状来提高标定效率。

【技术实现步骤摘要】
一种三维模型的尺寸标定装置及方法


[0001]本专利技术涉及形貌测量
，特别涉及3D形貌测量


技术介绍

[0002]目前在利用视觉方式进行3D采集和测量时，通常使得相机相对目标物转动，或在目标物周边设置多个相机同时进行采集。例如南加州大学的DigitaL EmiLy项目，采用球型支架，在支架上不同位置不同角度固定了上百个相机，从而实现人体的3D采集和建模。然而无论哪种方式，都需要相机与目标物距离较短，至少应当在可布置的范围内，这样才能形成相机在不同位置采集目标物图像。
[0003]然而在一些应用中，无法环绕目标物进行图像的采集。例如监控探头在采集被监控区域时，由于区域较大、距离较远，且采集对象不固定，因此难以围绕目标对象设置相机，或使得相机围绕目标对象转动。在这种情形下如何进行目标对象的3D采集与建模是亟待解决的问题。
[0004]更进一步的问题，对于目标即使完成3D建模，如何得到其准确的尺寸，从而使得3D模型具有绝对的尺寸也是没有解决的问题。例如在实验室或工厂中，可以针对目标物进行各种标定物的设计，可以在目标物周边放置标定物，从而根据标定物的已知坐标，最终获得目标物的坐标或绝对尺寸。然而，如何进行恰当的标定物设置，从而实现快速、准确的尺寸计算一直未得到较好解决。同时，现有标定方法均是人工对每个图片中的标定物影像进行选择，从而帮助后续三维合成软件识别该标定物，从而准确获得其坐标。这样的方法费时费力。
[0005]而且，除了单一目标物3D构建外，通常还有目标物内部空间3D模型构建需求和周边较大视场范围内的3D模型构建的需求，这是传统环绕式3D采集设备所很难做到的。
[0006]在现有技术中，也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现这在环绕式3D采集中是可行的，可以事先测量目标物尺寸。但在开放式的空间中则难以事先测量目标物，例如需要采集获得街道、交通路口、楼群、隧道、车流等的3D信息(不限于此)。这使得这种方法难以奏效。即使是固定的较小的目标物，例如家具、人身体部分等虽然可以事先测量其尺寸，但这种方法依然受到较大限制：目标物尺寸难以准确确定，特别是某些应用场合目标物需要频繁更换，每次测量带来大量额外工作量，并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。
[0007]现有技术虽然也有对于环绕式采集设备优化的方法，但当3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时，现有技术就没有更佳的优化方法。

技术实现思路

[0008]鉴于上述问题，提出了本专利技术提供一种克服上述问题或者至少部分地解决上述问
题的一种三维模型尺寸标定装置及方法。
[0009]本专利技术实施例提供了一种三维模型尺寸标定装置及方法：多个标志点，设置在目标物上或目标物周边；
[0010]图像采集装置，其采集区域与目标物相互移动从而采集目标物多个图像，所述多个图像中的至少一部分图像包括标志点。
[0011]处理器，根据上述多个图像中的至少一部分图像合成目标物的3D模型，并识别出上述至少一部分图像中的标志点，并根据标志点的坐标或尺寸，得到目标物3D模型的坐标或尺寸。
[0012]在可选的实施例中：所述识别采用深度学习的方法。
[0013]在可选的实施例中：所述深度学习算法依据的模型的训练方法包括：
[0014]模型包括三部分组成，第一部分以VGG16作为骨架网络；第二部分搭建FPN结构，第三部分为分类和检测框预测网络。
[0015]在可选的实施例中：模型的损失函数为：
[0016][0017]其中，x为目标类别，c为置信度，l为预测框，g为真实框，N为与真实框相匹配的先验框个数，Loc是定位损失，conf是分类置信损失，α是权重项，默认设置为1。
[0018]在可选的实施例中：在训练时，根据标志点目标位置随机选适合的区域来取数据。
[0019]在可选的实施例中：识别过程包括：
[0020]当检测图像尺寸小于预设值时，直接把原图传入网络进行检测得到目标位置；
[0021]当图像尺寸大于网络要求的图像尺寸预设值时，采用滑窗检测的方法，首先将图像根据网络输入的大小划分为n*m块，检测过程采用膨胀滑动窗口方式检测，每次读取一块图像送入网络进行预测，相邻两滑动窗口具有重叠度，保证每个目标都能被完整的检测到，处理完整幅图之后，再对所有检测结果进行非极大值抑制方式，去除重复的置信度低的目标得到最终的检测结果。
[0022]在可选的实施例中：所述对所有检测结果进行非极大值抑制方式，去除重复的置信度低的目标得到最终的检测结果的过程包括：
[0023]1)将检测结果边界框根据置信度进行排序；
[0024]2)选择置信度最高的边界框添加到最终输出列表中，将其从边界框列表中删除；
[0025]3)计算所有边界框的面积；
[0026]4)计算置信度最高的边界框与其他候选框的交并比(IOU)；
[0027]5)删除IOU大于阈值的边界框；
[0028]6)重复上述过程，直至边界框列表为空。
[0029]在可选的实施例中：所述滑窗检测为：在针对大图像小目标检测时需要进行滑动检测，先对图像进行分块，滑窗大小(a，b)根据所用网络大小(w，h)而定，当图像尺寸(W，H)不能整除(w，h)时，为了保证输入到网络中的图像尺寸一致，用0值填充边界。
[0030]在可选的实施例中：标志点结构为以下任意结构：
[0031]标志点A为两个同心圆构成，且两者之间构成的圆环与内圆具有不同颜色，在内圆圆心位置具有红点；
[0032]标志点B轮廓为圆形，圆形中心具有十字型结构，圆形内部颜色与十字型结构颜色不同，圆心位置具有红点；
[0033]标志点C轮廓为圆形，圆形中心内接三角形结构，圆形内部颜色与三角形结构颜色不同，圆心位置具有红点；
[0034]标志点D轮廓为圆形，圆形中心内接矩形结构，圆形内部颜色与矩形结构颜色不同，圆心位置具有红点；
[0035]标志点D轮廓为圆形，圆形中心内接五角星结构，圆形内部颜色与五角星结构颜色不同，圆心位置具有红点。
[0036]在可选的实施例中：在采集时对相机位置进行优化。。
[0037]专利技术点及技术效果
[0038]1、通过优化标定标志的形状来提高标定效率。
[0039]2、通过优化相机采集图片的位置，保证能够同时提高合成速度和合成精度。优化相机采集位置时，无需测量角度，无需测量目标尺寸，适用性更强。
[0040]3、首次提出利用特定神经网络利用特定识别方法自动识别特定标定物，提高识别效率和准确性，实现尺寸的自动计算。
[0041]4、首次提出利用自转式智能视觉3D采集设备采集目标物内部空间的3D信息，更加适用于开阔空间和较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型尺寸标定装置及方法，其特征在于：多个标志点，设置在目标物上或目标物周边；图像采集装置，其采集区域与目标物相互移动从而采集目标物多个图像，所述多个图像中的至少一部分图像包括标志点。处理器，根据上述多个图像中的至少一部分图像合成目标物的3D模型，并识别出上述至少一部分图像中的标志点，并根据标志点的坐标或尺寸，得到目标物3D模型的坐标或尺寸；2.如权利要求1所述的装置及方法，其特征在于：所述识别采用深度学习的方法。3.如权利要求2所述的装置及方法，其特征在于：所述深度学习算法依据的模型的训练方法包括：模型包括三部分组成，第一部分以VGG16作为骨架网络；第二部分搭建FPN结构，第三部分为分类和检测框预测网络。4.如权利要求3所述的装置及方法，其特征在于：模型的损失函数为：其中，x为目标类别，c为置信度，l为预测框，g为真实框，N为与真实框相匹配的先验框个数，Loc是定位损失，conf是分类置信损失，α是权重项，默认设置为1。5.如权利要求4所述的装置及方法，其特征在于：在训练时，根据标志点目标位置随机选适合的区域来取数据。6.如权利要求2所述的装置及方法，其特征在于：识别过程包括：当检测图像尺寸小于预设值时，直接把原图传入网络进行检测得到目标位置；当图像尺寸大于网络要求的图像尺寸预设值时，采用滑窗检测的方法，首先将图像根据网络输入的大小划分为n*m块，检测过程采用膨胀滑动窗口方式检测，每次读取一块图像送入网络进行预测，相邻两滑动窗口具有重叠度，保证每个目标都能被完整的检测到，处理完整幅图之后，再对所有检测结果进行非极大值抑制方式，...

【专利技术属性】
技术研发人员：左忠斌，左达宇，
申请(专利权)人：天目爱视北京科技有限公司，
类型：发明
国别省市：