基于3D模型的单幅图像卡车体积测量方法技术

本发明专利技术公开了一种基于3D模型的单幅图像卡车体积测量方法，主要解决当前测量方法工作强度大、自动化程度不高的问题。其实现过程是：1.标定真实相机内参数，并使用OpenGL函数库建立虚拟现实环境，在环境中导入被测卡车图片与卡车3D模型；2.用ASM算法对卡车图片中卡车的特征点进行识别并建立被测卡车图片与卡车3D模型之间的联系；3.利用被测卡车图片上的待匹配点和卡车3D模型上的控制点实现卡车3D模型与被测卡车图片的自动匹配；4.根据虚拟现实环境与真实环境之间的比例关系，用卡车3D模型的体积计算出被测卡车的体积。本发明专利技术测量快速精确，自动化程度较高，可用于高速公路的收费系统。

【技术实现步骤摘要】

本专利技术属于图像处理
，具体的说是一种卡车体积的测量方法，用于高速 公路的收费系统。
技术介绍
目前，对于载货卡车，高速公路收费站要先对卡车的车厢体积进行测量，然后根据 卡车车厢体积的大小对卡车收取费用。目前高速公路收费站对卡车体积的测量，一般是采 用人工测量的方法，分别量出车辆的长宽高，再计算出车辆的体积。采用这种人工测量的方 法，操作人员的工作量较大，测量精度难以保证，特别是在车流量大、外界天气条件恶劣等 情况下，操作人员的工作强度较大。因此，研宄高精度全自动的检测方法非常重要。虚拟现实技术VR，见Burdea,GrigoreC.，andPhilippeCoiffet.''Virtual RealityTechnology. ''Presence:TeleoperatorsandVirtualEnvironments 12. 6(2003) :663-664,是使用计算机生成的环境来模拟真实世界中相似事物的一种先进技 术。在过去的十多年中，商业、工业、医学对虚拟现实技术的应用越来越多。VR的主要优 点是，它使用户能够在虚拟环境中动态地操作虚拟对象，感知虚拟环境，并获得虚拟反馈， 所有这一切都是由计算机和一些先进的输入和输出设备创建。虚拟现实技术可以构建虚 拟场景来模拟现实环境，为我们在虚拟环境中测量真实卡车体积提供了条件。很多学者 对基于虚拟现实的物体体积测量方法进行了研宄。Z.Zhang等人利用虚拟现实技术测量 食物的体积，见Z.Zhang,Y.Yang,Y.Yue，J.Fernstrom，W.Jia,andM.Sun,"Foodvolume estimationfromasingleimageusingvirtualrealitytechnology, "in2011IEEE 37thAnnualNortheastBioengineeringConference(NEBEC),April2011。文中是 通过建立虚拟现实环境，使虚拟相机的内外参数与真实相机的内外参数完全一致，手动 调整3D模型使其与被测食物匹配后测量食物体积，该方法需要标定出相机的外参数且 自动化程度不高。Kholgade等人提出一种方法Kholgade,Natasha,etal. 〃3Dobject manipulationinasinglephotographusingstock3Dmodels.〃ACMTransactionson Graphics(TOG) 33. 4 (2014) : 127,文中是用几何校正技术使3D模型与图片上的物体匹配， 该方法需要复杂的手动操作且没有进行相机标定而无法计算出图片中物体的体积。
技术实现思路
本专利技术的目的是提供一种基于3D模型的单幅图像卡车体积测量方法，以解决当 前测量方法工作强度大、自动化程度不高的问题。本专利技术的技术思路是：仅依靠单幅的卡车 图片进行ASM特征点识别和卡车3D模型的匹配完成对卡车体积的自动测量。其实现步骤 包括如下： (1)利用OpenGL函数库搭建虚拟现实环境：标定出真实相机的内参数矩阵K，用 OpenGL函数库在虚拟现实环境中设定一个虚拟相机，使虚拟相机的内参数与真实相机的内 参数一致，将被测卡车图片和与该卡车外形相似的卡车3D模型导入到虚拟现实环境中，并 计算出虚拟现实环境和真实环境的比例关系A; (2)用ASM算法识别被测卡车特征点： (2a)取50幅卡车图片作为训练样本集，手工标定每幅训练图片上的34个特征点， 标定的顺序要保持一致，各个特征部位的特征点的个数相同，将每幅图片对应的特征点的 坐标值按标定顺序放在一个形状向量H。中，c= 1，2,. . .，50 ; (2b)以形状向量H。初始数据，依次通过计算特征点的权重、图像配准、主成份分 析、建立局部灰度信息为卡车建立主动形状模型； (2c)使用主动形状模型自动识别被测卡车图片中卡车的34个特征点； (3)将卡车3D模型在虚拟现实环境中所成的像与被测卡车图片中的卡车进行匹 配： (3a)在虚拟现实环境中，利用EPnP算法调整卡车3D模型的位姿使卡车3D模型所 成的像与被测卡车图片中的卡车的位姿吻合； (3b)使用EPnP算法后，将虚拟现实环境和真实环境的比例关系调整为r1; (3c)选取被测卡车图片上卡车的9个特征点ai为待匹配点，i= 1，2, ...，9,同时 在3D卡车模型上找出与ai位置对应的9个特征点Xi作为控制点； (3d)将控制点\与待匹配点ai进行匹配得到目标点Yp根据控制点\和目标点 t构造控制能量函数【主权项】1. 一种基于3D模型的单幅图像卡车体积测量方法，包括如下步骤： (1) 利用OpenGL函数库搭建虚拟现实环境：标定出真实相机的内参数矩阵K，用 OpenGL函数库在虚拟现实环境中设定一个虚拟相机，使虚拟相机的内参数与真实相机的内 参数一致，将被测卡车图片和与该卡车外形相似的卡车3D模型导入到虚拟现实环境中，并 计算出虚拟现实环境和真实环境的比例关系 (2) 用ASM算法识别被测卡车特征点： (2a)取50幅卡车图片作为训练样本集，手工标定每幅训练图片上的34个特征点，标定 的顺序要保持一致，各个特征部位的特征点的个数相同，将每幅图片对应的特征点的坐标 值按标定顺序放在一个形状向量H。中，c= 1，2,. . .，50 ; (2b)以形状向量H。初始数据，依次通过计算特征点的权重、图像配准、主成份分析、建 立局部灰度信息为卡车建立主动形状模型； (2c)使用主动形状模型自动识别被测卡车图片中卡车的34个特征点； (3) 将卡车3D模型在虚拟现实环境中所成的像与被测卡车图片中的卡车进行匹配： (3a)在虚拟现实环境中，利用EPnP算法调整卡车3D模型的位姿使卡车3D模型所成的 像与被测卡车图片中的卡车的位姿吻合； (3b)使用EPnP算法后，将虚拟现实环境和真实环境的比例关系调整为r1; (3c)选取被测卡车图片上卡车的9个特征点ai为待匹配点，i= 1，2, ...，9,同时在 3D卡车模型上找出与ai位置对应的9个特征点Xi作为控制点； (3d)将控制点\与待匹配点ai进行匹配得到目标点Yp根据控制点\和目标点Y屬 造控制能量函数-(3e)将待匹配点％反投影到虚拟现实环境中形成一条以虚拟相机光心为端点的射线： ^=1^*1^zj'其中IT1是对虚拟相机的内参数矩阵取逆，z# ，目标点Yi是射线 氏上的一个点； (3f)将目标点YJPY」连成线段YA，j= 1，2, ? ? ?，9,j乒i，根据线段的平行、垂 直关系求出约束函数g(Zi); (3g)用约束优化算法SQP在g(Zi)的约束下求解EJXD的极小值得到一组最优解Zi， 将~带入Ri=K'hZi]T求出目标点Yi的值； (3h)根据目标点Yi的值，利用卡车3D模型的对称性求出卡车3D模型上3个被遮挡的 控制点Xe和与这3个控制点对应的目标点Ye，e= 10, 11，12,此时控制点为Xg，目标点为Yg， g=iUe= 1，2,…，12 ; (3i)构造形变能量函数，其中x是卡车3D模型上任 意一点，《g(x)是x的权函数；用最小二乘法求解E2(x)本文档来自技高网...

【技术保护点】
一种基于3D模型的单幅图像卡车体积测量方法，包括如下步骤：(1)利用OpenGL函数库搭建虚拟现实环境：标定出真实相机的内参数矩阵K，用OpenGL函数库在虚拟现实环境中设定一个虚拟相机，使虚拟相机的内参数与真实相机的内参数一致，将被测卡车图片和与该卡车外形相似的卡车3D模型导入到虚拟现实环境中，并计算出虚拟现实环境和真实环境的比例关系r0；(2)用ASM算法识别被测卡车特征点：(2a)取50幅卡车图片作为训练样本集，手工标定每幅训练图片上的34个特征点，标定的顺序要保持一致，各个特征部位的特征点的个数相同，将每幅图片对应的特征点的坐标值按标定顺序放在一个形状向量Hc中，c＝1,2,...,50；(2b)以形状向量Hc初始数据，依次通过计算特征点的权重、图像配准、主成份分析、建立局部灰度信息为卡车建立主动形状模型；(2c)使用主动形状模型自动识别被测卡车图片中卡车的34个特征点；(3)将卡车3D模型在虚拟现实环境中所成的像与被测卡车图片中的卡车进行匹配：(3a)在虚拟现实环境中，利用EPnP算法调整卡车3D模型的位姿使卡车3D模型所成的像与被测卡车图片中的卡车的位姿吻合；(3b)使用EPnP算法后，将虚拟现实环境和真实环境的比例关系调整为r1；(3c)选取被测卡车图片上卡车的9个特征点ai为待匹配点，i＝1,2,...,9，同时在3D卡车模型上找出与ai位置对应的9个特征点Xi作为控制点；(3d)将控制点Xi与待匹配点ai进行匹配得到目标点Yi，根据控制点Xi和目标点Yi构造控制能量函数E1(Xi)=Σi||Xi-Yi||22;]]>(3e)将待匹配点ai反投影到虚拟现实环境中形成一条以虚拟相机光心为端点的射线：Ri＝K‑1*[ai zi]T，其中K‑1是对虚拟相机的内参数矩阵取逆，zi∈[0,1]，目标点Yi是射线Ri上的一个点；(3f)将目标点Yi和Yj连成线段YiYj，j＝1,2,...,9，j≠i，根据线段YiYj的平行、垂直关系求出约束函数g(zi)；(3g)用约束优化算法SQP在g(zi)的约束下求解E1(Xi)的极小值得到一组最优解zi，将zi带入Ri＝K‑1*[ai zi]T求出目标点Yi的值；(3h)根据目标点Yi的值，利用卡车3D模型的对称性求出卡车3D模型上3个被遮挡的控制点Xe和与这3个控制点对应的目标点Ye，e＝10,11,12，此时控制点为Xg，目标点为Yg，g＝i∪e＝1,2,...,12；(3i)构造形变能量函数其中x是卡车3D模型上任意一点，ωg(x)是x的权函数；用最小二乘法求解E2(x)的最小值得到形变函数Tx(x)；(3j)用形变函数Tx(x)作用于卡车3D模型的每一点x，使卡车3D模型形变后在虚拟现实环境中所成的像与被测图片中的卡车相互匹配，匹配后卡车3D模型的体积V与被测卡车的体积V′的比例关系为:V2/V1＝r13；(4)计算出卡车3D模型的体积V，将V带入比例关系式，得到被测卡车的体积V2＝V1*r13。...

【技术特征摘要】

【专利技术属性】
技术研发人员：孙伟，李鹏慧，赵春宇，郭宝龙，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61