一种目标检测和距离估计方法及装置制造方法及图纸

本发明专利技术公开了一种目标检测和距离估计方法及装置，该方法包括：利用摄像机采集目标的图像信息；获取目标与摄像机的距离信息；对图像信息中的目标进行标注得到目标的位置信息；根据目标与摄像机的距离信息对图像信息中的目标进行标注得到目标的距离信息；对目标检测和距离估计网络模型进行优化，得到优化目标检测和距离估计网络模型；利用目标的位置信息和目标的距离信息，对优化目标检测和距离估计网络模型进行训练，得到训练目标检测和距离估计网络模型；获取待处理的图像信息，利用训练目标检测和距离估计网络模型对待处理的图像信息进行处理，得到目标检测和距离估计结果。本发明专利技术只需要进行一次运算，在检测目标的同时计算出目标的距离。算出目标的距离。算出目标的距离。

【技术实现步骤摘要】
一种目标检测和距离估计方法及装置


[0001]本专利技术涉及计算机视觉、混合现实、自动驾驶及人工智能
，尤其涉及一种目标检测和距离估计方法及装置。

技术介绍

[0002]混合现实技术(包括增强现实和虚拟现实)是近年来发展迅速、备受关注的一项新型人机交互技术。混合现实技术融合虚拟世界和现实世界，以产生虚实物体共存并实时可交互的可视化环境。混合现实本质上提供了一种全新的计算机交互界面和手段，可广泛应用于军事(如军事训练、作战、维修等)、工业(如远程专家支持、巡检、信息可视化等)、娱乐、教育等，未来更有可能成为继手机之后的下一代计算平台。
[0003]在混合现实技术中，后台计算机需要把虚拟的画面叠加到由摄像头采集的真实场景画面中，由于输出到双眼的内容是立体的，所以需要得到我们要叠加的现实世界位置的距离信息以保证在输出到双眼时虚拟画面具有视差而呈现出立体感。在这个过程中，既要对摄像机捕获的图像进行目标检测，也要对目标估计其距离摄像机的距离，在以往的方案中，往往使用两个不同的算法分别进行目标检测和距离估计，这样会消耗大量的计算资源和造成很大的时延。本专利技术的算法只需要进行一次运算，在检测目标的同时计算出目标的距离。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种目标检测和距离估计方法及装置，解决需要同时给出图像目标信息和距离信息的问题。
[0005]为了解决上述技术问题，本专利技术实施例第一方面公开了一种目标检测和距离估计方法，所述方法包括：
[0006]S1，利用摄像机采集目标的图像信息；
[0007]S2，获取所述目标与摄像机的距离信息；
[0008]S3，对所述图像信息中的目标进行标注，得到所述目标的位置信息；
[0009]S4，根据所述目标与摄像机的距离信息，对所述图像信息中的目标进行标注，得到所述目标的距离信息；
[0010]S5，对目标检测和距离估计网络模型进行优化，得到优化目标检测和距离估计网络模型；
[0011]S6，利用所述目标的位置信息和所述目标的距离信息，对所述优化目标检测和距离估计网络模型进行训练，得到训练目标检测和距离估计网络模型；
[0012]S7，获取待处理的图像信息，利用所述训练目标检测和距离估计网络模型对所述待处理的图像信息进行处理，得到目标检测和距离估计结果。
[0013]作为一种可选的实施方式，本专利技术实施例第一方面中，所述获取所述目标与摄像机的距离信息，包括：
[0014]保存摄像机采集的目标的图像信息，并保存采集图像时的时间戳；
[0015]设置高频差分GPS与所述摄像机的时钟同步；
[0016]利用所述高频差分GPS采集目标与摄像机的距离信息。
[0017]作为一种可选的实施方式，本专利技术实施例第一方面中，所述对所述图像信息中的目标进行标注，得到所述目标的位置信息，包括：
[0018]利用打标工具，对所述图像信息中的目标进行标注，得到所述目标的位置信息；
[0019]所述位置信息包括所述目标左上角的坐标、目标高、宽和目标的类别信息。
[0020]作为一种可选的实施方式，本专利技术实施例第一方面中，所述根据所述目标与摄像机的距离信息，对所述图像信息中的目标进行标注，得到所述目标的距离信息，包括：
[0021]S41，获取所述目标的高频差分GPS时间戳和所述图像信息中目标的时间戳；
[0022]S42，对所述目标的高频差分GPS时间戳和所述图像信息中目标的时间戳进行处理，得到时间差信息；
[0023]S43，预设时间差阈值，将所述时间差信息与所述预设时间差阈值进行比较，如果所述时间差信息小于预设时间差阈值，对所述目标的位置信息进行处理，得到所述目标的距离信息。
[0024]作为一种可选的实施方式，本专利技术实施例第一方面中，所述对目标检测和距离估计网络模型进行优化，得到优化目标检测和距离估计网络模型，包括：
[0025]S51，对目标检测和距离估计网络模型的输出特征图的维度进行修改，得到改进目标检测和距离估计网络模型；
[0026]S52，引入距离信息损失函数；
[0027]所述距离信息损失函数为：
[0028][0029]式中，Loss
d
为距离信息损失函数，d
g
为真实距离，d
p
为网络预测距离；
[0030]S53，对所述距离信息损失函数进行处理，得到网络模型总损失函数；
[0031]S54，利用所述网络模型总损失函数，对所述改进目标检测和距离估计网络模型进行训练，得到优化目标检测和距离估计网络模型。
[0032]作为一种可选的实施方式，本专利技术实施例第一方面中，所述网络模型总损失函数为：
[0033]Loss＝Loss
d
+Loss
obj
+Loss
loc
+Loss
conf
[0034]其中：
[0035][0036]Loss
d
为距离信息损失函数，d
g
为真实距离，d
p
为网络预测距离；
[0037][0038]Loss
obj
为目标损失函数，s为输出分辨率大小，分别表示有、无真实目标的情形，B为预测目标个数，C
i
表示网络输出预测目标的概率，表示实际目标的有无，λ为超参数；
[0039][0040]其中，x
i
,y
i
,h
i
,w
i
表示目标真实位置的中心坐标以及高和宽，分别表示网络输出预测的目标中心位置以及高和宽，Loss
loc
为位置损失函数；
[0041][0042]Loss
conf
为目标位置预测损失函数，p
i
(c)为网络输出预测为目标类别c的概率，表示该位置为目标c的真实概率，为classes表示类别数量。
[0043]作为一种可选的实施方式，本专利技术实施例第一方面中，所述目标检测和距离估计网络模型包括输入层、第一处理层、第二处理层、第三处理层、第四处理层、第五处理层、输出层；
[0044]所述输入层的维度为512
×
512
×
3；
[0045]所述输入层的输出为第一处理层的输入，所述第一处理层的维度为256
×
256
×
16；
[0046]所述第一处理层的输出为所述第二处理层的输入，所述第二处理层的维度为128
×
128
×
32；
[0047]所述第二处理层的输出为所述第三处理层的输入，所述第三处理层的维度为64
×
64
×
64；
[0048]所述第三处理层的输出为所述第四处理层的输入，所述第四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测和距离估计方法，其特征在于，所述方法包括：S1，利用摄像机采集目标的图像信息；S2，获取所述目标与摄像机的距离信息；S3，对所述图像信息中的目标进行标注，得到所述目标的位置信息；S4，根据所述目标与摄像机的距离信息，对所述图像信息中的目标进行标注，得到所述目标的距离信息；S5，对目标检测和距离估计网络模型进行优化，得到优化目标检测和距离估计网络模型；S6，利用所述目标的位置信息和所述目标的距离信息，对所述优化目标检测和距离估计网络模型进行训练，得到训练目标检测和距离估计网络模型；S7，获取待处理的图像信息，利用所述训练目标检测和距离估计网络模型对所述待处理的图像信息进行处理，得到目标检测和距离估计结果。2.根据权利要求1所述的目标检测和距离估计方法，其特征在于，所述获取所述目标与摄像机的距离信息，包括：保存摄像机采集的目标的图像信息，并保存采集图像时的时间戳；设置高频差分GPS与所述摄像机的时钟同步；利用所述高频差分GPS采集目标与摄像机的距离信息。3.根据权利要求1所述的目标检测和距离估计方法，其特征在于，所述对所述图像信息中的目标进行标注，得到所述目标的位置信息，包括：利用打标工具，对所述图像信息中的目标进行标注，得到所述目标的位置信息；所述位置信息包括所述目标左上角的坐标、目标高、宽和目标的类别信息。4.根据权利要求1所述的目标检测和距离估计方法，其特征在于，所述根据所述目标与摄像机的距离信息，对所述图像信息中的目标进行标注，得到所述目标的距离信息，包括：S41，获取所述目标的高频差分GPS时间戳和所述图像信息中目标的时间戳；S42，对所述目标的高频差分GPS时间戳和所述图像信息中目标的时间戳进行处理，得到时间差信息；S43，预设时间差阈值，将所述时间差信息与所述预设时间差阈值进行比较，如果所述时间差信息小于预设时间差阈值，对所述目标的位置信息进行处理，得到所述目标的距离信息。5.根据权利要求1所述的目标检测和距离估计方法，其特征在于，所述对目标检测和距离估计网络模型进行优化，得到优化目标检测和距离估计网络模型，包括：S51，对目标检测和距离估计网络模型的输出特征图的维度进行修改，得到改进目标检测和距离估计网络模型；S52，引入距离信息损失函数；所述距离信息损失函数为：式中，Loss
d
为距离信息损失函数，d
g
为真实距离，d
p
为网络预测距离；S53，对所述距离信息损失函数进行处理，得到网络模型总损失函数；
S54，利用所述网络模型总损失函数，对所述改进目标检测和距离估计网络模型进行训练，得到优化目标检测和距离估计网络模型。6.根据权利要求5所述的目标检测和距离估计方法，其特征在于，所述网络模型总损失函数为：Loss＝Loss
d
+Loss
obj
+Loss
loc
+Loss
conf
其中：Loss
d
为距离信息损失函数，d
g
为真实距离，d
p
为网络预测距离；Loss
obj
为目标损失函数，s为输出分辨率大小，分别表示有、无真实目标的情形，B为预测目标个数，C
i
表示网络输出预测目标的概率，表示...

【专利技术属性】
技术研发人员：龙知洲，马天，陈珺娴，李伟萍，唐荣富，
申请(专利权)人：威海众合机电科技有限公司，
类型：发明
国别省市：