【技术实现步骤摘要】
本专利技术涉及目标识别，具体涉及一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法及系统。
技术介绍
1、目前，图像分析、深度学习等人工智能相关技术在图像检测、目标识别等领域已经取得了许多重要进展，然而，但由于图像检测和目标识别等基于图像的手段较容易受日夜光线、天气等环境影响，而毫米波雷达虽然基本不受日夜光线、天气等环境影响，但对目标类型和现场没有客观展示；并且，传统的枪机摄像头只能对经过特定位置的目标进行取截图并识别目标，无法对整个监控区域的目标一一进行目标跟踪及识别，并且进一步识别车牌，也不能主动对目标进行跟踪拍摄取证，使相关单位较难对路口乃至整个道路监控范围对目标和情况进行了解和把控；例如，某机动车在路口前100米的地方违法调头，雷达虽然能检测动该情况，但路口枪机无法自动居中画面目标并调整焦距放大目标取得目标清晰大图，更无法取得目标车牌，并跟踪拍摄取得视频片段和截图；而传统枪球联动需额外增加枪机摄像头与球机摄像头的融合，由枪机引导球机跟踪，同样受环境光线和天气影响，因此，如何调整摄像头焦距并通过雷达引导球机，对移动中的目标进行放大跟踪拍摄及识别成为函待解决的问题。
技术实现思路
1、为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法及系统，本专利技术通过毫米波雷达与可变焦摄像头视频坐标高度融合，由毫米波雷达定位通过空间转换后直接引导可变焦摄像头转向目标所在方位角，调整摄像头焦距，使可变焦摄像头能采集到目标放大到细节的
2、为了达到上述目的，本专利技术采用以下技术方案：
3、本专利技术提供一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，包括下述步骤：
4、分别布设可变焦摄像头和毫米波雷达，对可变焦摄像头设置一个预置位，调整毫米波雷达与可变焦摄像头方向使其面向同一方向，获取可变焦摄像头与毫米波雷达的海拔高度，以及毫米波雷达所在位置的经纬度和面板方向参数；
5、获取各种道路目标图像，在道路目标图像上框出目标所在位置，并添加类型标签，构建得到各种道路目标对应的训练集和验证集，训练得到道路目标类型识别模型；
6、分别获取毫米波雷达采集的数据和可变焦摄像头采集的数据；
7、当毫米波雷达发现目标时，根据毫米波雷达的安装位置经纬度与面板方向参数，计算出目标的经纬度地理位置，毫米波雷达跟踪此目标直至目标离开雷达范围，并为目标赋予全局唯一id，以全局唯一id为标识，跟踪该目标；
8、基于目标的经纬度地理位置，通过坐标转换计算目标在可变焦摄像头预置位中的画面位置；
9、基于目标在可变焦摄像头预置位中的画面位置，计算可变焦摄像头转向并使画面居中位置所需的pt值；
10、控制可变焦摄像头转到计算出的pt值方位角，基于训练后的道路目标类型识别模型，对可变焦摄像头采集的数据进行道路目标类型识别，根据检测到的目标在当前画面中的宽高，计算和调整可变焦摄像头焦距。
11、作为优选的技术方案，通过坐标转换计算目标在可变焦摄像头预置位中的画面位置，具体包括：
12、将目标的经纬度坐标转换到三维坐标；
13、将固定坐标系变换到当前摄像头姿态下的三位坐标系；
14、将三维坐标映射到二维相机阵面；
15、将当前摄像头坐标转换到像素坐标，得到目标在可变焦摄像头预置位中的画面位置的坐标。
16、作为优选的技术方案，将目标的经纬度坐标转换到三维坐标，具体表示为：
17、
18、y2＝h1-h0
19、
20、其中，可变焦摄像头的经纬度坐标为(x0,y0)，目标点经纬度坐标(x1,y1)，目标点三维坐标为(x2,y2,z2)，h0表示可变焦摄像头的高度，h1表示目标点高度，r表示地球半径，z0为可变焦摄像头的纬度，z1为目标的纬度。
21、作为优选的技术方案，将固定坐标系变换到当前摄像头姿态下的三位坐标系，包括绕y轴旋转和绕x轴旋转，绕y轴旋转表示为：
22、
23、其中，ρ表示水平旋转角度；
24、绕x轴旋转表示为：
25、
26、其中，σ表示俯仰旋转角度。
27、作为优选的技术方案，将三维坐标映射到二维相机阵面，表示为：
28、
29、其中，f表示焦距。
30、作为优选的技术方案，将当前摄像头坐标转换到像素坐标，得到可变焦摄像头预置位中的画面位置的坐标，表示为：
31、
32、
33、其中，dx、dy表示摄像头感光元件上像元大小，元件上像元数为xcam×ycam，x表示目标在画面中的横坐标，y表示目标在画面中纵坐标。
34、作为优选的技术方案，计算和调整可变焦摄像头焦距，具体包括：
35、获取画面中识别到的目标的宽度与高度，计算目标在画面的尺寸与摄像头的焦距的比为：
36、max(x,y)/h
37、计算放大物体到画面对应宽度与高度(x′，y′)所需的物理焦距h′：
38、h′＝max(x′，y′)*h/max(x,y)
39、计算摄像头变焦倍值：
40、z＝h′/min(h)
41、其中，z表示摄像头变焦倍值，h表示目标可变焦摄像头物理焦距。
42、作为优选的技术方案，在训练得到道路目标类型识别模型后，还训练得到车牌检测模型，基于训练后的车牌检测模型进行车牌检测；
43、若检测到具有车牌的图片，则获取车牌在图片中的矩形区域并使用opencv抠取该区域图像，并使用直方图均衡化算法增强图像对比度；
44、基于抠取的区域图像，使用paddleocr框架和文字识别模型识别图像文字信息，得到车牌文本文字。
45、本专利技术还提供一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别系统，包括：可变焦摄像头、毫米波雷达、参数获取模块、数据集构建模块、模型训练模块、数据采集模块、经纬度地理位置计算模块、标识模块、画面位置计算模块、画面居中位pt值计算模块、目标识别模块、焦距调整模块；
46、所述可变焦摄像头设置一个预置位，所述可变焦摄像头与毫米波雷达面向同一方向采集；
47、所述参数获取模块用于获取可变焦摄像头与毫米波雷达的海拔高度，以及毫米波雷达所在位置的经纬度和面板方向参数；
48、所述数据集构建模块用于构建训练集和验证集，获取各种道路目标图像，在道路目标图像上框出目标所在位置，并添加类型标签，构建得到各种道路目标对应的训练集和验证集；
49、所述模型训练模块本文档来自技高网...
【技术保护点】
1.一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，通过坐标转换计算目标在可变焦摄像头预置位中的画面位置，具体包括：
3.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将目标的经纬度坐标转换到三维坐标，具体表示为：
4.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将固定坐标系变换到当前摄像头姿态下的三位坐标系，包括绕Y轴旋转和绕X轴旋转，绕Y轴旋转表示为：
5.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将三维坐标映射到二维相机阵面，表示为：
6.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将当前摄像头坐标转换到像素坐标，得到可变焦摄像头预置位中的画面位置的坐标，表示为：
7.根据权利要求1所述的基于毫米波雷达与可变焦摄
8.根据权利要求1-7任一项所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，在训练得到道路目标类型识别模型后，还训练得到车牌检测模型，基于训练后的车牌检测模型进行车牌检测；
9.一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别系统，其特征在于，包括：可变焦摄像头、毫米波雷达、参数获取模块、数据集构建模块、模型训练模块、数据采集模块、经纬度地理位置计算模块、标识模块、画面位置计算模块、画面居中位PT值计算模块、目标识别模块、焦距调整模块；
10.根据权利要求9所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别系统，其特征在于，还包括车牌检测模块、车牌区域图像抠取模块、图像增强模块、文本文字识别模块；
...【技术特征摘要】
1.一种基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，通过坐标转换计算目标在可变焦摄像头预置位中的画面位置，具体包括：
3.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将目标的经纬度坐标转换到三维坐标，具体表示为：
4.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将固定坐标系变换到当前摄像头姿态下的三位坐标系，包括绕y轴旋转和绕x轴旋转，绕y轴旋转表示为：
5.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将三维坐标映射到二维相机阵面，表示为：
6.根据权利要求2所述的基于毫米波雷达与可变焦摄像头的道路目标跟踪及识别方法，其特征在于，将当前摄像头坐标转换到像...
【专利技术属性】
技术研发人员：刘云龙，陈斌，王邃，曹莹，李光辉，杨昌铸，
申请(专利权)人：海华电子企业中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。