一种基于增强现实技术的可见光相机与雷达联合探测方法技术

本发明专利技术公开了一种基于增强现实技术的可见光相机与雷达联合探测方法，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示。本发明专利技术利用增强现实技术，实现了雷达传感器和可见光相机传感器的环境感知数据的有效融合，从而使本系统具有全天候、信息丰富、易于解译的优点，可广泛应用于各类车载的环境感知和侦察应用。

【技术实现步骤摘要】
一种基于增强现实技术的可见光相机与雷达联合探测方法
本专利技术涉及视觉成像、雷达探测、多元信息融合、增强现实领域，具体涉及一种可见光雷达联合侦测及增强现实呈现系统。
技术介绍
随着传感器技术以及信息处理技术的发展，多元传感器信息融合成为一个必然趋势。一方面，通过传感器特性的融合，可以避免单传感器固有缺陷，获得更广谱的探测能力；另一方面，通过多传感信息的融合，可以将多个传感器信息进行相互验证，降低系统的虚警率和漏警率，提升侦测效率。雷达和可见光相机是目前应用最广泛的两类探测传感器。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。作为一种主动传感器，雷达具有较强的穿透能力，具有目标探测的独特优势，但雷达图像难以解译，往往需要进一步判读才能确定目标信息。可见光相机捕获可见光光谱信息，与人的视觉信息最为接近，而且可见光相机信息非常丰富，易于判读。可见光图像的不足之处在于其处理复杂度较高，目标识别和目标距离等信息也不能直接获取，需要较为复杂的计算。结合雷达和可见光传感信息进行联合探测，具有广泛实用价值。但是，在实际应用中，雷达和可见光相机的感知信息仍然分别呈现给操作人员，这严重增加了操作难度，降低了认知效率，不利于在复杂环境下使用。
技术实现思路
针对现有可见光相机和雷达联合侦测操作繁琐和融合效率低的现状，本专利技术公开了一种基于增强现实技术的可见光相机与雷达联合探测方法，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块等来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别等，利用增强现实融合显示模块完成感知信息的融合显示。本专利技术包含如下步骤：S1，标定双目相机模块，包括单目相机内参标定和双目相机外参校正；双目相机外参校正中双目校正变换，采用固定左相机的方式实现；S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；S12，对于双目相机模块外参校正，采用标定板，获得双目相机模块中左右相机各自的位移、旋转六参数其中x，y，z分别为x轴、y轴和z轴的位移，ω，κ分别为相机俯仰角、偏航角和翻滚角，计算右相机的单应映射矩阵；S2，对雷达模块与双目相机模块进行联合外参标定，通过外参联合标定获得雷达模块和双目相机模块之间的位移、旋转六参数。S21，利用雷达模块测量得到目标距离信息的三维探测数据，利用双目相机模块测量得到目标的二维成像数据，雷达数据和相机测量数据满足方程：xcam＝KcamReo(Xrad-Teo)，其中，Kcam是相机内参矩阵(cameraintrinsicparameters)，Xrad是雷达模块的三维探测数据，xcam是双目相机模块的二维成像数据，Reo、Teo分别是雷达模块相对于双目相机模块的旋转和平移外参，即待标定参数，Reo和Teo共同构成了雷达模块与双目相机模块外参标定矩阵。S22，采用平面标定板，计算待标定参数。根据标定板角点在标定板的已知位置和标定板角点的雷达测量数据，推定雷达的成像点；根据标定板的平面特性，提取标定板的雷达成像数据，即标定板轮廓的精确成像；然后根据角点在标定板的已知几何关系，计算出所有标定板角点在雷达模块坐标系下的三维坐标。标定板角点的可见光数据则通过视觉角点提取方法获得。根据标定板数据的几何成像公式xcam＝KcamReo(Xrad-Teo)，解算Reo和Teo。S23，采用距离和方位采样方法进行标定。将标定板放置于传感器的正前方不同距离、左右侧不同方位分别进行标定，对标定结果进行融合处理。所述的融合处理，通过对不同距离不同方位得到的标定结果进行加权平均，以获得更高精度的标定结果。S3，相机图像校正变换。使用双目标定及校正参数，对右测单目相机获得的图像进行双目校正变换，使得左右单目相机同名点(correspondingpoints)在左右图像的同一行。S4，雷达图像校正变换。根据雷达模块与双目相机模块外参标定矩阵，将雷达图像数据以及目标数据转换到相机坐标系，得到雷达校正变换图像。S5，增强现实融合。采用双线性插值的方法，将雷达校正变换图像叠加到左相机图像，完成雷达探测和可见光相机成像的增强现实融合。S6，隐藏目标判定。由于雷达探测的目标可能属于前景或后景，而相机图像总是探测前景，通过对雷达数据和相机数据进行融合处理，以判定是否属于隐藏目标。S61，对于雷达探测的目标，根据其对应的左单目相机图像的像素坐标，进行左右图像的立体匹配，获得可见光右图像的同名点；S62，根据双目相机的基线长度和同名点视差(disparity)，计算该点的深度h0；S63，根据光学图像的深度值h0和雷达探测距离值hr的比较结果，确定该目标属于前景或后景。若h0＜hr，则该目标属于后景，否则目标属于前景。若为后景目标，则属于隐藏目标。本专利技术的有益效果为：(1)本专利技术提出一种新的基于增强现实技术的可见光相机与雷达联合探测方法，可获得更好的环境感知和认知效率。本专利技术利用增强现实技术，实现了雷达传感器和可见光相机传感器的环境感知数据的有效融合，从而使本系统具有全天候、信息丰富、易于解译的优点，可广泛应用于各类车载的环境感知和侦察应用。(2)本专利技术提出了该系统的联合标定方法，该标定方法过程严谨，能够获得精确的标定结果，是增强现实融合呈现的重要基础。本专利技术对本系统的离线标定和在线使用进行了详述，具有较好的应用潜力。附图说明图1为本专利技术所用的双目相机模块与雷达模块的结构示意图；图2为本专利技术中对雷达模块与双目相机模块进行联合外参标定的过程示意图；图3为本专利技术公开的可见光相机与雷达联合探测方法的作业流程图。具体实施方式为了更好的了解本
技术实现思路
，这里给出一个实施例。本专利技术公开了一种基于增强现实技术的可见光相机与雷达联合探测方法，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块等来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别等，利用增强现实融合显示模块完成感知信息的融合显示。图1为本专利技术所用的双目相机模块与雷达模块的结构示意图，图1中，101为雷达模块的发射天线，102为双目相机模块，103为雷达模块的接收阵列。本专利技术包含如下步骤：S1，标定双目相机模块，包括单目相机内参标定和双目相机外参校正；双目相机外参校正中双目校正变换，采用固定左相机的方式实现，以利于后续的双目相机模块与雷达模块的外参标定步骤；...

【技术保护点】
1.一种基于增强现实技术的可见光相机与雷达联合探测方法，其特征在于，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示，具体包含如下步骤：/nS1，标定双目相机模块，包括单目相机内参标定和双目相机外参校正；双目相机外参校正中双目校正变换，采用固定左相机的方式实现；/nS2，对雷达模块与双目相机模块进行联合外参标定，通过外参联合标定获得雷达模块和双目相机模块之间的位移、旋转六参数；/nS3，相机图像校正变换；使用双目标定及校正参数，对右测单目相机获得的图像进行双目校正变换，使得左右单目相机同名点在左右图像的同一行；/nS4，雷达图像校正变换；根据雷达模块与双目相机模块外参标定矩阵，将雷达图像数据以及目标数据转换到相机坐标系，得到雷达校正变换图像；/nS5，增强现实融合；采用双线性插值的方法，将雷达校正变换图像叠加到左相机图像，完成雷达探测和可见光相机成像的增强现实融合；/nS6，隐藏目标判定；由于雷达探测的目标可能属于前景或后景，而相机图像总是探测前景，通过对雷达数据和相机数据进行融合处理，以判定是否属于隐藏目标。/n...

【技术特征摘要】
1.一种基于增强现实技术的可见光相机与雷达联合探测方法，其特征在于，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示，具体包含如下步骤：
S1，标定双目相机模块，包括单目相机内参标定和双目相机外参校正；双目相机外参校正中双目校正变换，采用固定左相机的方式实现；
S2，对雷达模块与双目相机模块进行联合外参标定，通过外参联合标定获得雷达模块和双目相机模块之间的位移、旋转六参数；
S3，相机图像校正变换；使用双目标定及校正参数，对右测单目相机获得的图像进行双目校正变换，使得左右单目相机同名点在左右图像的同一行；
S4，雷达图像校正变换；根据雷达模块与双目相机模块外参标定矩阵，将雷达图像数据以及目标数据转换到相机坐标系，得到雷达校正变换图像；
S5，增强现实融合；采用双线性插值的方法，将雷达校正变换图像叠加到左相机图像，完成雷达探测和可见光相机成像的增强现实融合；
S6，隐藏目标判定；由于雷达探测的目标可能属于前景或后景，而相机图像总是探测前景，通过对雷达数据和相机数据进行融合处理，以判定是否属于隐藏目标。


2.一种如权利要求1所述的基于增强现实技术的可见光相机与雷达联合探测方法，其特征在于，所述的步骤S1，具体包括：
S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；
S12，对于双目相机模块外参校正，采用标定板，获得双目相机模块中左右相机各自的位移、旋转六参数其中x,y,z分别为x轴、y轴和z轴的位移，ω,κ分别为相机俯仰角、偏航角和翻滚角，计算右相机的单应映射矩阵。


3.一种如权利要求1所述的基于增强现实技术的可见光相机与雷达联合探测方法...

【专利技术属性】
技术研发人员：唐荣富，邓宝松，李靖，郄志鹏，杨楚乐，鹿迎，桂健钧，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11