一种面向智慧车联服务生态的多模态数据智能监控方法技术

本发明专利技术涉及图像数据识别技术领域，具体涉及一种面向智慧车联服务生态的多模态数据智能监控方法。该方法在路口处获取路口图像及点云数据，获取路口图像上的各类目标。将点云数据投影至图像数据上，获取伪图像数据，根据每个点云数据的判断域计算各个点云之间的匹配程度序列并进一步计算序列相似性以及匹配序列可信程度。根据各个点云数据的匹配序列可信程度获取各个目标最终的对应点云数据，根据对应结果实现车辆行驶状态的多模态数据安全性监控。本发明专利技术实现了根据图像数据中各区域语义信息以及点云数据语义信息进行二者特征融合以达到减小融合特征误差，实现多模态数据的智能监控进而用于智慧车联中的驾驶安全保障服务。务。务。

【技术实现步骤摘要】
一种面向智慧车联服务生态的多模态数据智能监控方法


[0001]本专利技术涉及图像数据识别
，具体涉及一种面向智慧车联服务生态的多模态数据智能监控方法。

技术介绍

[0002]随着现代社会网络技术的不断发展，人们在驾驶汽车时所需求的不仅仅是驾驶车辆本身，而是更加追求出行驾驶时的安全性以及驾驶体验，而智慧车联服务正是为了满足人们的高品质的出行驾驶需求而产生的服务种类，其中车路协同是智慧车联服务与城市智慧交通服务的综合服务范围，二者同处于智慧车联服务生态体系中，利用城市智慧交通系统中的数据可为智慧车联服务提供更加坚实的数据基础，如在城市道路的十字路口处，道路的使用者之间发生冲突、碰撞的概率较高，此时保障汽车的安全驾驶就尤为重要，而要想实现这个目的，就需要准确而全面地进行十字路口处不同交通模式的监控，也即需要准确识别行人、车辆对服务车辆的行驶影响。
[0003]为了实现上述目的，首要的步骤就需要准确的监控识别出十字路口中各种不同交通模式下的运动目标，如行人、自行车、电动车、机动车等。对这些目标的准确识别是保障服务车辆安全驾驶的基础。现有技术中一般摄像机、毫米波雷达两种传感器获取运动目标的数据，通过获取的两种不同模态的数据进行综合评价，其中摄像机易受天气影响且不具备测距能力，但其获取的数据可以用于识别目标的类别；而毫米波雷达不易受天气影响且获取数据具备距离与速度信息，但其获取数据不包含目标的类别信息，因此将二者数据进行特征的融合，并通过特征融合后的结果进行综合的识别。但是这种方式需要将毫米波雷达获取的点云数据映射到摄像机获取的图像数据中，而由于毫米波雷达与摄像机获取数据的模态不同，雷达获取的点云数据可对应在世界坐标系中，但摄像机本身获取的数据是二维数据，因此在映射时还需要获取摄像机与毫米波雷达间的相对位置信息，而由于雷达提供的目标点的横向距离不准确且相机标定时会出现误差，因此雷达点云数据在图像上的投影点会出现较大的偏差，影响后续的目标检测结果。

技术实现思路

[0004]为了解决上述技术问题，本专利技术的目的在于提供一种面向智慧车联服务生态的多模态数据智能监控方法，所采用的技术方案具体如下：
[0005]本专利技术提出了一种面向智慧车联服务生态的多模态数据智能监控方法，所述方法包括：
[0006]采集路口处的路口图像和三维点云数据；识别出路口图像中每个目标类别及其目标包围框；
[0007]将点云数据与路口图像进行粗略对准，获得伪图像数据，伪图像数据中每个位置的像素点同时包含图像信息和点云数据；根据每个目标类别在世界坐标系中的真实尺寸和相机成像模型获得每个目标类别在图像中判断域尺寸函数，判断域尺寸函数中目标类别与
相机的距离为自变量，判断域尺寸为因变量；根据点云数据对应目标类别的判断域尺寸函数及其点云数据自身的距离信息获得点云数据的判断域；获得每个点云数据的判断域与所有目标包围框的匹配程度，构成匹配程度序列；计算任意两个点云数据之间匹配程度序列相似性和坐标相似性，获得匹配程度相似性和坐标相似性的一致性；统计每个点云数据相对于其他所有点云数据的一致性，获得每个点云数据的匹配序列可信程度；
[0008]在伪图像数据中保留匹配序列可信程度大于预设可信程度阈值的点云数据，并以该点云数据的匹配程度序列中的最大元素对应的目标类别作为该点云数据的目标类别；获得对准后的多模态监控数据；根据多模态监控数据对每个目标的行驶状态进行监控。
[0009]进一步地，所述识别出路口图像中每个目标类别及其目标包围框包括：
[0010]将路口图像输入目标识别网络中，输出每个目标包围框及所属目标类别；目标识别网络采用YOLO目标检测算法模型。
[0011]进一步地，所述根据点云数据对应目标类别的判断域尺寸函数及其点云数据自身的距离信息获得点云数据的判断域包括：
[0012]将点云数据自身的距离信息输入对应目标类别的判断域尺寸函数中，获得点云数据的判断域尺寸，以点云数据为中心，根据判断域尺寸构建矩形窗口，获得判断域。
[0013]进一步地，所述获得每个点云数据的判断域与所有目标包围框的匹配程度包括：
[0014]以每个点云数据的判断域与所有目标包围框的交并比作为匹配程度。
[0015]进一步地，所述匹配程度序列相似性的计算方法包括：
[0016]根据匹配程度序列相似性公式获得匹配程度序列相似性，匹配程度序列相似性公式包括：
[0017][0018]其中，S
p
(i1,i2)为点云数据i1与点云数据i2之间的匹配程度序列相似性，N为匹配程度序列中的元素数量，为点云数据i1的匹配程度序列中第n个元素值，为点云数据i2的匹配程度序列中第n个元素值。
[0019]进一步地，所述坐标相似性的计算方法包括：
[0020]在三维坐标系下获得两个点云数据的欧氏距离，将欧氏距离归一化，一减去归一化后的欧氏距离作为坐标相似性。
[0021]进一步地，所述获得匹配程度相似性和坐标相似性的一致性包括：
[0022]根据一致性公式获得一致性，一致性公式包括：
[0023][0024]其中，为点云数据i1与点云数据i2之间的一致性，S
p
(i1,i2)为点云数据i1与点云数据i2之间的匹配程度序列相似性，S
E
(i1,i2)为点云数据i1与点云数据i2之间的坐标相似性。
[0025]进一步地，所述统计每个点云数据相对于其他所有点云数据的一致性，获得每个点云数据的匹配序列可信程度包括：
[0026]以每个点云数据相对于其他所有点云数据的一致性的平均值作为对应点云数据的匹配序列可信程度。
[0027]本专利技术具有如下有益效果：
[0028]本专利技术实施例相比于现有技术，本专利技术实施例根据点云数据本身具有的距离信息对不同种类的目标构建不同的判断域，可对点云数据与图像中的目标进行软匹配，而现有技术中，则是只针对一个种类的目标进行与点云数据的匹配，现有技术利用雷达的点云数据确定感兴趣区域，但是仅利用处在感兴趣区域内的目标包围框中心点与点云数据在图像坐标系中的像素距离进行匹配，而有时当雷达的感兴趣区域包含多个重合的、复杂的目标包围框时，仅根据中心点的距离进行判断明显是存在较大错误的，本专利技术实施例利用点云数据的距离信息进行判断域的设定，并根据判断域与目标检测框的重合程度进行匹配，可提高准确性。在对毫米波雷达获取的点云数据进行匹配后，本专利技术实施例还对其进行可信程度的筛选，可在对检测出的点云数据进行进一步的筛选，保证最终与目标匹配的点云数据均为可信的雷达点云数据，进一步提高了算法的准确性。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智慧车联服务生态的多模态数据智能监控方法，其特征在于，所述方法包括：采集路口处的路口图像和三维点云数据；识别出路口图像中每个目标类别及其目标包围框；将点云数据与路口图像进行粗略对准，获得伪图像数据，伪图像数据中每个位置的像素点同时包含图像信息和点云数据；根据每个目标类别在世界坐标系中的真实尺寸和相机成像模型获得每个目标类别在图像中判断域尺寸函数，判断域尺寸函数中目标类别与相机的距离为自变量，判断域尺寸为因变量；根据点云数据对应目标类别的判断域尺寸函数及其点云数据自身的距离信息获得点云数据的判断域；获得每个点云数据的判断域与所有目标包围框的匹配程度，构成匹配程度序列；计算任意两个点云数据之间匹配程度序列相似性和坐标相似性，获得匹配程度相似性和坐标相似性的一致性；统计每个点云数据相对于其他所有点云数据的一致性，获得每个点云数据的匹配序列可信程度；在伪图像数据中保留匹配序列可信程度大于预设可信程度阈值的点云数据，并以该点云数据的匹配程度序列中的最大元素对应的目标类别作为该点云数据的目标类别；获得对准后的多模态监控数据；根据多模态监控数据对每个目标的行驶状态进行监控。2.根据权利要求1所述的一种面向智慧车联服务生态的多模态数据智能监控方法，其特征在于，所述识别出路口图像中每个目标类别及其目标包围框包括：将路口图像输入目标识别网络中，输出每个目标包围框及所属目标类别；目标识别网络采用YOLO目标检测算法模型。3.根据权利要求1所述的一种面向智慧车联服务生态的多模态数据智能监控方法，其特征在于，所述根据点云数据对应目标类别的判断域尺寸函数及其点云数据自身的距离信息获得点云数据的判断域包括：将点云数据自身的距离信息输入对应目标类别的判断域尺寸函数中，获得点云数据的判断域尺寸，以点云数据为中心，根据判断域尺寸构建矩形窗口，获得判断域。...

【专利技术属性】
技术研发人员：叶兴根，方和业，钟辉，
申请(专利权)人：优必飞科技深圳有限公司，
类型：发明
国别省市：