一种融合先验知识的交通场景图生成方法技术

本发明专利技术公开了一种融合先验知识的交通场景图生成方法，包括以下步骤：将图像输入到目标检测网络中，获取目标的空间特征F

【技术实现步骤摘要】
一种融合先验知识的交通场景图生成方法


[0001]本专利技术涉及场景理解领域，尤其涉及一种基于计算机视觉的交通场景图生成方法。

技术介绍

[0002]随着计算机视觉视技术的发展，视觉场景理解获得广泛的关注，尤其在自动驾驶领域，通过计算机视觉技术实现交通场景的环境感知已经成为主流方法。其中，目标检测是一项重要的视觉场景理解任务，目标检测算法可以提供图像中所包含的目标以及目标的空间位置，为场景理解提供重要的信息，然而，目标检测算法旨在推理图像中的目标和位置，而不能获取目标之间的关系这类深层信息，对于交通场景这类复杂场景，不仅需要获取场景中出现的目标，理解目标之间的关系能够对预测目标的行为提供重要信息依据，为后续的决策以及路径规划提供重要基础，为进一步提高交通场景理解的深度，场景图生成技术应运而生，场景图生成技术不仅能够提供图像中目标对之间的视觉关系，而且能够为高级视觉理解任务提供结构化场景表示。
[0003]目前，主流的场景图生成算法，将图像中出现的任意两个目标构建成目标对，进而推理每个目标对的关系，然而，当面对复杂场景时，尤其是复杂的交通场景，图像中出现的目标数目种类繁多，目标对数目呈现阶乘式增长，因此，需要占用更多的计算资源，不能满足低成本车载嵌入式设备实时性的要求；另外，场景图中的关系分布存在明显的长尾现象，这会让推理网络的推理结果更倾向头部类别，从而导致一些不合理的关系推理结果。

技术实现思路

[0004]针对当前的交通场景图生成方法实时性低、不能适应于关系分布中所存在的长尾问题，且存在关系推理不合理的现象，本专利技术要提出一种融合先验知识的交通场景图生成方法，将先验知识融入到推理过程中，缓解推理过程倾向于头部类别的现象，并且利用先验知识为推理过程提供约束，提高推理结果的合理性。
[0005]为了实现上述目的，本专利技术的技术方案如下：一种融合先验知识的交通场景图生成方法，包括以下步骤：
[0006]A：预处理图像
[0007]利用车载摄像头获取交通场景图像，将图像输入到目标检测网络中，获取图像中目标的类别语义信息I
E
、目标的视觉信息I
V
和目标的空间信息I
S
，采用语义编码器对目标的类别语义信息编码，获取目标的语义特征F
E
；将目标检测框内的图像区域输入到卷积神经网络中，提取目标检测框内目标的视觉特征F
V
；采用归一化方法对目标空间位置坐标归一化，获取目标的空间特征F
S
。
[0008]B：获取先验知识
[0009]将离线三元组数据库存储于车载电脑存储器中，采用语义编码器对离线三元组数据库内三元组的语义信息进行编码，并将编码后的语义信息输入到嵌入层网络中，获取高
维三元组G：
[0010]G＝{h,r,t}
[0011]式中，h为头实体词向量，r为关系词向量，t为尾实体词向量；将离线三元组数据库内每对三元组的头实体词向量和尾实体词向量输入到词嵌入表征模型中，预测关系词向量，并构建如下损失函数：
[0012]loss＝r
‑
KGE(h,t)
[0013]式中，KGE(
·
)为词嵌入表征模型。
[0014]通过对词嵌入表征模型的训练，捕获三元组之间的交互特征，从而实现三元组的建模；另外，所构建的词嵌入表征模型根据头实体和尾实体，推理两者之间的关系概率空间其中，r
ih,t
表示当头实体词向量为h、尾实体词向量为t时，两个实体之间第i个关系的概率，K为关系词向量的种类；将关系概率空间作为先验知识，为后续的在线关系推理提供先验性指导。
[0015]C：推理目标对关系
[0016]将图像中出现的任意两个目标构建成目标对，将目标对中两个目标的语义特征F
E
输入到词嵌入表征模型中，获取目标对的关系概率空间并设置阈值T
H
，当关系概率空间中的最大值r
max
大于阈值T
H
时，则将目标对的关系设置为有关联；当关系概率空间中的最大值r
max
小于阈值T
H
时，则将目标对的关系设置为无关联，实现推理过程的降维；采用拼接算法concat(
·
)将有关联目标对的视觉特征、语义特征、空间特征以及关系概率空间拼接，组成多模态特征F
M
，将多模态特征F
M
输入到由全连接层组成的推理网络中，推理目标对的关系r
p
，将关系概率空间根据概率值从高到低排序，且只保留前十个关系概率，组成新的关系概率空间为减少不合理关系的出现，将推理网络的输出结果限制在空间内，如果推理网络的输出结果超出空间，则认为所推理的结果为不合理关系，采用关系概率空间中概率值最高的关系作为目标对的最终关系。
[0017]与现有技术相比，本专利技术的有益效果如下：
[0018]1、本专利技术利用先验知识，将交通场景图像中无关联的目标对滤除，实现推理过程降维，减少无关联的目标之间关系推理对计算资源的占用，提高算法整体的实时性，提高算法在车载嵌入式平台中的适应性。
[0019]2、本专利技术通过将先验知识融入到推理过程，为推理过程提供先验偏置，缓解推理过程倾向于头部类别的现象；同时，先验知识也为关系推理网络提供约束，提高网络推理结果的合理性。
附图说明
[0020]图1为本专利技术的流程图。
具体实施方式
[0021]下面结合附图对本专利技术进行进一步的描述，如图1所示，一种融合先验知识的交通场景图生成方法，包括以下步骤：
[0022]A：图像预处理
[0023]利用车载摄像头获取交通场景图像，将图像输入到Yolov5或SSD网络中，获取图像中目标的类别语义信息I
E
，目标的视觉信息I
V
和目标的空间信息I
S
，采用One
‑
hot语义编码器或索引编码器对目标的类别语义信息编码，获取目标的语义特征F
E
；将目标检测框内的图像区域输入到视觉特征提取网络VGG中，提取目标检测框内目标的视觉特征F
E
；采用归一化方法对目标空间位置坐标归一化，获取目标的空间特征F
S
，归纳成如下公式：
[0024][0025]B：先验知识获取
[0026]将离线三元组数据库存储于车载电脑存储器中，采用One
‑
hot语义编码器对离线数据库内三元组的语义信息进行编码，并将编码后的语义信息输入到嵌入层网络中，获取高维三元组G
[0027]G＝{h,r,t}
[0028]式中，h为头实体词向量，r为关系词向量，t为尾实体词向量；将离线数据库内每对三元组的头实体词向量和尾实体词向量输入到词嵌入表征模型TransH或TransR中，预测关系词向量，并构建损失函数:
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合先验知识的交通场景图生成方法，其特征在于：包括以下步骤：A：预处理图像利用车载摄像头获取交通场景图像，将图像输入到目标检测网络中，获取图像中目标的类别语义信息I
E
、目标的视觉信息I
V
和目标的空间信息I
S
，采用语义编码器对目标的类别语义信息编码，获取目标的语义特征F
E
；将目标检测框内的图像区域输入到卷积神经网络中，提取目标检测框内目标的视觉特征F
V
；采用归一化方法对目标空间位置坐标归一化，获取目标的空间特征F
S
；B：获取先验知识将离线三元组数据库存储于车载电脑存储器中，采用语义编码器对离线三元组数据库内三元组的语义信息进行编码，并将编码后的语义信息输入到嵌入层网络中，获取高维三元组G：G＝{h,r,t}式中，h为头实体词向量，r为关系词向量，t为尾实体词向量；将离线三元组数据库内每对三元组的头实体词向量和尾实体词向量输入到词嵌入表征模型中，预测关系词向量，并构建如下损失函数：loss＝r
‑
KGE(h,t)式中，KGE(
·
)为词嵌入表征模型；通过对词嵌入表征模型的训练，捕获三元组之间的交互特征，从而实现三元组的建模；另外，所构建的词嵌入表征模型根据头实体和尾实体，推理两者之间的关系概率空间...

【专利技术属性】
技术研发人员：连静，王政皓，李琳辉，赵剑，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：