【技术实现步骤摘要】
一种基于元数据驱动与因果分析理论的驾驶情境推理方法
[0001]本专利技术涉及一种驾驶情境推理方法，特别涉及一种基于元数据驱动与因果分析理论的驾驶情境推理方法
。
技术介绍
[0002]随着机器视觉及人工智能等技术的发展，各类传感器在自动驾驶汽车上的应用逐渐成熟
。
自动驾驶汽车依赖大量的传感器来感知周围环境，并做出相应的决策和行动
。
传感器通过收集各种信息来创建环境模型，以帮助自动驾驶汽车识别和理解其周围的道路
、
交通标志
、
车辆和行人等元素，为自动驾驶汽车提供了必要的信息和能力，使其能够实现安全高效的自主驾驶
。
随着传感器等技术的不断发展和创新，自动驾驶汽车的性能将进一步提升，为人们的出行带来更多便利和安全
。
在自动驾驶研究中，环境感知被视为智能驾驶的第一步，同时也是最具挑战的课题之一，准确地识别场景中的信息并对驾驶情境做出正确的推断，是自动驾驶车辆安全的必要保障
。
[0003]目前在自动驾驶中的环境感知领域，综合考虑传感器的优缺点
、
利用冗余和互补特性来获取车辆环境信息的多传感器数据融合技术是主流方案
。
但在自动驾驶车辆车载传感器数量增多的同时，其数据形式也呈现出多样性：一方面，数据的格式结构不同，如点云
、
图像以及视频等，数据具有异构性；另一方面，数据的来源不同，如视觉相机
、
激光雷达
、
毫...
【技术保护点】
【技术特征摘要】
1.
一种基于元数据驱动与因果分析理论的驾驶情境推理方法，其特征在于：其方法包括的步骤如下：第一步
、
整合多源感知元数据，具体步骤如下：步骤一
、
元数据表征框架构建；步骤二
、
智能体元数据整合；步骤三
、
交通情境元数据整合；第二步
、
分析人机协同系统驾驶情境因果认知机理，具体步骤如下：步骤一
、
驾驶员因果认知机理分析；步骤二
、
自驾系统因果认知机理分析；步骤三
、
人机协同系统因果认知耦合机理分析；步骤四
、
人机协同系统因果分析综合模型；第三步
、
构建驾驶情境推理模型，具体步骤如下：步骤一
、
多目标驾驶情境学习框架；步骤二
、
基于记忆元数据的扩展驾驶情境网络；步骤三
、
动态模糊逻辑推理；步骤四
、
元数据融合推理；第四步
、
构建人机协同情境演化评估体系，具体步骤如下：步骤一
、
人机协同情境演化规律分析；步骤二
、
基于时空规律的情境推推理；步骤三
、
目标态势预测；步骤四
、
情境演化评估结果整合
。2.
根据权利要求1所述的一种基于元数据驱动与因果分析理论的驾驶情境推理方法，其特征在于：所述的第一步各步骤中的环节如下：第一步步骤一中的具体环节如下：环节一
、
元数据建模，该环节通过对元数据进行建模，使该模型能够描述各数据源所提供数据的数据特征
、
数据属性以及与场景感知功能关联的数据源与数据字段，元数据建模包含以下三个部分：针对具体的每一个数据源，元数据模型包含数据源的名称
、
连接信息和不同结构数据对应的数据处理算法接口的数据源模型；针对基于多源传感数据实现的场景认知功能中的任一具体功能，如对象检测与识别功能，元数据模型包含功能名称
、
与该功能关联的数据名称
、
在该功能下各类型数据的关联信息及顺序信息等信息的功能与数据源关联模型；针对任一功能与其对应的其中任一数据源的具体数据字段，如数据融合功能所需的相机采集的部分图像数据，元数据模型包括数据源信息
、
数据字段信息和功能信息的功能与数据字段关联模型，因此，该环节的输入信号为各传感器输入的数据源数据以及根据功能的数据调用信号；输出信号为各功能与数据源间的访问关系；环节二
、
元数据基准表构建，该环节通过建立存储各数据源的技术元数据信息表来描述对数据源的基本信息，数据源表包含自增主键
、
用于识别的数据源
ID、
用于区分不同数据源的数据源名称及数据源对应的用于解析数据的适配器名称
、
数据源的数据连接地址；多源传感器数据源名称有：相机数据源
、
激光雷达数据源
、
毫米波雷达数据源
、
惯性传感器
IMU
数据源和
GPS
数据源；
环节三
、
元数据映射表构建，该环节通过建立元数据映射表来描述功能与数据源间的关联关系，元数据映射表包含自增主键
、
用于区分不同功能的功能
ID
和名称
、
同一功能与一个或数个数据源关联时的关联数据源
ID
和名称以及同一功能关联多数据源时数据源的先后顺序；环节四
、
域映射表构建，该环节通过建立域映射表来描述功能与数据字段之间的关联关系，某一功能的实现只需要不同数据源下的部分信息，该表则针对性地构建功能与具体字段间的映射关系，域映射表包含自增主键
、
数据字段名称
、
数据的输入输出类型
、
数据字段关联的功能
ID
及名称
、
数据字段的归属数据源
ID
及名称；在多元传感器数据源中，数据以如下格式进行存储：
1)
相机数据源：相机采集到的每一帧数据以二维数组形式存储，每个元素存储的数据为
[RGB
颜色数据
,
灰度数据
]
，每一帧数据附带时间戳；
2)
激光雷达数据源：激光雷达原始数据通过用户数据包协议接收，以数据包形式存储，数据格式如下：数据长度固定为
1248
字节，前
48
字节为数据包标识，后
1200
字节为
12
组长度为
100
字节的数据包，每个数据包中包含激光束的旋转角度
、
距离
、
反射强度信息，最后6字节分别为长度2字节的时间戳和4字节的雷达型号；
3)
毫米波雷达数据源：毫米波雷达原始数据通过用户数据包协议接收，以数据包形式存储，数据格式如下：毫米波雷达数据包的前
32
字节为起始帧标识，后续为
n
个数据包，每个数据包中包含目标距离
、
速度
、
角度
、
目标尺寸和目标强度信息，最后为2字节的时间戳与4字节的结束帧标识；
4)
惯性传感器
IMU
数据源：数据以
CSV
文件存储，表头为：时间戳
、
加速度
X、
加速度
Y、
加速度
Z、
陀螺仪
X、
陀螺仪
Y、
陀螺仪
Z
；
5)GPS
数据源：数据以
CSV
文件存储，表头为：时间戳
、
经度
、
纬度
、
高度；多元传感器数据源域映射表中，数据字段名称有：
1)
相机数据源中：元素位置信息
、RGB
色彩信息
、
灰度信息
、
时间信息；
2)
激光雷达数据源中：时间
、X
坐标
、Y
坐标
、Z
坐标和点的反射强度；
3)
毫米波雷达数据源中：时间
、
目标
ID、
距离
、
速度
、
角度
、
目标尺寸和目标强度；
4)
惯性传感器
IMU
数据源中：时间
、
车辆加速度
、
车辆角速度和车辆方向；
5)GPS
数据源中：车辆所在位置的经度
、
纬度
、
高度和时间；第一步步骤二中的具体环节如下：环节一
、
智能体元数据引擎，在环境感知过程中，本车的运动
、
位置数据的采集与计算是重要的一环，本环节针对智能体数据的调用需求建立智能体元数据引擎，以实现对智能体数据的统一调度，智能体元数据引擎接收各功能传来的数据查询或变更信号，通过元数据模型实现对
GPS
数据以及
IMU
数据的访问，进而完成对数据的抽取及变更，因此，该环节的输入信号为环境感知过程对智能体数据的需求；输出信号为根据功能需求提取和变更的数据；
环节二
、
数据查询接口，环境感知过程下的具体功能实现需要本车数据作为输入时，数据查询接口接收功能对应的
ID
，通过元数据模型查询与具体功能相关联的元数据，根据元数据查找对应的单数据库数据或数个数据库数据，因此，该环节的输入信号为各功能所对应的
ID
；输出信号为根据功能需求提取的数据；环节三
、
数据变更接口，该环节用于将经过各功能处理的数据反馈给各数据源，实现环境感知需要将智能体数据与驾驶情景数据进行融合从而进行下一步计算，同时智能体数据也需要回传到数据源中作为数据备份，用于实现后续的数据分析和算法改进
、
数据验证和调试
、
训练和机器学习以及安全和追溯，因此，该环节的输入信号为各功能所对应的
ID
；输出信号为已经过一定程度的处理
、
用于备份的数据；环节四
、
智能体异构数据源的数据交互，在按功能查询到数据后，将
IMU
采集到的以文本形式进行读取，使用
CSV
文件的解析库来读取和解析
IMU
的加速度
、
角速度和方向数据，和
GPS
采集到的车辆经度
、
纬度
、
高度和时间信息；将解析后的数据输入到具体功能对应多元传感器数据融合算法中完成后续的异构数据交互；第一步步骤三中的具体环节如下：环节一
、
交通情景元数据引擎，本环节针对交通情景数据的调用需求建立交通情景元数据引擎，用于环境感知这一实时过程下各功能对交通情景多源传感数据的不同需求的统一调度，交通情景元数据引擎接收各功能传来的数据查询信号，通过元数据模型实现对数据访问从而实现对数据的查找，经查找与处理后的数据作为本环节的输出信号传递到具体的功能算法模块；环节二
、
安全模块接口，本环节对于通过通信获取的数据进行审批，以保障数据安全，预先将车车通信
、
车云通信的数据来源
、
数据格式
、
通信协议
、
加密协议进行分类整理，当接收到外来信息时，将数据依次按照分类整理结果进行审批，只有通过四次审批才能继续完成数据传递，否则数据无效，通过对数据的审批与筛选实现对数据的安全过滤，去除不可信数据，保证信息安全；环节三
、
数据适配接口，由于传感器种类众多，采集到的交通场景数据种类多，如图像数据
、
点云数据
、
位置数据和车辆运动参数，数据具有较强的异构性，因此需要对查询到的数据进行融合处理，多源传感器数据以二进制形式或文本形式存储，根据元数据基准表中的适配器信息对不同格式的数据匹配相应的适配器，从而对数据格式进行解析；环节四
、
交通情景异构数据源的数据交互，不同传感器具有不同的坐标系，首先通过传感器参数标定将各个传感器数据转换到同一个坐标系中进行处理；其次对不同传感器的数据进行校正
、
去噪
、
滤波
、
畸变校正处理，以消除不同传感器的系统误差和噪声；随后从不同传感器的数据中提取特征信息，将多源传感数据在时间和空间上进行匹配，从而将不同传感器采集到的数据进行关联；随后使用卡尔曼滤波器算法将关联的数据进行融合，以矩阵格式输入算法中，以获得更准确的环境信息；最后通过对融合后的数据进行状态估计，得到车辆周围环境的准确描述，即周围车辆位置
、
速度
、
姿态以及周围障碍物的位置
、
速度
、
形状，因此，该环节的输入信号为交通情景多源异构传感数据；输出信号为融合处理后的交通情景描述
。3.
根据权利要求1所述的一种基于元数据驱动与因果分析理论的驾驶情境推理方法，其特征在于：所述的第二步各步骤中的环节如下：
第二步步骤一中的具体环节如下：环节一
、
基于多元时序数据的转移熵因果关系模型，驾驶过程中常见的人机因果认知特征变量包括：方向盘转角
、
方向盘转速
、
制动踏板位置及变化率
、
加速踏板位置及变化率
、
转向灯使用时间；车辆纵向速度及加速度
、
横向速度及加速度
、
车身横摆角
、
横摆角速度；与前车的车距
、
相对速度
、TTC、
自车道偏离程度
、
前车车灯状态；交通信号灯状态
、
交通标志
、
行人运动状态
、
行人距离；通过转移熵的方法建立上述人机因果认知特征变量因果关系，对于上述任意两变量
X
和
Y
，转移熵公式通过信息熵与条件熵得到；信息熵由公式
(1)
表示：
Η
(X)
＝
‑
∑
Ρ
(x)log2Ρ
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
式中
x
表示变量
X
的所有可能值，
P(x)
代表随机变量
X
取值为
x
的概率；条件熵由公式
(2)
表示：
Η
(X|Y)
＝
‑
∑∑
Ρ
(x,y)log2Ρ
(x|y) (2)
由
H(X)
和
H(Y)
得到转移熵，公式
(3)
定义了变量
Y
到
X
的转移熵
T
Y
→
X
：式中，
x
t
和
y
t
表示两变量在时间
t
的值，
x
t(k)
＝
[x
t
,x
t
‑1,
…
,x
t
‑
k+1
]
表示过去
k
个时刻
x
的所有值
,y
t
(l)
＝
[x
t
,x
t
‑1,
…
,x
t
‑
l+1
]
表示过去
l
个时刻
y
的所有值，转移熵的数值反映了两变量间信息流动的关系，因两变量的转移熵是不对称的，故两变量间的因果关系需要用式
(4)
来表示：
T
X,Y
＝
T
X
→
Y
‑
T
Y
→
X (4)
若
T
X,Y
<0
，则变量
X
是变量
Y
的结果，反之则变量
X
是变量
Y
的原因，将本环节总结的人机因果认知特征变量进行因果关系计算，得到因果关系矩阵
N
，以此矩阵作为图结构中的邻接矩阵，从而构造出图中节点间的边；环节二
、
基于多元时序数据的卷积特征提取模型，第二步的步骤一的环节一中所述变量的数值来源于真实的驾驶情境，与驾驶规则
、
驾驶习性强关联，随时间成规律性变化，因此需要对多元时序数据进行周期性处理，本环节利用多个不同尺度的深度可分离卷积对同一特征的不同时刻信息提取，并利用卷积核为1×
m
的一次卷积将不同通道的信息聚合，其中
m
是通道数，从而得到时间序列数据的特征在所有时间周期上的信息合并，该过程如式
(5)、(6)
所示：
h
i
＝
ReLU(W
i
*x+b
i
) (5)
式中
h
i
表示神经网络第
i
层的输出，
W
i
为权重向量，
b
i
表示偏置向量，
*
表示卷积运算，
ReLU
是非线性激活函数，
⊕
表示串联运算；环节三
、
基于数据融合的图注意力网络模型，利用环节一得到的人机因果认知特征时序变量间的因果关系矩阵和环节二得到的每个变量节点下的特征矩阵共同构造出的图结构，本环节使用图注意力网络在统一的框架中表示图形的结构和节点内容，并为领域节点
赋予不同权重；在图注意力网络中，图中节点的表示形式如式
(7)
所示：其中
z
i(l+1)
为节点
i
的输出表示，
N(i)
为
i
的邻居节点，
σ
为非线性函数，
α
ij
表示代表邻居节点重要性的系数
,W
为权重，节点重要性系数从属性值和拓扑距离两方面进行计算，在属性值方面，注意力系数
α
ij
由式
(8)
表示：式中，
W
xi
，
W
xj
为第
i
个输入和第
j
个输入的权重，为缩放因子；在拓扑距离方面，根据相邻节点以及节点间的边来计算目标节点，采用
t
阶相邻节点来获得邻近矩阵
M
：
M
＝
(B+B2+
…
+B
t
)/t
ꢀꢀ
(9)
式中，
B
为转移矩阵，
M
为两节点的
t
阶拓扑相关性，
t
为超参数；将注意力系数归一化处理并加入拓扑权重
M
和激活函数
LeakyReLU
函数后，注意力系数表示为：其中
δ
为激活函数，
M
ij
为两节点的
t
阶拓扑相关性；将已采集到的人机因果认知特征变量时序数据作为输入，图注意力网络最终输出维数为1的驾驶员操作数据作为预测结果；环节四
、
典型场景下驾驶员因果认知机理分析，在以下典型驾驶场景中：
1)
沿本车道行驶的驾驶场景：直线行驶驾驶场景
、
弯道行驶驾驶场景
、
跟车驾驶场景
、
前车切入
/
切出驾驶场景；
2)
变道驾驶场景：超车驾驶场景
、
地形变化驾驶场景
、
车道封闭驾驶场景；
3)
通过红绿灯路口的驾驶场景：直行驾驶场景
、
转向驾驶场景
、
掉头驾驶场景；
4)
匝道驾驶场景；
5)
泊车驾驶场景，第二步的步骤一的前三个环节以多元人机因果认知特征变量时序数据为输入，得到具有因果关系的对驾驶员操作行为的推理，在每一类典型驾驶场景下，依照驾驶常识
、
认知逻辑
、
法律条文将推理得到的驾驶员操作特征进行分类汇总，得到在不同场景下的驾驶员操作规律，进而分析驾驶员因果认知机理；第二步步骤二中的具体环节如下：环节一
、
基于多元时序数据的自动驾驶认知因果关系框架，在自动驾驶系统对驾驶情境的理解及响应中，用于因果认知机理分析的多元变量有：节气门开度
、
制动压力
、
方向盘转角
、
方向盘转角变化率；车辆纵向速度及加速度
、
横向速度及加速度
、
车身横摆角
、
横摆角速度；与前车的车距
、
相对速度
、TTC、
自车道偏离程度
、
前车车灯状态；交通信号灯状态
、
交通标志
、
行人运动状态
、
行人距离；本环节采用
Lasso
回归对变量进行选择从而降低变量维数，同时需要建立一个回归模型即可进行所有输入变量与目标变量之间的因果分析，假设节气门开度为响应变量，该变
量的时间序列表示为式
(11)
：
Y
＝
(y1,y2,...,y
n
)
T (11)
将其他变量列为协变量，如式
(12)
：
X
＝
(X1,X2,...,X
n
) (12)
普通线性模型表示为式
(13)
：
Y
＝
X
β
+
ε (13)
对于其中的每一个协变量
X
j
,X
i
＝
(X
1i
,X
2i
,
…
,X
nI
)
T
,
ε
为随机误差项，
β
为回归系数，对普通线性模型加入
L1
惩罚项进行变量选择，从而实现变量数据降维，对于普通线性模型的
Lasso
估计为式
(14)
：式中，等号右侧第二项为
L1
惩罚项，
λ
为调节系数，使用
Lasso
回归能够方便计算复杂维度下的因果关系，初步筛选出与自动驾驶系统响应变量有较强因果关系的变量；环节二
、
基于多元时序数据的认知感知器，使用
TensorFlow
深度学习框架构建多输出多层感知器神经网络模型，定义模型的输入层
、
隐藏层和输出层，输出
y
为前一层与
y
连接的节点的加权和，如式
(15)
所示：式中，
x
i
为前一层节点的输入，
w
i
为权重系数，
b
为偏差，
Act
为非线性激活函数，用于触发节点激活，用均方误差构建损失函数
C(w,b)
，用多元时序数据训练模型，通过反向传播算法进行权重和偏置的调整来最小化损失函数，反向传播过程如式
16、17
所示：所示：其中，
α
是学习率，迭代这个梯度算法直到成本收敛；本环节的输入信号为已筛选的具有较强因果关系的多元时序数据，输出信号为训练好的多层感知器模型；环节三
、
基于多元时序数据的卷积神经网络，对自动驾驶因果认知机理分析的多元时序变量数据进行预处理，一维数据进行归一化处理，数维数据进行标准化处理；构建卷积神经网络模型：构建适用于处理混合多元时序数据的卷积神经网络模型，模型的输入符合一维数据和数维数据的特点，使用一维卷积层处理一维数据，使用二维或三维卷积层处理数维数据，将卷积层处理的数据输入到池化层中提取关键特征，再将关键特征输入全连接层，用以捕捉全局特征和建立特征与输出之间的关系，最后将处理好的数据集输入模型中进行训练，对模型进行优化，提高模型性能，本环节的输入信号为已筛选的具有较强因果关系的多元时序数据，输出信号为训练好的多层感知器模型；环节四
、
典型场景下自动驾驶系统内果认知机理分析，在典型驾驶场景中，第二步的步
骤二的前三个环节以多元自动驾驶因果认知特征变量时序数据为输入，得到对自动驾驶系统响应的预测，在每一类典型驾驶场景下，依照驾车辆动力学模型
、
驾驶常识
、
认知逻辑
、
法律条文将预测得到的自动驾驶系统响应特征进行分类与汇总，得到在不同场景下的自动驾驶系统响应规律，进而分析自动驾驶系统因果认知机理；第二步步骤三中的具体环节如下：环节一
、
人机因果关系特征提取，在传感器采集到的数据中，将驾驶员操作数据
、
自动驾驶系统响应数据
、
驾驶场景数据进行提取，其中各类数据具体包括：
1)
驾驶员操作数据：驾驶员施加给方向盘的扭矩
、
驾驶员施加给加速踏板的压力
、
驾驶员施加给制动踏板的压力
、
驾驶员换挡操作；
2)
自动驾驶系统响应数据：方向盘转向信号
、
制动信号
、
变速信号
、
换挡信号；
3)
驾驶场景数据：本车的位置
、
速度
、
加速度
、
姿态数据以及经元数据引擎处理后的车辆周围环境的准确描述，即周围车辆位置
、
速度
、
姿态以及周围障碍物的位置
、
速度
、
形状；根据第二步中步骤一和步骤二得到的因果关系的强弱，对数据进行筛选，以获得因果关系较强的数据，进而获取驾驶场景中重要场景元素的数据特征；并对...
【专利技术属性】
技术研发人员：孙博华，单滢洁，李琬葶，杜泽文，谢飞，赖思琦，王鹏博，谢林宵，翟洋，赵帅，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。