基于姿态分析的车路协同系统技术方案

本发明专利技术公开了一种基于姿态分析的车路协同系统，检测识别模块实时拍摄路口视频，将拍摄的视频传入中控机，中控机对传入的视频做出分析后将识别结果传入通信模组，通信模组将消息无线广播出去，经车载单元接收后显示相关提示；中控机对传入的视频通过以下步骤进行分析：首先，建立YOLO检测模型，利用YOLO检测模型获取视频中的图像信息，在图像信息中提取行人及其坐标信息；然后，通过深度建议生成器iDPG来扩充所述图像信息；最后，利用对称空间变换网络和跨帧姿势关联跟踪器优化，提取高质量的人体建议区域，用SPPE进行精确的姿态估计发送给车载单元显示。给车载单元显示。给车载单元显示。

【技术实现步骤摘要】
基于姿态分析的车路协同系统


[0001]本专利技术涉及智能车路系统
，特别是涉及一种基于姿态分析的车路协同系统。

技术介绍

[0002]目前交通环境中普通的视频监控系统不具备对行人的行为进行实时监控的功能，以至于驾驶人员在复杂的交通环境中驾车时很容易发生交通事故，尤其是十字路口被遮挡的人群。针对这种现象我国交通部门还新出了礼让行人的交通规则，通过一段时间的实施有很多司机在行驶过程中都违反了相关规定，特别是在夜间比较昏暗的环境，司机师傅依然很难观察到行人在复杂的交通系统中行驶的路径，尤其是对于出行比较多的出租车师傅很难完全解决交通路口潜在的危险情况。

技术实现思路

[0003]本专利技术的目的是针对现有技术中存在十字路口被遮挡的行人难以观察的问题，而提供一种基于姿态分析的车路协同系统。
[0004]为实现本专利技术的目的所采用的技术方案是：
[0005]一种基于姿态分析的车路协同系统，包括检测识别模块、通信模组和中控机，检测识别模块实时拍摄路口视频，将拍摄的视频传入中控机，中控机对传入的视频做出分析后将识别结果传入通信模组，通信模组将消息无线广播出去，经车载单元接收后显示相关提示；
[0006]中控机对传入的视频通过以下步骤进行分析：
[0007]首先，建立YOLO检测模型，利用YOLO检测模型获取视频中的图像信息，在图像信息中提取行人及其坐标信息；
[0008]然后，通过深度建议生成器iDPG来扩充所述图像信息；
[0009]最后，利用对称空间变换网络和跨帧姿势关联跟踪器优化，对称的空间变换网络是在SPPE的前后附加STN和SDTN组成的，提取高质量的人体建议区域，用SPPE进行精确的姿态估计，将包括姿态信息和坐标信息发送给车载单元显示。
[0010]在上述技术方案中，所述检测识别模块包括红外摄像头和RGB摄像头。
[0011]在上述技术方案中，建YOLO检测模型时，通过剪枝算法来提高YOLO检测模型识别效率。
[0012]在上述技术方案中，所述车路协同系统还包括红绿灯指示模块，红绿灯控制板控制外面的灯组显示，同时将相关红绿灯相位变化信息传入所述通信模组，所述通信模组将红绿灯相位广播给车载单元显示。
[0013]在上述技术方案中，SPPE进行精确的姿态估计时，一个SPPE分支和一个并行的SPPE分支，两个分支共用一个对称空间变换网络，两个SPPE分支的输出与中心定位真实姿态的标签进行比较；
[0014]SPPE分支的权重将位于中心的姿态误差反向传播到对称空间变换网络STN，当STN中提取的姿态不是中心定位，并行SPPE将反向传播大的误差，将STN聚焦在相关的区域，提取高质量的优势区域。
[0015]在上述技术方案中，跨帧姿势关联跟踪器包括本帧数据与前后帧数据的交叉验证。
[0016]在上述技术方案中，本帧数据中，定义帧內姿势距离为测量帧中两个姿势P1与P2的相似性，P
1n
和P
2n
分别定义为P1与P2的n
th
个关键点，n为一个人的关键点数量，B(P
1n
)是以P
1n
为中心的检测框，是P
1n
的分数，即网络训练过程中得出的置信度得分，调节参数tanη用来抑制低分数的关键点；
[0017][0018]关键点之间的空间相似性如下式(2)：
[0019][0020]公式(1)与(2)联立：
[0021]d
f
(P1,P2|Λ)＝M
Sim
(P1,P2|φ1)
‑1+λS
Sim
(P1,P2|φ1)
‑1ꢀꢀꢀꢀꢀꢀ
(3)
[0022]式中Λ＝{φ1,φ2,λ}，这三个调试变量根据最佳原则确定。
[0023]在上述技术方案中，前后帧数据处理时，定义帧间姿势距离是测量相邻两帧中姿势的距离，通过导入时间匹配来测量跨帧姿势为一个人的概率。
[0024]在上述技术方案中，P
1n
和的边界框被定义为和从和中提取深度匹配特征点f
1n
、用表示和的相似性，P
1n
和的帧间姿态距离表示如下式(4)：
[0025][0026]将P
ij
定义为i
th
位姿在j
th
帧，候选关联集如下式(5)：
[0027][0028]s.t.P∈Ω
j+1
[0029]式中Ω
j+1
表示在(j+1)
th
一帧中的一组姿态，交叉验证设置为1/25,H(P
ij
)表示为P
ij
在下一帧中可能对应的姿势，讨论跟踪点P
it
和考虑位姿流从t
th
到(t+T)
th
的建立，
[0030][0031]s.t.Q0＝P
it
,
[0032]s.t.Q
i
∈H(Q
i
‑1)
[0033]式中s(Q
i
)是输出Q
i
置信度得分的函数，Q0为初始跟踪点，如下式(7)：
[0034]s(Q
i
)＝s
box
(Q
i
)+mean(s
pose
(Q
i
))+max(s
pose
(Q
i
))
ꢀꢀꢀꢀꢀꢀ
(7)
[0035]式中s
box
(Q
i
)表示人体检测框得分，mean(s
pose
(Q
i
))表示为所有关键点的平均得分，max(s
pose
(Q
i
))表示为所有关键点的最大的分，最优化的{Q
t
,...,Q
t+T
}是位姿流P
it
从t
th
到(t+T)
th
帧；
[0036]定义两个姿态流y
a
和y
b
，并提取他们的时间重叠子流，将其定义为和N表示时间重叠帧的数量，其中和分别表示在相同帧中的两个姿势，y
a
与y
b
之间的距离如下式(8):
[0037][0038]其中d
f
(
·
)定义的帧內姿态距离，选择更健壮的中值度量；
[0039]选择置信度得分最大的姿势流作为参考，将与参考姿势流接近的姿势流进行分组，组成该组中更健壮的姿势流，i
th
关键点X
t,i
的2D坐标和代表性姿势流的置信度得分S
t,i
在t
th
帧计算公式如下(9)(10)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态分析的车路协同系统，其特征在于，所述车路协同系统包括检测识别模块、通信模组和中控机，检测识别模块实时拍摄路口视频，将拍摄的视频传入中控机，中控机对传入的视频做出分析后将识别结果传入通信模组，通信模组将消息无线广播出去，经车载单元接收后显示相关提示；中控机对传入的视频通过以下步骤进行分析：首先，建立YOLO检测模型，利用YOLO检测模型获取视频中的图像信息，在图像信息中提取行人及其坐标信息；然后，通过深度建议生成器iDPG来扩充所述图像信息；最后，利用对称空间变换网络和跨帧姿势关联跟踪器优化，对称的空间变换网络是在SPPE的前后附加STN和SDTN组成的，提取高质量的人体建议区域，用SPPE进行精确的姿态估计，将包括姿态信息和坐标信息发送给车载单元显示。2.如权利要求1所述的车路协同系统，其特征在于，所述检测识别模块包括红外摄像头和RGB摄像头。3.如权利要求1所述的车路协同系统，其特征在于，建YOLO检测模型时，通过剪枝算法来提高YOLO检测模型识别效率。4.如权利要求1所述的车路协同系统，其特征在于，所述车路协同系统还包括红绿灯指示模块，红绿灯控制板控制外面的灯组显示，同时将相关红绿灯相位变化信息传入所述通信模组，所述通信模组将红绿灯相位广播给车载单元显示。5.如权利要求1所述的车路协同系统，其特征在于，SPPE进行精确的姿态估计时，一个SPPE分支和一个并行的SPPE分支，两个分支共用一个对称空间变换网络，两个SPPE分支的输出与中心定位真实姿态的标签进行比较；SPPE分支的权重将位于中心的姿态误差反向传播到对称空间变换网络STN，当STN中提取的姿态不是中心定位，并行SPPE将反向传播大的误差，将STN聚焦在相关的区域，提取高质量的优势区域。6.如权利要求1所述的车路协同系统，其特征在于，跨帧姿势关联跟踪器包括本帧数据与前后帧数据的交叉验证。7.如权利要求6所述的车路协同系统，其特征在于，本帧数据中，定义帧內姿势距离为测量帧中两个姿势P1与P2的相似性，P
1n
和分别定义为P1与P2的n
th
个关键点，n为一个人的关键点数量，B(P
1n
)是以P
1n
为中心的检测框，是P
1n
的分数，即网络训练过程中得出的置信度得分，调节参数tanη用来抑制低分数的关键点；关键点之间的空间相似性如下式(2)：
公式(1)与(2)联立：d
f
(P1,P2|Λ)＝M
Sim
(P1,P2|φ1)
‑1+λS
Sim
(P1,P2|φ1)
‑1ꢀꢀꢀ
(3)式中Λ＝{φ1,φ2,λ}，这三个调试变量根据最佳原则确定。8.如权利要求6所述的车路协同系统，其特征在于，前后帧数据处理时，定义帧间姿势距离是测量相邻两帧中姿势的距离，通过导入时间匹配来测量跨帧姿势为一个人的概率。9.如权利要求8所述的车路协同系统，其特征在于，P
1n
和的边界框被定义为和从和中提取深度匹配特征点f
1n
、用表示和的相似性，P
1n

【专利技术属性】
技术研发人员：刘新潮，谭银翠，李钧，杨心悦，张奥迪，王梦园，郑香禹，武将将，林伟文，朱冰冰，邓依凡，刘畅，王清，杨爱民，
申请(专利权)人：天津职业技术师范大学中国职业培训指导教师进修中心，
类型：发明
国别省市：