一种基于边缘端交通音视频同步样本的自动标注方法技术

本发明专利技术提供一种基于边缘端交通音视频同步样本的自动标注方法，涉及智能交通及边缘计算技术领域。该方法首先在边缘计算设备上连接麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；再采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量；最后用高速公路交通视频中车流量的统计结果给同步的高速公路交通音频数据做标签，并将音频数据的文件名和车流量的统计结果写入到文件中，生成高速公路交通流量音频样本。该方法采用音视频结合的方式，用视频给音频作标签，避免了现有的视频监测方法存在摄像头受外界环境影响大、图像处理计算量大等问题。

【技术实现步骤摘要】
一种基于边缘端交通音视频同步样本的自动标注方法
本专利技术涉及边缘计算
，尤其涉及一种基于边缘端交通音视频同步样本的自动标注方法。
技术介绍
近年来，随着大数据、云计算、人工智能技术的飞速发展，互联网产业正处在变革之中，传统云计算面临带宽和延迟两大问题时，边缘计算应运而生。在边缘计算中，由于带宽和能耗问题，不同类型的物联网设备生成的海量数据可以在网络边缘进行处理，而不是传输到集中式云基础设施，而随着边缘计算技术的发展，也越来越广泛应用于智慧交通领域。目前高速公路交通监测常用方法有环形线圈检测，电磁波感应检测和视频检测等。随着图像处理技术、模式识别、机器学习和深度学习算法的不断发展，计算机数据处理能力的提高，基于视频检测的高速公路交通异常分析方法逐渐成为当前智能交通领域研究的主流方法。但是上述方法中电磁感应线圈检测有易损坏、破坏路面的缺点；视频检测方法受环境影响大，在一些条件下视频检测会失效，如在雾霾，沙尘等极端天气条件和火灾引起的浓烟环境下，视频设备拍摄的画面不清或者无效；当前与高速公路上车辆有关的音频数据集比较少，而且在本文档来自技高网...

【技术保护点】
1.一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：包括以下步骤：/n步骤1：在边缘计算设备上连接安装麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；/n步骤2：采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量，具体方法为：/n步骤2.1：采用基于混合高斯模型的背景差分法对采集的视频数据进行车辆检测，得到每帧图像中的车辆轮廓；/n步骤2.2：基于高速公路交通视频每帧图像中的车辆轮廓，利用简单在线实时跟踪算法对高速公路上的车辆进行实时跟踪；/n步骤2.3：根据各帧的车辆跟踪器中目标车辆的标识符，统计高速...

【技术特征摘要】
1.一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：包括以下步骤：
步骤1：在边缘计算设备上连接安装麦克风和摄像头，同步采集高速公路交通音频和视频数据并存储；
步骤2：采用基于混合高斯模型的背景差分法和简单在线实时跟踪算法相结合的车辆检测跟踪计数方法，统计高速公路交通视频数据中的交通流量，具体方法为：
步骤2.1：采用基于混合高斯模型的背景差分法对采集的视频数据进行车辆检测，得到每帧图像中的车辆轮廓；
步骤2.2：基于高速公路交通视频每帧图像中的车辆轮廓，利用简单在线实时跟踪算法对高速公路上的车辆进行实时跟踪；
步骤2.3：根据各帧的车辆跟踪器中目标车辆的标识符，统计高速公路交通视频中车流量；
步骤2.3.1：比较相邻帧的车辆跟踪器，若当前帧的车辆跟踪器中的目标车辆标识符存在于前一帧跟踪器中，则此目标车辆为同一辆车；
步骤2.3.2：连接当前帧目标车辆下边框中心点和前一帧目标车辆下边框中心点；
步骤2.3.3：判断步骤2.3.2所得连接线与视频中的计数线是否相交，如果相交，则车辆计数器加一；否则执行步骤2.3.4；
步骤2.3.4：重复执行步骤2.3.1-2.3.3，直到视频结束，完成高速公路交通视频中车流量的统计；
步骤3：用高速公路交通视频中车流量的统计结果给同步的高速公路交通音频数据做标签，并将音频数据的文件名和车流量的统计结果写入到文件中，生成高速公路交通流量音频样本。


2.根据权利要求1所述的一种基于边缘端交通音视频同步样本的自动标注方法，其特征在于：所述步骤2.1的具体方法为：
步骤2.1.1：边缘计算设备采集的高速公路交通视频图像中每个像素点的观测值相互独立，对高速公路交通视频图像中的每一个像素点分别用含有N个高斯分布的混合高斯模型来建立高速公路交通图像背景模型；
所述视频图像中像素点j在t时刻的混合高斯模型P(xj)如下公式所示：






其中，N为混合高斯模型中高斯分布的个数，表示像素点j在t时刻第i个高斯分布
的权重系数，η()表示高斯分布概率密度函数，xj表示像素点j在t时刻的取值，和分别表示像素点j在t时刻第i个高斯分布的均值向量和协方差矩阵，d是xj向量的维度；
步骤2.1.2：用高速公路交通视频的第一帧图像的像素值初始化混合高斯模型，将混合高斯模型中的第一个高斯分布的均值赋值为第一帧图像的像素值，权重值赋值为1，第一个以外的高斯分布的均值和权重值都初始化为0；
步骤2.1.3：在t时刻，将高速公路交通视频图像中的像素值Xt同当前的N个高斯分布的均值进行比较，找到与高速公路交通视频图像中像素值Xt匹配的高斯分布，并对混合高斯模型中的参数进行更新；
所述找到与高速公路交通视频图像中像素值Xt匹配的高斯分布模型，即使高速公路交通视频图像中的像素值Xt与高斯分布的均值满足以下关系式：



其中，Xt表示为t时刻高速公路交通视频图像中的像素值，表示为t-1时刻第i个高斯分布的均值，表示为t-1时刻第i个高斯分布的标准差；
如果t时刻的像素值Xt与混合高斯分布模型中的任一高斯分布均不匹配时，则删除权重最小的高斯分布，加入一个新的高斯分布；
如果t时刻的像素值Xt与混合高斯分布模型中的至少一个高斯分布匹配时：
若Xt与第i个高斯分布匹配，则该高斯分布的参数按照如下公式进行更新：









其中，ρ表示为高斯分布参数的更新速率，α表示为学习速率，表示为t时刻的像素值Xt的高斯分布概率，和分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的均值，和分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的方差；
若Xt与第i个高斯分布不匹配，则该高斯分布的均值和标准差不变；
步骤2.1.4：更新混合高斯模型中各高斯分布的权重系数，并将各高斯分布的权重值进行归一化；
所述更新混合高斯模型中各高斯分布的权重系数，如下公式所示：






其中，和分别表示为t和t-1时刻混合高斯模型中第i个高斯分布的权重系数；
步骤2.1.5：将构建的高速公路交通图像背景模型中的N个高斯分布根据权重和标准差之比ω/σ由大到小排序；
步骤2.1.6：从步骤2.1.5所得排序中选择前B个高斯分布作为背景模型，且B满足如下公...

【专利技术属性】
技术研发人员：郭军，王馨悦，刘韬，闫永明，刘艳伟，李晨光，
申请(专利权)人：沈阳帝信人工智能产业研究院有限公司，
类型：发明
国别省市：辽宁;21