基于视频对象的边缘领域加权的货车监控方法技术

本申请公开了一种基于视频对象的边缘领域加权平均的货车监控方法，其包括：获取待监控的货车进入无感加油站的加油位置过程中的初始视频；从所述初始视频截取预定时间间隔的多个图像帧；将所述多个图像帧输入卷积神经网络以获得卷积特征图；确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置；对于每个特征图位置，以所述位置的邻域位置的值对所述位置的值进行邻域加权平均以获得修正特征图；以及,将所述修正特征图通过分类器以获得分类结果，所述分类结果用于表示所述待监控的货车是否存在异常。这样，基于视频对象的边缘领域加权平均的方式来基于货车的边缘的抖动情况来判定货车的状态是否正常。边缘的抖动情况来判定货车的状态是否正常。边缘的抖动情况来判定货车的状态是否正常。

【技术实现步骤摘要】
基于视频对象的边缘领域加权的货车监控方法


[0001]本申请涉及人工智能
，且更为具体地，涉及一种基于视频对象的边缘领域加权的货车监控方法、系统和电子设备。

技术介绍

[0002]智慧城市是把新一代信息技术充分应用在城市中各行各业的城市信息化高级形态。随着 5G和物联网技术的发展，用于对车辆(例如，货车)进行智慧加油的智慧加油站逐渐出现在大众视野中。
[0003]在基于5G物联网的用于对货车进行智慧加油的解决方案中，除了实现对货车的智慧加油，包括智能识别、无感支付等，还可以基于所采集的数据实现其他功能，以完善5G物联网智慧加油站的服务。对于车主而言，最重要的永远是人身安全，因此，在5G物联网智慧加油站中，对货车的异常状态进行监控是非常急需的功能。
[0004]目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0005]近年来，深度学习以及神经网络的发展为5G物联网智慧加油站中货车的异常状态进行监控提供了新的解决思路和方案。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于视频对象的边缘领域加权的货车监控方法、系统和电子设备，其基于视频对象的边缘领域加权平均的方式来基于货车的边缘的抖动情况来判定货车的状态是否正常。
[0007]根据本申请的一个方面，提供了一种基于视频对象的边缘领域加权平均的货车监控方法，其包括：
[0008]获取待监控的货车进入无感加油站的加油位置过程中的初始视频；
[0009]从所述初始视频截取预定时间间隔的多个图像帧；
[0010]将所述多个图像帧输入卷积神经网络以获得卷积特征图；
[0011]确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置；
[0012]对于每个特征图位置，以所述位置的邻域位置的值对所述位置的值进行邻域加权平均以获得修正特征图；以及
[0013]将所述修正特征图通过分类器以获得分类结果，所述分类结果用于表示所述待监控的货车是否存在异常。
[0014]在上述基于视频对象的边缘领域加权的货车监控方法中，确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置，包括：对所述多个图像帧中的货车进行边缘检测以获得所述多个图像帧中的货车边缘的位置；以及，基于所述多个图像帧中的货车边缘的位置确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位
置。
[0015]在上述基于视频对象的边缘领域加权的货车监控方法中，确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置，包括：将所述卷积特征图进行图像语义分割以确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置。
[0016]在上述基于视频对象的边缘领域加权的货车监控方法中，对于每个特征图位置，以所述位置的邻域位置的值对所述位置的值进行邻域加权平均以获得修正特征图，包括：对于每个特征图位置，确定以所述位置为中心的3
×
3的矩阵范围内的另外八个位置的值；确定所述另外八个位置的值的预定权重；以及，基于所述预定权重以所述另外八个位置的值对所述位置的值进行邻域加权平均以获得所述修正特征图中所述位置的值。
[0017]在上述基于视频对象的边缘领域加权的货车监控方法中，所述另外八个位置的值的预定权重作为超参数参与到所述卷积神经网络的训练过程中。
[0018]在上述基于视频对象的边缘领域加权的货车监控方法中，基于所述预定权重以所述另外八个位置的值对所述位置的值进行加权以获得所述修正特征图中所述位置的值，包括：计算所述另外八个位置中的每个位置的值与所述预定权重的加权和；对于所述八个加权和应用随机扰动值以获得八个加权值；以及，将所述八个加权值与所述位置的值进行加权平均以获得所述修正特征图中所述位置的值。
[0019]在上述基于视频对象的边缘领域加权的货车监控方法中，将所述修正特征图通过分类器以获得分类结果，包括：对所述修正特征图进行按通道的加权平均池化以获得第一池化特征图；将所述第一池化特征图通过卷积层以获得第一卷积特征图；将所述第一卷积特征图进行按行或者按列的加权平均池化以获得第二池化特征图；将所述第二池化特征图通过多个全连接层以获得全连接特征向量；以及，将所述全连接特征向量输入分类函数以获得所述分类结果。
[0020]在上述基于视频对象的边缘领域加权的货车监控方法中，所述无感加油站的系统，包括：摄像头，用于获取所述待监控的货车进入加油位置过程中的初始视频；货车ETC读写设备；ETC 和5G移动WIFI一体机；以及，加油站管理系统。
[0021]根据本申请的另一方面，提供了一种基于视频对象的边缘领域加权的货车监控系统，包括：
[0022]初始视频获取单元，用于获取待监控的货车进入无感加油站的加油位置过程中的初始视频；
[0023]图像帧截取单元，用于从所述初始视频获取单元获得的所述初始视频截取预定时间间隔的多个图像帧；
[0024]卷积特征图生成单元，用于将所述图像帧截取单元获得的所述多个图像帧输入卷积神经网络以获得卷积特征图；
[0025]边缘特征图位置确定单元，用于确定所述卷积特征图生成单元获得的所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置；
[0026]修正特征图生成单元，用于对于所述边缘特征图位置确定单元确定的每个特征图位置，以所述位置的邻域位置的值对所述位置的值进行邻域加权平均以获得修正特征图；以及
[0027]分类单元，用于将所述修正特征图生成单元获得的所述修正特征图通过分类器以
获得分类结果，所述分类结果用于表示所述待监控的货车是否存在异常。
[0028]在上述基于视频对象的边缘领域加权的货车监控系统中，所述边缘特征图位置确定单元，进一步用于：对所述多个图像帧中的货车进行边缘检测以获得所述多个图像帧中的货车边缘的位置；以及，基于所述多个图像帧中的货车边缘的位置确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置。
[0029]在上述基于视频对象的边缘领域加权的货车监控系统中，所述边缘特征图位置确定单元，进一步用于：将所述卷积特征图进行图像语义分割以确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置。
[0030]在上述基于视频对象的边缘领域加权的货车监控系统中，所述修正特征图生成单元，包括：领域范围确定子单元，用于对于每个特征图位置，确定以所述位置为中心的3
×
3的矩阵范围内的另外八个位置的值；权重确定子单元，用于确定所述另外八个位置的值的预定权重；以及，加权平均子单元，用于基于所述预定权重以所述另外八个位置的值对所述位置的值进行邻域加权平均以获得所述修正特征图中所述位置的值。
[0031]在上述基于视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频对象的边缘领域加权平均的货车监控方法，其特征在于，包括：获取待监控的货车进入无感加油站的加油位置过程中的初始视频；从所述初始视频截取预定时间间隔的多个图像帧；将所述多个图像帧输入卷积神经网络以获得卷积特征图；确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置；对于每个特征图位置，以所述位置的邻域位置的值对所述位置的值进行邻域加权平均以获得修正特征图；以及将所述修正特征图通过分类器以获得分类结果，所述分类结果用于表示所述待监控的货车是否存在异常。2.根据权利要求1所述的基于视频对象的边缘领域加权的货车监控方法，其中，确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置，包括：对所述多个图像帧中的货车进行边缘检测以获得所述多个图像帧中的货车边缘的位置；以及基于所述多个图像帧中的货车边缘的位置确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置。3.根据权利要求1所述的基于视频对象的边缘领域加权的货车监控方法，其中，确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置，包括：将所述卷积特征图进行图像语义分割以确定所述卷积特征图中与所述多个图像帧中的货车边缘对应的特征图位置。4.根据权利要求1所述的基于视频对象的边缘领域加权的货车监控方法，其中，对于每个特征图位置，以所述位置的邻域位置的值对所述位置的值进行邻域加权平均以获得修正特征图，包括：对于每个特征图位置，确定以所述位置为中心的3
×
3的矩阵范围内的另外八个位置的值；确定所述另外八个位置的值的预定权重；以及基于所述预定权重以所述另外八个位置的值对所述位置的值进行邻域加权平均以获得所述修正特征图中所述位置的值。5.根据权利要求4所述的基于视频对象的边缘领域加权的货车监控方法，其中，所述另外八个位置的值的预定权重作为超参数参与到所述卷积神经网络的训练过程中。6.根据权利要求4所述的基于视频对象的边缘领域加权的货车监控方法，其中，基于所述预定权重以所述另外八个位置的值对所述位置的值进行加权以获得所述修正特征图中所述位置的值，包括：计算所述另外八个位...

【专利技术属性】
技术研发人员：袁亚焱，
申请(专利权)人：南京南亚源网络科技有限公司，
类型：发明
国别省市：