一种基于神经网络的户外广告画面识别系统及方法技术方案

本发明专利技术公开了一种基于神经网络的户外广告画面识别系统及方法，系统包括主控开发板、GPS模块、继电器模块、摄像头模块、收发模块、服务器以及客户端；摄像头模块通过继电器模块与主控开发板连接，采集户外广告画面图像后，将该画面图像传送给主控开发板；采集的时间通过继电器模块控制；GPS模块与主控开发板连接，将其所对应的户外广告的位置发送给主控开发板；主控开发板与收发模块连接，通过收发模块将户外广告画面图像和GPS模块定位到的位置数据发送给服务器，由服务器对接收到的数据进行分析处理和储存；服务器安装在远程的中控室内；客户端与服务器连接。本发明专利技术既能实时监控户外广告画面的情况，又能降低运营成本。又能降低运营成本。又能降低运营成本。

【技术实现步骤摘要】
一种基于神经网络的户外广告画面识别系统及方法


[0001]本专利技术涉及物联网的
，尤其涉及到一种基于神经网络的户外广告画面识别系统及方法。

技术介绍

[0002]户外广告牌常见于城市道路，高速道路及建筑物楼面等户外场景，其特点是广告牌为钢结构，广告牌通常离地有18米及以上，一旦广告画面出现异常情况，需要具备高空作业的专业攀爬人士进行广告画面的修复或广告射灯的修复；
[0003]由于广告牌处于户外环境，风吹雨淋且容易受到极端天气的影响(如台风，雷暴等)，广告画面如果出现破损或机械装置故障，往往会严重影响广告主投放广告效果，甚至在约定广告画面发布时间内，容易出现被恶意更换，重复销售的行业陋习，进而导致广告媒体公司与广告主之间的信任度降低，服务存疑问题；同时，因为该类型户外广告牌分布区域广，离地距离远，人工巡查和监测时间成本高且准确度不高，而广告画面出现异常往往不能及时得到通知；另外，该类型广告牌均装有灯管或霓虹灯，是否按时正常亮灯，同样无法依靠人工巡检及时得知，而射灯亮灯时间调整需要人工到现场调节时控(每年至少两次)，从而给运维带来一定工作量，提高了运营成本的同时，还降低了工作效率。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于神经网络的户外广告画面识别系统，使得无需人工巡查也能知道户外广告画面的情况，其不单能提高工作效率，还能降低运营成本。
[0005]为实现上述目的，本专利技术所提供的技术方案为：
[0006]一种基于神经网络的户外广告画面识别系统及方法，包括主控开发板、GPS模块、继电器模块、摄像头模块、收发模块、服务器以及客户端；
[0007]其中，
[0008]所述摄像头模块通过继电器模块与主控开发板连接，采集户外广告画面图像后，将该画面图像传送给主控开发板；采集的时间通过继电器模块控制；
[0009]所述GPS模块与主控开发板连接，将其所对应的户外广告的位置发送给主控开发板；
[0010]所述主控开发板与收发模块连接，通过收发模块将户外广告画面图像和GPS模块定位到的位置数据发送给服务器，由服务器对接收到的数据进行分析处理和储存；
[0011]所述服务器安装在远程的中控室内；
[0012]所述客户端与服务器连接，通过服务器远程监控户外广告画面；
[0013]所述摄像头模块采用1.6mm超广角鱼眼摄像头模组；
[0014]所述客户端为智能手机、平板电脑、笔记本电脑、台式电脑中的任一种。
[0015]所述收发模块采用4G、5G、NB
‑
IoT中的任一种；
[0016]所述主控开发板采用RK3288处理芯片。
[0017]为实现上述目的，本专利技术另外提供一种基于神经网络的户外广告画面识别方法，包括以下步骤：
[0018]S1、主控开发板进行自检，运行GPS模块和收发模块，服务器接收各模块的状态码，实现各模块的线上监测；
[0019]S2、客户端进行广告牌定位信息更新，用户设定各广告牌画面抓拍时间点、抓拍间隔时间、目标广告客户的广告发布时间段以及广告牌亮灯时间；
[0020]S3、主控开发板获取当前世界时间，判断是否进入预设图像抓拍时间点，若未进入预定时间点，继电器模块和摄像头模块继续进入正常待机工作状态，GPS模块每间隔一小时上报当前经纬度信息到服务器，若上传数据与前一条记录数据出现偏差，判定户外广告牌发生位移，并在客户端提示异常；若判断已进入预定图像抓拍时间点，由主控开发板发送指令开启继电器模块，摄像头模块通电运行，进行对应户外广告画面图像数据的抓拍回传；
[0021]S4、已抓拍图像回传至主控开发板，确认图像数据接收完整后，继电器模块关闭，等待下一抓拍时间点；图像数据经收发模块发送至至服务器；
[0022]S5、最后进行基于神经网络模型的户外广告画面识别，识别包括是否为户外广告画面、户外广告画面是否出现破损以及广告牌装有的射灯是否按时正常亮灯。
[0023]进一步地，所述进行基于神经网络的户外广告画面识别时，通过构建并训练完成的户外广告框识别模型、户外广告画面破损识别模型、广告射灯识别模型分别识别是否为户外广告画面、户外广告画面是否出现破损以及广告牌装有的射灯是否按时正常亮灯。
[0024]进一步地，训练户外广告框识别模型的具体过程如下：
[0025]S01、初始图像转换为灰度，并进行像素标记，其中1表示白色，0表示黑色，并且从初始图像中提取四个位置作为户外广告范围的特征，成为卷积核；
[0026]S02、抓拍图像灰度化，用1，0标记像素特征，取卷积核中的任一元素值，与抓拍图像任一像素值进行相乘，等到结果为当前像素标记的卷积值，可得到新的标记值，将多个值求平均后，得到新的像素值，也称窗口；
[0027]S03、得到窗口值后，窗口以步长为2向右滑动，继续计算新的特征像素值，当对抓拍图像运用卷积核计算后，得到全新的特征图；接着采用平均池化方法，对特征图的特征值依次向右滑动并取平均值；
[0028]S04、多次池化后，得到特征图；然后对该特征图应用全连接网络，采用Softmax分类函数，输出每个对应类别的概率值，概率值越接近1，即表示该像素区域与初始图像越接近，反之，概率值越接近0，表示该像素区域与初始图像越不接近；
[0029]S05、经Softmax分类函数多次运算，并将所有像素区域的概率值相加取平均数，该平均数即为抓拍图像与初始图像的相似度值；
[0030]S06、多次循环步骤S01
‑
S05，经卷积
‑
平均值池化
‑
全连接网络
‑
全图概率平均值，每次抓拍的图像数据作为训练集用于户外广告框识别模型的训练，直至户外广告框识别模型收敛。
[0031]进一步地，训练户外广告画面破损识别模型的具体过程如下：
[0032]S
‑
1、通过人工收集户外广告破损画面图像，并将该些画面图像加入到训练库中；
[0033]S
‑
2、从训练库中选取以及灰度化第一画面图像，并进行像素标记，其中1表示白
色，0表示黑色，然后从该第一画面图像中提取四个位置作为户外广告范围的特征，作为卷积核；
[0034]S
‑
3、从训练库中选取以及灰度化第二画面图像，用1，0标记像素特征，取卷积核中的任一元素值，与第二画面图像任一像素值进行相乘，等到结果为当前像素标记的卷积值，得到新的标记值，将多个值求平均后，得到新的像素值，也称窗口；
[0035]S
‑
4、得到窗口值后，窗口以步长为2向右滑动，继续计算新的特征像素值，当对第二画面图像运用卷积核计算后，得到全新的特征图；接着采用平均池化方法，对特征图的特征值依次向右滑动并取平均值；
[0036]S
‑
5、多次池化后，得到特征图；然后对该特征图应用全连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的户外广告画面识别系统，其特征在于，包括主控开发板(1)、GPS模块(2)、继电器模块(3)、摄像头模块(4)、收发模块(5)、服务器(6)以及客户端(7)；其中，所述摄像头模块(4)通过继电器模块(3)与主控开发板(1)连接，采集户外广告画面图像后，将该画面图像传送给主控开发板(1)；采集的时间通过继电器模块(3)控制；所述GPS模块(2)与主控开发板(1)连接，将其所对应的户外广告的位置发送给主控开发板(1)；所述主控开发板(1)与收发模块(5)连接，通过收发模块(5)将户外广告画面图像和GPS模块(2)定位到的位置数据发送给服务器(6)，由服务器(6)对接收到的数据进行分析处理和储存；所述服务器(6)安装在远程的中控室内；所述客户端(7)与服务器(6)连接，通过服务器(6)远程监控户外广告画面。2.根据权利要求1所述的一种基于神经网络的户外广告画面识别系统，其特征在于，所述摄像头模块(4)采用1.6mm超广角鱼眼摄像头模组；所述客户端(7)为智能手机、平板电脑、笔记本电脑、台式电脑中的任一种；所述收发模块(5)采用4G、5G、NB
‑
IoT中的任一种；所述主控开发板(1)采用RK3288处理芯片。3.一种基于神经网络的户外广告画面识别方法，其特征在于，包括以下步骤：S1、主控开发板进行自检，运行GPS模块和收发模块，服务器接收各模块的状态码，实现各模块的线上监测；S2、客户端进行广告牌定位信息更新，用户设定各广告牌画面抓拍时间点、抓拍间隔时间、目标广告客户的广告发布时间段以及广告牌亮灯时间；S3、主控开发板获取当前世界时间，判断是否进入预设图像抓拍时间点，若未进入预定时间点，继电器模块和摄像头模块继续进入正常待机工作状态，GPS模块每间隔一小时上报当前经纬度信息到服务器，若上传数据与前一条记录数据出现偏差，判定户外广告牌发生位移，并在客户端提示异常；若判断已进入预定图像抓拍时间点，由主控开发板发送指令开启继电器模块，摄像头模块通电运行，进行对应户外广告画面图像数据的抓拍回传；S4、已抓拍图像回传至主控开发板，确认图像数据接收完整后，继电器模块关闭，等待下一抓拍时间点；图像数据经收发模块发送至至服务器；S5、最后进行基于神经网络模型的户外广告画面识别，识别包括是否为户外广告画面、户外广告画面是否出现破损以及广告牌装有的射灯是否按时正常亮灯。4.根据权利要求3所述的一种基于神经网络的户外广告画面识别方法，其特征在于，所述进行基于神经网络的户外广告画面识别时，通过构建并训练完成的户外广告框识别模型、户外广告画面破损识别模型、广告射灯识别模型分别识别是否为户外广告画面、户外广告画面是否出现破损以及广告牌装有的射灯是否按时正常亮灯。5.根据权利要求4所述的一种基于神经网络的户外广告画面识别方法，其特征在于，训练户外广告框识别模型的具体过程如下：S01、初始图像转换为灰度，并进行像素标记，其中1表示白色，0表示黑色，并且从初始图像中提取四个位置作为户外广告范围的特征，成为卷积核；
S02、抓拍图像灰度化，用1，0标记像素特征，取卷积核中的任一元素值，与抓拍图像任一像素值进行相乘，等到结果为当前像素标记的卷积值，可得到新的标记值，将多个值求平均后，得到新的像素值，也称窗口；S03、得到窗口值后，窗口以步长为2向右滑动，继续计算新的特征像素值，当对抓拍图像运用卷积核计算后，得到全新的特征图；接着采用平均池化方法，对特征图的特征值依次向右滑动并取平均值；S04、多次池化后，得到特征图；然后对该特征图应用全连接网络，采用Softmax分类函数，输出每个对应类别的概率值，概率值越接近1，即表示该像素区域与初始图像越接近，反之，概率值越接近0，表示该像素区域与初始图像越不接近；S05、经Softmax分类函数多次运算，并将所有像素区域的概率值相加取平均数，该平均数即为抓拍图像与初始图像的相似度值；S06、多次循环步骤S01
‑
S05，经卷积
‑
平均值池化
‑
全连接网络
‑
全图概率平均值，每次抓拍的图像数据作为训练集用于户外广告框识别模型的训练，直至户外广告框识别模型收敛。6.根据权利要求4所述的一种基于神经网络的户外广告画面识别方法，其特征在于，训练户外广告画面破损识别模型的具体过程如下：S
‑
1、通过人工收集户外广告破损画面图像，并将该些画面图像加入到训练库中；S
‑
2、从训练库中选取以及灰度化第一画面图像，并进行像素标记，其中1表示白色，0表示黑色，然后从该第一画面图像中提取四个位置作为户外广告范围的特征，作为卷积核；S
‑
...

【专利技术属性】
技术研发人员：谢世明，
申请(专利权)人：广东博媒广告传播有限公司，
类型：发明
国别省市：