道路巡检方法、装置及电子设备制造方法及图纸

本公开提供了一种道路巡检方法、装置及相关设备，涉及人工智能，具体涉及智能交通、自动驾驶、计算机视觉等领域。具体实现方案为：获取道路巡检视频和道路巡检音频，其中，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；根据所述道路巡检视频和所述道路巡检音频进行路面病害识别，获得N个目标视频帧，其中，所述目标视频帧用于指示所述目标道路存在路面病害风险，N为正整数；向服务器上传M个所述目标视频帧，其中，M为小于或等于N的正整数。本公开能提升目标视频帧的召回效果。帧的召回效果。帧的召回效果。

【技术实现步骤摘要】
道路巡检方法、装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及道路巡检方法、装置及电子设备。

技术介绍

[0002]目前，为识别城市道路上存在的路面病害，巡检员会在城市道路进行定期巡逻，当巡检员发现路面病害后，会通过终端对所发现的路面病害进行图像采集，并将采集得到的图像数据经由终端上传至云端服务器进行记录。

技术实现思路

[0003]本公开提供了一种道路巡检方法、装置及电子设备。
[0004]根据本公开的一方面，提供了一种道路巡检方法，所述方法包括：
[0005]获取道路巡检视频和道路巡检音频，其中，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；
[0006]根据所述道路巡检视频和所述道路巡检音频进行路面病害识别，获得N个目标视频帧，其中，所述目标视频帧用于指示所述目标道路存在路面病害风险，N为正整数；
[0007]向服务器上传M个所述目标视频帧，其中，M为小于或等于N的正整数。
[0008]根据本公开的另一方面，提供了一种数据处理方法，所述方法包括：
[0009]接收终端上传的图像数据，其中，所述图像数据用于指示目标道路存在路面病害风险，所述图像数据根据道路巡检视频和道路巡检音频获得，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；
[0010]对所述图像数据进行路面病害识别，得到路面病害识别结果。
[0011]根据本公开的另一方面，提供了一种道路巡检装置，所述装置包括：
[0012]获取模块，用于获取道路巡检视频和道路巡检音频，其中，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；
[0013]风险识别模块，用于根据所述道路巡检视频和所述道路巡检音频进行路面病害识别，获得N个目标视频帧，其中，所述目标视频帧用于指示所述目标道路存在路面病害风险，N为正整数；
[0014]上传模块，用于向服务器上传M个所述目标视频帧，其中，M为小于或等于N的正整数。
[0015]根据本公开的另一方面，提供了一种数据处理装置，所述装置包括：
[0016]数据接收模块，用于接收终端上传的图像数据，其中，所述图像数据用于指示目标道路存在路面病害风险，所述图像数据根据道路巡检视频和道路巡检音频获得，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标
道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；
[0017]病害识别模块，用于对所述图像数据进行路面病害识别，得到路面病害识别结果。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与所述至少一个处理器通信连接的存储器；其中，
[0021]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的道路巡检方法或数据处理方法。
[0022]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开提供的道路巡检方法或数据处理方法。
[0023]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的道路巡检方法或数据处理方法。
[0024]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0025]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0026]图1是本公开提供的一种道路巡检方法的流程图；
[0027]图2是本公开提供的一种数据处理方法的流程图；
[0028]图3是本公开提供的另一种道路巡检方法的流程图；
[0029]图4a至4d是本公开提供的一种道路巡检装置的结构图；
[0030]图5a至5b是本公开提供的一种数据处理装置的结构图；
[0031]图6是用于实现本公开实施例的道路巡检方法或数据处理方法的电子设备的框图。
具体实施方式
[0032]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0033]请参见图1，图1是本公开提供的一种道路巡检方法的流程图，如图1所示，包括以下步骤：
[0034]步骤S101、获取道路巡检视频和道路巡检音频。
[0035]其中，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频。
[0036]示例性的，上述道路巡检视频可以为车辆行驶于目标道路的过程中，由车辆上搭载的摄像头采集的视频，所述摄像头朝向所述目标道路的路面设置；
[0037]需要指出的是，上述摄像头在采集道路巡检视频的过程中，还会相应采集全球定位系统(Global Positioning System，GPS)信息，也就是说，道路巡检视频中的每一视频帧除了携带有用于指示该视频帧的采集时刻的数据外，还会携带有用于指示该视频帧的采集位置的数据。
[0038]上述道路巡检音频可以为车辆行驶于目标道路的过程中，由车辆上搭载的音频采集设备采集的音频，所述音频采集设备靠近所述车辆的滚轮，其中，所述车辆的滚轮可以为所述车辆的车轮(如车轮前轮或后轮)。
[0039]在一示例中，所述滚轮也可以为所述车轮上设置的第一辅助轮，所述第一辅助轮的轴向与所述车轮的轴向平行，且所述第一辅助轮的轴向长度大于所述车轮的轴向长度，该示例中，利用第一辅助轮的设置，可以增加滚轮与目标道路的路面的接触面积，使所采集的道路巡检音频更加准确可靠。
[0040]在另一示例中，所述滚轮也可以为所述车轮上设置的多个第二辅助轮，所述第二辅助轮的轴向与所述车轮的轴向平行，且所述多个第二辅助轮同轴，所述多个第二辅助轮沿其自身轴向呈阵列设置，该示例中，利用多个第二辅助轮的设置，也可以增加滚轮与目标道路的路面的接触面积，使所采集的道路巡检音频更加准确可靠。
[0041]所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同具体为：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路巡检方法，所述方法包括：获取道路巡检视频和道路巡检音频，其中，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；根据所述道路巡检视频和所述道路巡检音频进行路面病害识别，获得N个目标视频帧，其中，所述目标视频帧用于指示所述目标道路存在路面病害风险，N为正整数；向服务器上传M个所述目标视频帧，其中，M为小于或等于N的正整数。2.根据权利要求1所述的方法，其中，所述根据所述道路巡检视频和所述道路巡检音频进行路面病害识别，获得N个目标视频帧，包括：对所述道路巡检视频进行路面病害识别，得到第一识别信息；对所述道路巡检音频进行松动路面识别，得到第二识别信息；根据所述第一识别信息和所述第二识别信息，在所述道路巡检视频中确定所述N个目标视频帧。3.根据权利要求2所述的方法，其中，所述对所述道路巡检视频进行路面病害识别，得到第一识别信息，包括：对所述道路巡检视频进行抽帧处理，得到视频帧集合；对所述视频帧集合中的多个视频帧分别进行路面病害识别，得到所述视频帧集合中的多个视频帧的路面病害风险值，所述第一识别信息包括所述视频帧集合中的多个视频帧以及每一视频帧的路面病害风险值；根据所述第一识别信息和所述第二识别信息，在所述道路巡检视频中确定所述N个目标视频帧，包括：在所述视频帧集合中的多个视频帧中确定第一视频帧，其中，所述第一视频帧为所述路面病害风险值大于第一预设阈值的视频帧，所述N个目标视频帧包括所述第一视频帧。4.根据权利要求3所述的方法，其中，所述对所述道路巡检视频进行抽帧处理，得到视频帧集合，包括：对所述道路巡检视频进行抽帧处理，得到初始集合；对所述初始集合中的多个视频帧分别进行道路类型识别，得到所述初始集合中的多个视频帧的道路类别；根据预设道路类别对所述初始集合进行过滤，得到所述视频帧集合，其中，所述视频帧集合中的任一视频帧的道路类别与所述预设道路类别匹配，所述预设道路类别用于指示城市慢行道路。5.根据权利要求3所述的方法，其中，所述道路巡检视频的抽帧频率和所述车辆的移动速率呈正相关。6.根据权利要求2所述的方法，其中，所述对所述道路巡检音频进行松动路面识别，得到第二识别信息，包括：对所述道路巡检音频进行抽样，得到多个音频片段；对所述多个音频片段分别进行特征提取，得到多个音频特征，其中，所述第二识别信息包括所述多个音频特征以及每一所述音频特征对应的音频片段的采集时间；所述根据所述第一识别信息和所述第二识别信息，在所述道路巡检视频中确定所述N
个目标视频帧，包括：在所述多个音频片段中确定目标片段，其中，所述目标片段为所述音频特征与预设参考特征之间的相似度大于第二预设阈值的音频片段，所述预设参考特征用于指示所述滚轮滚压松动路面时产生的音频；根据所述目标片段在所述道路巡检视频中确定第二视频帧，所述第二视频帧为采集时间与所述目标片段的采集时间相同的视频帧，所述N个目标视频帧包括所述第二视频帧。7.根据权利要求1所述的方法，其中，所述M个目标视频帧包括第三视频帧和第四视频帧，其中，所述第三视频帧和所述第四视频帧为所述M个目标视频帧中任意两个不同的视频帧；所述第三视频帧和所述第四视频帧之间的图像相似度小于第三预设阈值。8.根据权利要求7所述的方法，其中，所述M个目标视频帧包括第五视频帧，所述第五视频帧为所述M个目标视频帧中的任一视频帧；所述第五视频帧与参考视频帧之间的图像相似度小于所述第三预设阈值，其中，所述参考视频帧为所述服务器已接收的用于指示所述目标道路存在路面病害风险的视频帧。9.一种数据处理方法，所述方法包括：接收终端上传的图像数据，其中，所述图像数据用于指示目标道路存在路面病害风险，所述图像数据根据道路巡检视频和道路巡检音频获得，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；对所述图像数据进行路面病害识别，得到路面病害识别结果。10.根据权利要求9所述的方法，其中，所述接收终端上传的图像数据之后，所述方法还包括：在所述图像数据指示所述目标道路存在路面松动风险的情况下，生成用于指示所述目标道路存在路面松动问题的判定结果。11.一种道路巡检装置，所述装置包括：获取模块，用于获取道路巡检视频和道路巡检音频，其中，所述道路巡检视频的采集时间和所述道路巡检音频的采集时间相同，所述道路巡检视频为针对目标道路采集的视频，所述道路巡检音频为车辆的滚轮滚压所述目标道路时产生的音频；风险识别模块，用于根据所述道路巡检视频和...

【专利技术属性】
技术研发人员：赵金鑫，徐少朋，彭炜，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：