一种渣土车的状态分析方法和装置及存储介质制造方法及图纸

本申请公开了一种渣土车的状态分析方法和装置及存储介质，所述渣土车的状态分析方法通过将覆盖渣土车的翻斗箱体的车厢场景图像输入多任务神经网络，获取到渣土车的图像检测结果，具体包括渣土覆盖状态、渣土装载状态和渣土类别，并通过全球定位系统数据和惯性导航单元数据获取翻斗箱体的举升状态和渣土车的运动状态，然后将图像检测结果、举升状态和运动状态上传至服务器，以使服务器对渣土车的运行过程进行监控，从而可以存储监控数据方便后续追溯，还可以依据监控数据设置提示或者报警，从而解决渣土车运行的监管难题，提升道路交通安全以及改善道路环境。交通安全以及改善道路环境。交通安全以及改善道路环境。

【技术实现步骤摘要】
一种渣土车的状态分析方法和装置及存储介质


[0001]本申请涉及车载数据分析
，特别是涉及一种渣土车的状态分析方法和装置及存储介质。

技术介绍

[0002]伴随着国内经济发展，基础建设不断增强，作为工程车之一的渣土车在道路交通中出现得越来越多。渣土车在运行过程中通常存在超载、扬尘、随意倾倒等监管难题，对道路交通环境与安全构成潜在隐患。因而，加强对渣土车运行过程的监控对道路交通安全的提升以及道路环境的改善有着至关重要的作用。

技术实现思路

[0003]本申请主要解决的技术问题是提供一种渣土车的状态分析方法和装置及存储介质，能够实现对渣土车运行过程的监控。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：
[0005]提供一种渣土车的状态分析方法，包括：
[0006]获取覆盖所述渣土车的翻斗箱体的车厢场景图像、以及所述渣土车的全球定位系统数据和惯性导航单元数据；
[0007]将所述车厢场景图像输入多任务神经网络，以获取所述渣土车的图像检测结果，所述图像检测结果包括渣土覆盖状态、渣土装载状态和渣土类别；以及利用所述全球定位系统数据和惯性导航单元数据获取所述翻斗箱体的举升状态和所述渣土车的运动状态；
[0008]将所述图像检测结果、所述举升状态和所述运动状态上传至服务器。
[0009]为解决上述技术问题，本申请采用的另一个技术方案是：
[0010]提供一种渣土车的状态分析装置，包括相互耦接的存储器和处理器，其中，所述存储器上存储有程序指令，所述处理器能够执行所述程序指令以实现如上述技术方案所述的渣土车的状态分析方法。
[0011]为解决上述技术问题，本申请采用的另一个技术方案是：
[0012]提供一种计算机可读存储介质，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行以实现如上述技术方案所述的渣土车的状态分析方法。
[0013]本申请的有益效果是：区别于现有技术的情况，本申请提供的渣土车的状态分析方法通过将覆盖渣土车的翻斗箱体的车厢场景图像输入多任务神经网络，获取到渣土车的图像检测结果，具体包括渣土覆盖状态、渣土装载状态和渣土类别，并通过全球定位系统数据和惯性导航单元数据获取翻斗箱体的举升状态和渣土车的运动状态，然后将图像检测结果、举升状态和运动状态上传至服务器，以使服务器对渣土车的运行过程进行监控，从而可以存储监控数据方便后续追溯，还可以依据监控数据设置提示或者报警，从而解决渣土车运行的监管难题，提升道路交通安全以及改善道路环境。
附图说明
[0014]为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0015]图1为本申请渣土车的状态分析方法一实施方式的流程示意图；
[0016]图2为渣土车装载图像采集设备和惯性导航单元一实施方式的结构示意图；
[0017]图3为图1中步骤S12一实施方式的流程示意图；
[0018]图4为图1中步骤S12另一实施方式的流程示意图；
[0019]图5为图4中步骤S32一实施方式的流程示意图；
[0020]图6为图4中步骤S33一实施方式的流程示意图；
[0021]图7为图1中步骤S12另一实施方式的流程示意图；
[0022]图8为图7中步骤S62一实施方式的流程示意图；
[0023]图9为图7中步骤S62另一实施方式的流程示意图；
[0024]图10为本申请渣土车的状态分析装置一实施方式的结构示意图；
[0025]图11为本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
[0026]下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
[0027]请参阅图1，图1为本申请渣土车的状态分析方法一实施方式的流程示意图，该状态分析方法包括如下步骤：
[0028]步骤S11，获取覆盖渣土车的翻斗箱体的车厢场景图像、以及渣土车的全球定位系统数据和惯性导航单元数据。
[0029]为了监控渣土车的运行过程，需要在渣土车上装配一些监控设备，本实施方式首先从这些监控设备获取原始数据。具体地，监控设备包括图像采集设备、全球定位系统GPS和惯性导航单元IMU，其中，图像采集设备10和惯性导航单元20需要装载于渣土车的翻斗箱体30前上部，即翻斗箱体30朝向渣土车车尾的一端(即图2中翻斗箱体30靠左的一端)，且图像采集设备10的视场需要覆盖翻斗箱体(例如水平120度)，如图2所示，图2为渣土车装载图像采集设备和惯性导航单元一实施方式的结构示意图，使得本实施方式能够获取到覆盖翻斗箱体的车厢场景图像，且使得本实施方式获取到的惯性导航单元数据能够反映翻斗箱体的举升运动。全球定位系统GPS需要装载于渣土车上，使得本实施方式获取到的全球定位系统数据能够反映渣土车的位置信息。优选将上述监控设备集成在一起，便于维修管理等操作。
[0030]步骤S12，将车厢场景图像输入多任务神经网络，以获取渣土车的图像检测结果，图像检测结果包括渣土覆盖状态、渣土装载状态和渣土类别；以及利用全球定位系统数据和惯性导航单元数据获取翻斗箱体的举升状态和渣土车的运动状态。
[0031]获取到车厢场景图像之后，可先进行曝光参数、增益参数、白平衡参数自适应调节、图像3D降噪以及数字宽动态参数调节等常规预处理，再将其输入多任务神经网络，以从该多任务神经网络中获取到渣土覆盖状态、渣土装载状态和渣土类别，其中，该多任务神经网络包括与渣土覆盖状态、渣土装载状态和渣土类别以及渣土车厢区域检测分别对应的单任务神经网络。在此之前，需要离线训练多任务神经网络，其中，离线训练时采用的损失函数由上述多个单任务神经网络分别对应的子损失函数加权计算所得，所有子损失函数之和为1。
[0032]具体地，通过如下公式(1)计算多任务神经网络的损失函数L：
[0033]L＝λ1*L1+λ2*L2+λ3*L3+λ4*L4……
(1)；
[0034]其中，λ1、λ2、λ3、λ4为各子损失函数，且λ1+λ2+λ3+λ4＝1。上述训练采用批量梯度下降的方式获取各子损失函数，具体过程与现有技术中相同，此处不再赘述。
[0035]优选地，所有子损失函数的权重相同，即均为0.25，当然也可以根据样本均衡情况进行其他设置。
[0036]请参阅图3，图3为图1中步骤S12一实施方式的流程示意图，可以通过如下步骤获取图像检测结果。
[0037]步骤S21，对车厢场景图像进行渣本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种渣土车的状态分析方法，其特征在于，包括：获取覆盖所述渣土车的翻斗箱体的车厢场景图像、以及所述渣土车的全球定位系统数据和惯性导航单元数据；将所述车厢场景图像输入多任务神经网络，以获取所述渣土车的图像检测结果，所述图像检测结果包括渣土覆盖状态、渣土装载状态和渣土类别；以及利用所述全球定位系统数据和惯性导航单元数据获取所述翻斗箱体的举升状态和所述渣土车的运动状态；将所述图像检测结果、所述举升状态和所述运动状态上传至服务器。2.根据权利要求1所述的状态分析方法，其特征在于，所述多任务神经网络包括与所述渣土覆盖状态、渣土装载状态和渣土类别以及渣土车厢区域检测分别对应的单任务神经网络，所述将所述车厢场景图像输入多任务神经网络的步骤之前，还包括：离线训练所述多任务神经网络，其中，所述离线训练时采用的损失函数由多个所述单任务神经网络分别对应的子损失函数加权计算所得，所有所述子损失函数之和为1。3.根据权利要求2所述的状态分析方法，其特征在于，所有所述子损失函数的权重相同。4.根据权利要求2所述的状态分析方法，其特征在于，所述将所述车厢场景图像输入多任务神经网络，以获取所述渣土车的图像检测结果的步骤，包括：对所述车厢场景图像进行所述渣土车厢区域检测，以生成多尺度特征图谱，并依据所述多尺度特征图谱获取与所述车厢场景图像对应的二进制图，所述二进制图中用0表示背景，用1表示车厢区域；以所述车厢区域作为分析感兴趣区域，根据所述多尺度特征图谱中的小尺度特征图谱获取所述渣土覆盖状态，其中，所述渣土覆盖状态包括未覆盖、部分覆盖和完全覆盖；以及，根据所述多尺度特征图谱中的中尺度特征图谱获取所述渣土装载状态和所述渣土类别，其中，所述渣土装载状态包括空载、部分装载和满载，所述渣土类别包括建筑垃圾、沙石、湿渣土和其他渣土。5.根据权利要求1所述的状态分析方法，其特征在于，所述利用所述全球定位系统数据和惯性导航单元数据获取所述翻斗箱体的举升状态的步骤，包括：从所述惯性导航单元数据中提取第一预设时间范围内所述翻斗箱体的多个垂向加速度和多个俯仰角速度，所述垂向为垂直于所述渣土车所在路面的方向；利用所述垂向加速度和所述俯仰角速度获取所述第一预设时间范围内的多个垂向位移和多个俯仰角位移；基于所述垂向位移和所述俯仰角位移获取所述翻斗箱体在所述第一预设时间范围内的举升状态，其中所述举升状态包括水平稳定状态、抬升状态、顶部稳定状态和下降状态。6.根据权利要求5所述的状态分析方法，其特征在于，所述第一预设时间范围被划分为多个采样时间段，所述采样时间段的数量为采样点的数量，所述第一预设时间范围等于所述采样时间段与所述采样点的数量的乘积；所述利用所述垂向加速度和所述俯仰角速度获取所述第一预设时间范围内的多个垂向位移和多个俯仰角位移的步骤，包括：将当前采样点的垂向加速度与所述采样时间段的乘积加上前一采样点的垂向速度作为所述当前采样点的垂向速度，其中，第一个采样点的前一采样点的垂向速度为预设初始速度值；
将所述当前采样点的垂向速度与所述采样时间段的乘积加上前一采样点的垂向位移作为所述当前采样点的垂向位移，其中，第一个采样点的前一采样点的垂向位移为预设初始位移值；以及，将所述当前采样点的俯仰角速度与所述采样时间段的乘积加上前一采样点的俯仰角位移作为所述当前采样点的俯仰角位移，其中，第一个采样点的前一采样点的俯仰角位移为预设初始角位移值。7.根据权利要求6所述的状态分析方法，其特征在于，所述基于所述垂向位移和所述俯仰角位移获取所述翻斗箱体在所述第一预设时间范围内的举升状态的步骤，包括：获取第二预设时间范围内每个采样点的垂向位移差和俯仰角位移差，其中将所述第一预设时间范围从起点开始截断预设数量的所述采样时间段之后得到所述第二预设时间范围；以及，响应于所述垂向位移的均值小于或等于第一位移均值阈值、所述俯仰角位移的均值小于或等于第一角位移均值阈值、所述垂向位移的方差小于或等于第一方差阈值、且所述俯仰角位移的方差小于或等于第二方差阈值，判定所述举升状态为所述水平平衡状态；以及，响应于所述垂向位移的均值大于或等于第二位移均值阈值、所述俯仰角位移的均值大于或等于第二角位移均值阈值、所述垂向位移的方差小于或等于所述第一方差阈值、且所述俯仰角位移的方差小于或等于所述第二方差阈值，判定所述举升状态为所述顶部平衡状态；响应于所述垂向位移的均值大于所述第一位移均值阈值、所述俯仰角位移的均值大于所述第一角...

【专利技术属性】
技术研发人员：缪其恒，苏志杰，许炜，
申请(专利权)人：浙江大华汽车技术有限公司，
类型：发明
国别省市：