基于机器视觉的作业场所入侵预警方法及其系统技术方案

本申请涉及智能监测的领域，其具体地公开了一种基于机器视觉的作业场所入侵预警方法及其系统，其通过使用基于深度学习的人工智能监测技术，以深度神经网络模型来从排土机侧部的监控图像中提取出小尺寸对象特征能够被感知的监控特征图，进一步提取出所述所有局部特征的全局上下文语义关联特征来与深层局部监控图像特征进行特征融合以进行是否具有非法对象入侵的判断，以避免事故的发生，进而能够保证轮斗系统的排土机的作业安全性。保证轮斗系统的排土机的作业安全性。保证轮斗系统的排土机的作业安全性。

【技术实现步骤摘要】
基于机器视觉的作业场所入侵预警方法及其系统


[0001]本申请涉及智能监测领域，且更为具体地，涉及一种基于机器视觉的作业场所入侵预警方法及其系统。

技术介绍

[0002][0003]在轮斗系统的排土机在作业时，因其为大型机械，驾驶员在操作中视野受限，两侧突然闯入的人员或车辆很容易在视野盲区中，而导致安全事故的发生。
[0004]现有的方案在排土机的两侧安装有摄像头来对于人员或车辆进行闯入报警，以避免事故的发生。但是，因摄像头安装较高，人员在其探测视野中属于小尺寸对象，另一方面，人员和车辆是完全不同的对象，这给目标检测和预警带来了难处。
[0005]目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0006]近年来，深度学习以及神经网络的发展为作业场所的入侵预警提供了新的解决思路和方案。
[0007]因此，期待一种优化的作业场所入侵预警方案。

技术实现思路

[0008][0009]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于机器视觉的作业场所入侵预警方法及其系统，其通过使用基于深度学习的人工智能监测技术，以深度神经网络模型来从排土机侧部的监控图像中提取出小尺寸对象特征能够被感知的监控特征图，进一步提取出所述所有局部特征的全局上下文语义关联特征来与所述深层局部监控图像特征进行特征融合以进行是否具有非法对象入侵的判断，以避免事故的发生，进而能够保证轮斗系统的排土机的作业安全性。
[0010]根据本申请的一个方面，提供了一种基于机器视觉的作业场所入侵预警方法，其包括：获取由部署于排土机的侧部的摄像头采集的监控图像；将所述监控图像通过训练完成的具有显著特征提取模块的第一卷积神经网络模型以得到监控特征图；对所述监控特征图的沿通道维度的各个特征矩阵进行沿行向量方向或列向量方向的均值池化以得到多个监控局部特征向量；将所述多个监控局部特征向量排列为向量的序列后通过训练完成的基于转换器的上下文编码器以得到多个上下文语义监控特征向量，并将所述多个上下文语义监控特征向量进行级联以得到全局语义特征向量；
将所述监控特征图通过训练完成的作为过滤器的第二卷积神经网络模型以得到深度局部监控特征向量；融合所述深度局部监控特征向量和所述全局语义特征向量以得到分类特征向量；以及将所述分类特征向量通过训练完成的分类器以得到分类结果，所述分类结果用于表示是否产生非法对象入侵安全提示。
[0011]在上述基于机器视觉的作业场所入侵预警方法中，所述将所述监控图像通过训练完成的具有显著特征提取模块的第一卷积神经网络模型以得到监控特征图，包括：以所述第一卷积神经网络模型的各层对输入数据进行如下方式的编码：以所述第一卷积神经网络模型的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；以所述第一卷积神经网络模型的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以所述第一卷积神经网络模型的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，以所述第一卷积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，从所述第一卷积神经网络模型的浅层提取的激活特征图为所述浅度特征图，以及，从所述第一卷积神经网络模型的深层提取的激活特征图为所述深度特征图。融合所述浅层特征图和所述深层特征图得到所述监控特征图。
[0012]在上述基于机器视觉的作业场所入侵预警方法中，所述将所述监控特征图通过训练完成的作为过滤器的第二卷积神经网络模型以得到深度局部监控特征向量，包括：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述深度局部监控特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述监控特征图。
[0013]在上述基于机器视觉的作业场所入侵预警方法中，所述将所述分类特征向量通过训练完成的分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：，其中，权重矩阵，偏置向量，为所述分类特征向量。
[0014]在上述基于机器视觉的作业场所入侵预警方法中，还包括对所述第一卷积神经网络模型、所述上下文编码器、所述第二卷积神经网络模型和所述分类器进行训练；其中，所述对所述第一卷积神经网络模型、所述上下文编码器、所述第二卷积神经网络模型和所述分类器进行训练，包括：获取训练数据，所述训练数据包括训练监控图像以及所述训练监控图像中的排土机是否产生非法对象入侵安全提示的真实值；将所述训练监控图像通过所述具有显著特征提取模块的第一卷积神经网络模型以得到训练监控特征图；对所述训练监控特征图的沿通道维度的各个特征矩阵进行沿行向量方向或列向量方向的均值池化以得到
多个训练监控局部特征向量；将所述多个训练监控局部特征向量排列为向量的序列后通过所述基于转换器的上下文编码器以得到多个训练上下文语义监控特征向量，并将所述多个训练上下文语义监控特征向量进行级联以得到训练全局语义特征向量；将所述训练监控特征图通过所述作为过滤器的第二卷积神经网络模型以得到训练深度局部监控特征向量；融合所述训练深度局部监控特征向量和所述训练全局语义特征向量以得到训练分类特征向量；以及,将所述训练分类特征向量通过所述分类器以得到分类损失函数值；计算所述训练全局语义特征向量和所述训练深度局部监控特征向量的分类模式消解抑制损失函数值，其中，所述分类模式消解抑制损失函数值与所述训练全局语义特征向量和所述训练深度局部监控特征向量之间的差分特征向量的二范数的平方有关；以及,以所述分类模式消解抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络模型、所述上下文编码器、所述第二卷积神经网络模型和所述分类器进行训练。
[0015]在上述基于机器视觉的作业场所入侵预警方法中，所述计算所述训练全局语义特征向量和所述训练深度局部监控特征向量的分类模式消解抑制损失函数值，包括：以如下公式计算所述训练全局语义特征向量和所述训练深度局部监控特征向量的所述分类模式消解抑制损失函数值；其中，所述公式为：,其中和分别表示所述训练全局语义特征向量和所述训练深度局部监控特征向量，和分别是所述分类器对于所述训练全局语义特征向量和所述训练深度局部监控特征向量的权重矩阵，且表示向量的二范数的平方，表示矩阵的F范数，表示矩阵的指数运算和向量的指数运行，所述矩阵的指数运算表示以矩阵中各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的作业场所入侵预警方法，其特征在于，包括：获取由部署于排土机的侧部的摄像头采集的监控图像；将所述监控图像通过训练完成的具有显著特征提取模块的第一卷积神经网络模型以得到监控特征图；对所述监控特征图的沿通道维度的各个特征矩阵进行沿行向量方向或列向量方向的均值池化以得到多个监控局部特征向量；将所述多个监控局部特征向量排列为向量的序列后通过训练完成的基于转换器的上下文编码器以得到多个上下文语义监控特征向量，并将所述多个上下文语义监控特征向量进行级联以得到全局语义特征向量；将所述监控特征图通过训练完成的作为过滤器的第二卷积神经网络模型以得到深度局部监控特征向量；融合所述深度局部监控特征向量和所述全局语义特征向量以得到分类特征向量；以及将所述分类特征向量通过训练完成的分类器以得到分类结果，所述分类结果用于表示是否产生非法对象入侵安全提示。2.根据权利要求1所述的基于机器视觉的作业场所入侵预警方法，其特征在于，所述将所述监控图像通过训练完成的具有显著特征提取模块的第一卷积神经网络模型以得到监控特征图，包括：以所述第一卷积神经网络模型的各层对输入数据进行如下方式的编码：以所述第一卷积神经网络模型的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；以所述第一卷积神经网络模型的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以所述第一卷积神经网络模型的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及以所述第一卷积神经网络模型的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，从所述第一卷积神经网络模型的浅层提取的激活特征图为所述浅度特征图，以及，从所述第一卷积神经网络模型的深层提取的激活特征图为所述深度特征图。融合所述浅层特征图和所述深层特征图得到所述监控特征图。3.根据权利要求2所述的基于机器视觉的作业场所入侵预警方法，其特征在于，所述将所述监控特征图通过训练完成的作为过滤器的第二卷积神经网络模型以得到深度局部监控特征向量，包括：使用所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第二卷积神经网络的最后一层的输出为所述深度局部监控特征向量，所述作为过滤器的第二卷积神经网络的第一层的输入为所述监控特征图。4.根据权利要求3所述的基于机器视觉的作业场所入侵预警方法，其特征在于，所述将
所述分类特征向量通过训练完成的分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：softmax{(M
c
,B
c
)|X}，其中，M
c
为权重矩阵，B
c
为偏置向量，X为所述分类特征向量。5.根据权利要求4所述的基于机器视觉的作业场所入侵预警方法，其特征在于，还包括对所述第一卷积神经网络模型、所述上下文编码器、所述第二卷积神经网络模型和所述分类器进行训练；其中，所述对所述第一卷积神经网络模型、所述上下文编码器、所述第二卷积神经网络模型和所述分类器进行训练，包括：获取训练数据，所述训练数据包括训练监控图像以及所述训练监控图像中的排土机是否产生非法对象入侵安全提示的真实值；将所述训练监控图像通过所述具有显著特征提取模块的第一卷积神经网络模型以得到训练监控特征图；对所述训练监控特征图的沿通道维度的各个特征矩阵进行沿行向量方向或列向量方向的均值池化以得到多个训练监控局部特征向量；将所述多个训练监控局部特征向量排列为向量的序列后通过所述基于转换器的上下文编码器以得到多个训练上下文语义监控特征向量，并将所述多个训练上下文语义监控特征向量进行级联以得到训练全局语义特征向量；将所述训练监控特征图通过所述作为过滤器的第二卷积神经网络模型以得到训练深度局部监控特征向量；融合所述训练深度局部监控特征向量和所述训练全局语义特征向量以得到训练分类特征向量；以及将所述训练分类特征向量通过所述分类器以得到分类损失函数值；计算所述训练全局语义特征向量和所述训练深度局部监控特征向量的分类模式消解抑制...

【专利技术属性】
技术研发人员：赵耀忠，田文明，赵霞，刘跃，沈洋，曹鋆程，于耀宁，朱龙啸，王志元，郑树坤，
申请(专利权)人：华能伊敏煤电有限责任公司，
类型：发明
国别省市：